Новости

Google открыл исходный код парсера для robots.txt

Логотип Google

Google открыл исходный код своего парсера для файла robots.txt, который используется для защиты и исключения некоторого контента из результатов поисковой выдачи.

Библиотека парсинга Google существует уже около 20 лет, но до сих пор не была задокументирована и практически не обновлялась. За это время компания узнала больше информации о том, как вебмастера заполняют robots.txt. Все эти знания легли в основу спецификации Robots Exclusion Protocol, которую Google на днях подала в Инженерный совет Интернета (IETF).

Официальная документация позволит вебмастерам правильно заполнить robots.txt и спрятать часть контента от поисковых роботов.

Источник: Engadget

Теги: Google, Интернет


Комментарии
Добавить комментарий

Введите имя:
Войти от:
или
Ваш комментарий:


Введите код:

E-mail (не обязательно)
Адрес электронной почты не предназначен к показу и будет использован только для уведомлений об ответах


Последние новости

 
Акции Apple дорожают на фоне запуска 5G
 
Антивирус прекратит развитие, но продолжит работать
 
Google и Apple утверждают, что это не так
 
До конца декабря у компании появится мессенджер, навигатор и платежная система
 
Galaxy S10 Lite получит подэкранный дактилоскоп и тройную камеру
 
Он имеет 9 пластин и предназначен для корпоративного сегмента
 
А Galaxy Fold 2 станет тоньше и избавится от складок
 
Пользователи iPhone смогут общаться по спутниковой связи

Архив новостей

 
 
ПнВтСрЧтПтСбВс
      1
2345678
9101112131415
16171819202122
23242526272829
30      



Последние статьи

Недорогой современный смартфон без моноброви
Эффектный флагман со своим лицом
Все об изменениях в Android 9
Недорогой смартфон с вытянутым экраном
Улучшенный варианта Galaxy A6


Опрос

Вы покупаете на AliExpress?
или оставить собственный вариант в комментариях (1)