Новости

Google открыл исходный код парсера для robots.txt

Логотип Google

Google открыл исходный код своего парсера для файла robots.txt, который используется для защиты и исключения некоторого контента из результатов поисковой выдачи.

Библиотека парсинга Google существует уже около 20 лет, но до сих пор не была задокументирована и практически не обновлялась. За это время компания узнала больше информации о том, как вебмастера заполняют robots.txt. Все эти знания легли в основу спецификации Robots Exclusion Protocol, которую Google на днях подала в Инженерный совет Интернета (IETF).

Официальная документация позволит вебмастерам правильно заполнить robots.txt и спрятать часть контента от поисковых роботов.

Источник: Engadget

Теги: Google, Интернет


Комментарии
Добавить комментарий

Введите имя:
Войти от:
или
Ваш комментарий:


Введите код:

E-mail (не обязательно)
Адрес электронной почты не предназначен к показу и будет использован только для уведомлений об ответах


Последние новости

 
Акции Apple дорожают на фоне запуска 5G
 
Антивирус прекратит развитие, но продолжит работать
 
Google и Apple утверждают, что это не так
 
До конца декабря у компании появится мессенджер, навигатор и платежная система
 
Galaxy S10 Lite получит подэкранный дактилоскоп и тройную камеру
 
Он имеет 9 пластин и предназначен для корпоративного сегмента
 
А Galaxy Fold 2 станет тоньше и избавится от складок
 
Пользователи iPhone смогут общаться по спутниковой связи

Архив новостей

 
 
ПнВтСрЧтПтСбВс
 123456
78910111213
14151617181920
21222324252627
282930    



Последние статьи

Недорогой современный смартфон без моноброви
Эффектный флагман со своим лицом
Все об изменениях в Android 9
Недорогой смартфон с вытянутым экраном
Улучшенный варианта Galaxy A6


Опрос

Вы покупаете на AliExpress?
или оставить собственный вариант в комментариях (1)