Новости

Google открыл исходный код парсера для robots.txt

Логотип Google

Google открыл исходный код своего парсера для файла robots.txt, который используется для защиты и исключения некоторого контента из результатов поисковой выдачи.

Библиотека парсинга Google существует уже около 20 лет, но до сих пор не была задокументирована и практически не обновлялась. За это время компания узнала больше информации о том, как вебмастера заполняют robots.txt. Все эти знания легли в основу спецификации Robots Exclusion Protocol, которую Google на днях подала в Инженерный совет Интернета (IETF).

Официальная документация позволит вебмастерам правильно заполнить robots.txt и спрятать часть контента от поисковых роботов.

Источник: Engadget

Теги: Google, Интернет


Комментарии
Добавить комментарий

Введите имя:
Войти от:
или
Ваш комментарий:


Введите код:

E-mail (не обязательно)
Адрес электронной почты не предназначен к показу и будет использован только для уведомлений об ответах


Последние новости

 
Устаревшие маршрутизаторы нужно будет заменить на новые с WPA2 или WPA3
 
После закрытия сделки Ростелекому будут принадлежать 100% акций Tele2
 
Название объектов на Картах можно будет воспроизвести через Google Translate
 
ДТП произошло при управлении в ручном режиме
 
NVIDIA готовит к выпуску 7-нм видеокарты RTX 3080 Ti и RTX 3080
 
Водонепроницаемость новой модель станет еще лучше
 
У него – новая клавиатура с ножничными переключателями и CPU с частотой до 5 ГГц
 
В игре можно будет покупать «косметику»

Архив новостей

 
 
ПнВтСрЧтПтСбВс
      1
2345678
9101112131415
16171819202122
23242526272829
3031     



Последние статьи

Недорогой современный смартфон без моноброви
Эффектный флагман со своим лицом
Все об изменениях в Android 9
Недорогой смартфон с вытянутым экраном
Улучшенный варианта Galaxy A6


Опрос

Вы покупаете на AliExpress?
или оставить собственный вариант в комментариях (1)