В рунете хотят ограничить работу иностранных роботов

Ограничения нужны, чтобы исключить сбор информации о критических уязвимостях сайтов, а также индексацию и анализ данных россиян.

Центр управления связью общего пользования Роскомнадзора в конце апреля 2024 года направил компаниям из реестра провайдеров хостинга письмо, которое содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. С документом ознакомился «Коммерсантъ».

По словам источника издания, на рынке интернет-провайдеров речь идет об иностранных ботах, в том числе — Googlebot от Google, GPTBot от OpenAI, Apple Bot от Apple и других. Такие роботы в автоматическом режиме посещают сайты для их индексации поисковиками, интернет-рекламы или обучения нейросетей.

Ограничить доступ ботов нужно «для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации», следует из письма. Провайдерам же «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».

В письме приведен список идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Получение документа подтвердили в DDoS-Guard и сообщили, что приняли его к сведению. В Роскомнадзоре на запрос издания не ответили.

Собеседник «Ъ» в крупной ИТ-компании отметил, что список приведенных в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы ИТ-систем».