В выдаче всех поисковых систем, кроме Google, прекратил корректно отображаться форум Reddit. В течение последней недели ссылки на интернет-ресурс выглядят некорректно в Microsoft Bing, «Яндексе» и в других поисковиках, на это обратили внимание в 404 Media.
Специалисты объяснили, что проблема возникла из-за того, что в файле robots.txt Reddit появился запрет на то, чтобы контент сканировался и индексировался поисковыми роботами. При ручном открытии файла появляется информация о том, что Reddit против злоупотребления контентом, находящимся в публичном доступе, однако при этом продолжает верить в свободный интернет.
По версии экспертов, это может быть связано с недавним договором, заключенным между Reddit и Google. Контент интернет-форума планируют использовать для обучения ИИ, поэтому во всех ПС, кроме одной, возникли проблемы с поисковой выдачей. При этом, в рамках соглашения, владелец Reddit будет каждый год получать от Google 60 млн долларов. Аналогичное соглашение было также заключено между Reddit и OpenAI.
Ограничение в robots.txt могло быть введено для того, чтобы другие компании не использовали контент с форума для выполнения своих целей, связанных с ИИ. По информации «Ъ», в установлен запрет на сканирование и индексирование контента всеми поисковыми роботами, в том числе поиска «Яндекса».