1. Администрация Reddit скорректировала файл robots.txt, из-за чего контент сообщества и комментарии пользователей перестали корректно отображаться во многих поисковиках, кроме Google. Google является единственным крупным поисковиком, который пока выдает свежие страницы Reddit в результатах поиска по запросу «site reddit com». Вероятно, это происходит из-за соглашения между Reddit и Google о предоставлении контента платформы для обучения ИИ-моделей Google, которое оценивается в $60 млн в год. Reddit опроверг информацию о том, что сделка с Google каким-то образом повлияла на разрешение разработчиков на использование контента площадки для обучения нейросетей.Thank you for reading this post, don't forget to subscribe!
2. Reddit вел переговоры с несколькими поисковыми системами, но не все пришли к соглашению из-за условий использования контента, в том числе для тренировки ИИ. Microsoft подтвердила, что Bing больше не обращается к Reddit. В течение последнего года администрация сайта стала значительно активнее защищать публикуемый пользователями контент. Разработчики повысили стоимость использования API Reddit сторонними разработчиками, а также пригрозили Google блокировкой поисковика, если компания не перестанет бесплатно использовать контент платформы для обучения своих нейросетей.
3. В прошлом месяце платформа уже обновила файл robots txt сайта, который регулирует доступ веб-сканерам. Там отметили, что изменения не коснутся большинства пользователей или добросовестных участников, таких как исследователи и организации, например Internet Archive.
4. В течение последней недели ссылки на Reddit выглядят некорректно в Microsoft Bing, «Яндексе» и других поисковиках. Проблема возникла из-за запрета сканирования и индексирования контента поисковыми роботами в файле robots.txt Reddit. Там отмечено, что Reddit против злоупотребления контентом, находящимся в публичном доступе, однако продолжает верить в свободный интернет.
5. Аналогичное соглашение было заключено между Reddit и OpenAI. Ограничение в robots.txt могло быть введено для того чтобы другие компании не использовали контент с форума для выполнения своих целей, связанных с ИИ. OpenAI подписала соглашение с Reddit на обучение ChatGPT на данных платформы. OpenAI сможет анализировать обсуждения пользователей, а Reddit будет предоставлять пользователям и модераторам платформы новые функции на основе искусственного интеллекта и использовать большие языковые модели для создания приложений.
ьба Reddit с веб-сканерами: Запрет на сканирование и новые горизонты
В мире технологий все чаще звучит слово “искусственный интеллект”, а платформы вроде Reddit становятся ключевыми участниками этой битвы. Reddit, любимый площадкой для обсуждений и новостей множества русскоязычных пользователей, недавно взял решительные действия по защите своего контента от чрезмерного использования в обучении ИИ-моделей.
Это привело к неожиданному изменению – контент Reddit стал недоступен для многих поисковых систем, кроме Google. Видимо, причиной тому – соглашение между Reddit и Google о предоставлении платформы для обучения моделей искусственного интеллекта на сумму $60 миллионов в год. Однако Reddit официально отрицает связь этого соглашения с ограничением доступа других поисковиков к их контенту.
Microsoft подтвердила, что Bing больше не обращается к данным Reddit. В то время как Google остается единственным крупным поисковиком, выводимым свежие страницы Reddit в результатах поиска по запросу «site reddit com», другие поисковики столкнулись с препятствием.
Это не первое подобное противостояние Reddit с другими технологическими гигантами. Администрация платформы уже подняла планку использования API для сторонних разработчиков, а также грозила Google блокировкой в случае дальнейшего бесплатного использования контента Reddit для обучения их нейросетей.
В последнем году Reddit активизировался в защите пользовательского контента, и это новое ограничение – часть этой стратегии.
Некоторые полагают, что этот шаг связан с договором между Reddit и OpenAI о обучении ChatGPT на данных платформы. Согласно соглашению, OpenAI сможет анализировать обсуждения пользователей Reddit, а платформа получит новые возможности на базе искусственного интеллекта для модераторов и пользователей.
**Появление ограничений в файле robots.txt, вероятно, связано с желанием Reddit контролировать использование своего контента третьими сторонами**, не только для обучения ИИ-моделей.
В связи с этим многие задаются вопросом – как это повлияет на взаимодействие пользователей Reddit с другими поисковыми системами и на доступ к информации. Будет ли платформа в дальнейшем искать баланс между защитой контента и свободой доступа, или же этот шаг станет началом новой эры для взаимодействия онлайн-платформ с ИИ-моделями?