1. Разработчики искусственного интеллекта столкнулись с проблемой нехватки качественного материала для обучения, включая тексты.
2. Некоторые ресурсы блокируют доступ ИИ к своим данным, что усугубляет проблему.
3. Ученые и руководители компаний, занимающихся разработкой ИИ, обеспокоены нехваткой качественных текстов для обучения больших языковых моделей.
4. Большинство данных в интернете непригодно для обучения ИИ, и малая часть материала от Common Crawl подходит для этой цели.
5. Крупные платформы закрывают доступ к своим данным для обучения ИИ, вынуждая разработчиков искать альтернативные источники, такие как стенограммы роликов на YouTube.
6. Создание всё более масштабных и сложных языковых моделей на основе ИИ требует большого объема данных, и аналитики считают, что уже сейчас не хватает 10-20 трлн токенов для обучения GPT 5.
7. Для обучения GPT 5 понадобится 60-100 триллионов токенов, что значительно превышает объем данных, использованных для обучения предыдущих моделей.
8. Некоторые компании исследуют альтернативные источники данных для обучения моделей, а стартап DatologyAI использует метод обучения “школьной программы” для увеличения эффективности и сокращения объема входящих данных вдвое.
9. Google и OpenAI работают над развитием рынка данных для обучения нейронных сетей, а также проводят эксперименты с “высококачественными синтетическими данными”.
10. Эксперты высказывают оптимизм относительно решения проблемы нехватки данных для обучения ИИ, несмотря на текущие трудности.
11. Некоторые специалисты, включая Ари Моркоса, считают, что нехватка данных является одной из наиболее важных проблем в сфере разработки искусственного интеллекта.
Разработчики искусственного интеллекта столкнулись с серьезной проблемой – нехваткой качественных данных для обучения своих моделей. Ученые и руководители компаний, занимающихся разработкой ИИ, выразили обеспокоенность по поводу недостатка качественных текстов, необходимых для обучения больших языковых моделей. В свете этой ситуации OpenAI рассматривает возможность использования транскрипций публичных роликов на YouTube для обучения своего будущего продукта – GPT 5.
Для обучения предыдущей модели, GPT 4, было использовано огромное количество данных – 12 триллионов токенов. Однако для создания GPT 5 потребуется впечатляющее количество – от 60 до 100 триллионов токенов. Согласно аналитикам, уже сейчас недостаточно 10-20 триллионов токенов для обучения новой модели. Большинство данных в сети оказываются непригодными для обучения ИИ, что приводит к поиску альтернативных источников информации, таких как стенограммы роликов на YouTube и другие общедоступные видео.
Основная проблема заключается в том, что данные, необходимые для обучения все более масштабных и сложных языковых моделей на основе искусственного интеллекта, становятся все более дефицитными. Некоторые компании, такие как DatologyAI, применяют инновационные методы обучения, чтобы повысить эффективность моделей и сократить объем требуемых данных вдвое. Google и OpenAI даже начали разрабатывать рынок данных для обучения нейросетей, понимая важность этого вопроса для будущего развития технологий.
Несмотря на сложности, эксперты, такие как Пабло Вильялобос и Ари Моркос, выражают оптимизм относительно будущего решения проблемы нехватки данных. Они верят в то, что индустрия сможет найти пути для преодоления этих вызовов. Пока же, в мире геймеров появились первые отзывы о “Смуте”, указывающие на угасание веры в отечественную игровую индустрию.