Сообщается, что новая модель OpenAI "Orion" имеет небольшие преимущества по сравнению с GPT-4

Информация сообщает, что следующая крупная языковая модель OpenAI, под кодовым названием "Orion", обеспечивает гораздо меньший прирост производительности, чем ожидалось. Улучшение качества между GPT-4 и Orion заметно менее значительно, чем то, что мы наблюдали между GPT-3 и GPT-4.
Более того, Orion не всегда превосходит своего предшественника в таких областях, как программирование, демонстрируя улучшения только в языковых возможностях, согласно источникам информации. Запуск модели в центрах обработки данных также может стоить дороже, чем предыдущие версии.

Исследователи OpenAI указывают на недостаточное количество высококачественных обучающих данных как на одну из причин замедления. Большинство общедоступных текстов и данных уже были использованы. В ответ OpenAI создала "Команду основателей" во главе с Ником Райдером, сообщает The Information .

Это согласуется с июньским заявлением генерального директора Сэма Альтмана о том, что, хотя данные существуют в достаточном количестве, акцент будет смещен на получение большего из меньшего количества данных. Компания планирует использовать синтетические данные — учебные материалы, сгенерированные моделями искусственного интеллекта, — чтобы помочь преодолеть этот пробел.
В информации отмечается, что Orion уже частично обучился на синтетических данных из GPT-4 и новой "рассуждающей" модели o1 от OpenAI. Однако такой подход сопряжен с риском того, что новая модель просто "будет напоминать старые модели в определенных аспектах", по словам сотрудника OpenAI.

Замедление прогресса в области LLM выходит за рамки OpenAI. Недавно The Verge сообщила, что грядущий Gemini 2.0 от Google не соответствует внутренним целям. По слухам, Anthropic приостановила разработку версии 3.5 своего флагманского Opus, выпустив вместо нее улучшенный Sonnet - возможно, чтобы не разочаровывать пользователей и инвесторов.
Модели с открытым исходным кодом, догнавшие проприетарные модели стоимостью в миллиарды долларов за последние 18 месяцев, еще раз демонстрируют это плато в отрасли. Такой прогресс был бы маловероятен, если бы крупные технологические компании могли эффективно конвертировать свои огромные инвестиции в повышение производительности ИИ.

Но в недавнем интервью генеральный директор OpenAI Сэм Альтман оставался оптимистом. Он сказал, что путь к общему искусственному интеллекту (AGI) ясен, и что необходимо творческое использование существующих моделей. Альтман мог иметь в виду комбинацию LLM с логическими подходами, такими как o1 и агентный искусственный интеллект.

Ноам Браун, известный разработчик искусственного интеллекта в OpenAI и бывший сотрудник Meta, который помогал создавать o1, говорит, что заявление Альтмана отражает взгляды большинства исследователей OpenAI.
Новая модель o1 нацелена на создание новых возможностей масштабирования. Она смещает фокус с обучения на логический вывод — вычислительное время, необходимое моделям искусственного интеллекта для выполнения задач. Браун считает, что этот подход является "новым измерением масштабирования".
Но для этого потребуются миллиарды долларов и значительное потребление энергии. Это ключевой вопрос отрасли на ближайшие месяцы: имеет ли экономический и экологический смысл создание все более мощных моделей искусственного интеллекта и необходимых им массивных центров обработки данных? OpenAI, похоже, так и думает.

Эксперт Google по ИИ Франсуа Шоле раскритиковал масштабирование языковых моделей для математических задач. Он назвал "особенно тупым" ссылаться на прогресс в математических тестах в качестве доказательства AGI.

Шолле утверждает, что эмпирические данные показывают, что глубокое обучение и большие языковые модели не могут решать математические задачи независимо. Вместо этого им нужны методы дискретного поиска — систематические подходы, которые проверяют различные пути решения, а не предсказывают вероятные ответы, как это делают языковые модели.
Он также раскритиковал использование "LLM" в качестве маркетингового термина для всех текущих достижений в области искусственного интеллекта, даже если они не связаны с языковыми моделями. Он указал на интеграцию Gemini в AlphaProof от Google Deepmind как "в основном косметическую и в маркетинговых целях".