Мы применяем куки на сайте, вы соглашаетесь на использование файлов cookie. Подробнее
OpenAI обещает лучшую версию своей золотой олимпийской ИИ по математике в ближайшие месяцы
Исследователь OpenAI Джерри Турек делится первыми подробностями о новой модели искусственного интеллекта, которая может ознаменовать заметный скачок в производительности в определенных областях...
Создано нейросетью в сервисе KolerskyAI
Так называемая модель "обладатель золотой медали IMO" должна дебютировать в “гораздо лучшей версии” в ближайшие месяцы. Как отмечает Tworek, система все еще находится в стадии активной разработки и готовится к более широкому публичному выпуску.
Когда критик OpenAI Гэри Маркус спросил, предназначена ли модель для замены GPT-5.x или предназначена для решения конкретных задач, Турек сказал, что OpenAI никогда не выпускала узконаправленную модель. Он объяснил, что “в настоящее время к публичным релизам предъявляются высокие требования к уровню полировки”, и добавил: “В то же время эта модель, очевидно, не устранит всех ограничений современных llm - только некоторые”.
Когда критик OpenAI Гэри Маркус спросил, предназначена ли модель для замены GPT-5.x или предназначена для решения конкретных задач, Турек сказал, что OpenAI никогда не выпускала узконаправленную модель. Он объяснил, что “в настоящее время к публичным релизам предъявляются высокие требования к уровню полировки”, и добавил: “В то же время эта модель, очевидно, не устранит всех ограничений современных llm - только некоторые”.
Способность модели делать обобщения, выходящие за рамки математики, вызвала споры. Во время презентации OpenAI подчеркнула, что она была “очень мало” оптимизирована для Международной математической олимпиады.
Вместо того, чтобы быть системой, ориентированной на математику, она построена на более общих достижениях в обучении с подкреплением и вычислениях - без использования внешних инструментов— таких как интерпретаторы кода. Все работает только на естественном языке.
Это различие важно, потому что обучение с подкреплением все еще сталкивается с задачами, на которые нет четких ответов, и многие исследователи считают это нерешенной проблемой.
Прорыв в этой области поможет подтвердить идею о том, что масштабирование моделей рассуждений оправдывает массовый рост объема вычислений, один из центральных вопросов в продолжающихся дебатах о возможном пузыре искусственного интеллекта.
Вместо того, чтобы быть системой, ориентированной на математику, она построена на более общих достижениях в обучении с подкреплением и вычислениях - без использования внешних инструментов— таких как интерпретаторы кода. Все работает только на естественном языке.
Это различие важно, потому что обучение с подкреплением все еще сталкивается с задачами, на которые нет четких ответов, и многие исследователи считают это нерешенной проблемой.
Прорыв в этой области поможет подтвердить идею о том, что масштабирование моделей рассуждений оправдывает массовый рост объема вычислений, один из центральных вопросов в продолжающихся дебатах о возможном пузыре искусственного интеллекта.
Настоящим узким местом является проверяемость ИИ-решений
Бывший исследователь OpenAI и Tesla Андрей Карпати указал на более глубокое структурное ограничение: в том, что он называет парадигмой “Программного обеспечения 2.0”, ключевой проблемой является не то, насколько точно определена задача, а то, насколько хорошо ее можно проверить.
Только задания со встроенной обратной связью — например, правильные или неправильные ответы или четкие сигналы вознаграждения — могут быть эффективно отработаны с помощью обучения с подкреплением.
Только задания со встроенной обратной связью — например, правильные или неправильные ответы или четкие сигналы вознаграждения — могут быть эффективно отработаны с помощью обучения с подкреплением.
“Чем больше задача поддается проверке, тем больше она поддается автоматизации в новой парадигме программирования”, - пишет Карпати. “Если она не поддается проверке, она должна выпасть из-за магии обобщения нейронных сетей, скрестив пальцы, или с помощью более слабых средств, таких как имитация”.
Вот почему такие области, как математика, кодирование и структурированные игры, развиваются так быстро, иногда даже превосходя производительность опытных людей. Задача IMO полностью вписывается в эту категорию. Напротив, прогресс в менее проверяемых областях — таких как творческая работа, стратегия или рассуждения с учетом контекста — застопорился.
Мнения Турека и Карпати совпадают: модель IMO показывает, что проверяемые задачи могут систематически масштабироваться с использованием методов, основанных на рассуждениях, и таких задач существует множество. Но во всем остальном исследователи по-прежнему надеются, что большие нейронные сети смогут обобщать данные, выходящие далеко за рамки их тренировочных данных.
Мнения Турека и Карпати совпадают: модель IMO показывает, что проверяемые задачи могут систематически масштабироваться с использованием методов, основанных на рассуждениях, и таких задач существует множество. Но во всем остальном исследователи по-прежнему надеются, что большие нейронные сети смогут обобщать данные, выходящие далеко за рамки их тренировочных данных.
Почему обычные пользователи могут не заметить разницы
Даже если модели превзойдут людей в таких строго проверяемых областях, как математика, это не означает, что обычные пользователи почувствуют влияние. Эти достижения все еще могут ускорить исследования в таких областях, как доказательства, оптимизация или разработка моделей, но они вряд ли изменят то, как большинство людей взаимодействуют с ИИ.
Недавно OpenAI отметила, что многие пользователи больше не признают реальных улучшений качества модели, потому что типичные языковые задачи стали тривиальными, по крайней мере, в известных пределах LLM, таких как галлюцинации или фактические ошибки.
Краткие сведения
Недавно OpenAI отметила, что многие пользователи больше не признают реальных улучшений качества модели, потому что типичные языковые задачи стали тривиальными, по крайней мере, в известных пределах LLM, таких как галлюцинации или фактические ошибки.
Краткие сведения
- OpenAI планирует выпустить значительно улучшенную общедоступную версию своей новой модели, которая недавно завоевала золото Международной математической олимпиады, в течение следующих нескольких месяцев.
- Модель основана на достижениях в обучении с подкреплением и возросшей вычислительной мощности и задумана как общая система, а не ориентированная на конкретные задачи. Исследователь Джерри Турек говорит, что она устранит некоторые недостатки существующих языковых моделей.
- Андрей Карпати подчеркивает, что LRM, как правило, быстро продвигаются в задачах с четко проверяемыми результатами, таких как математика или программирование, но их способность к обобщению в других областях менее определенна.