AlphaCodium превзошел AlphaCode: новая эра ИИ-программирования

Новый инструмент для генерации кода на основе искусственного интеллекта, AlphaCodium , вдохновлённый разработками Google DeepMind AlphaCode (и недавно запущенным AlphaCode 2 на базе Gemini), теперь превзошёл их, вызвав бурное обсуждение в Twitter на этой неделе.

"Мы на шаг ближе к тому, чтобы ИИ начал генерировать код лучше, чем люди!" - написал Сантьяго Вальдаррама. "Результаты демонстрируют, что AlphaCodium - это лучший подход к генерации кода, который мы видели. Он опережает AlphaCode от DeepMind и их новый AlphaCode2, не требуя дополнительной настройки модели!"

Андрей Карпати, бывший директор по искусственному интеллекту в Tesla и сотрудник OpenAI, акцентировал внимание на методе "инженерии потока" в рамках нового инструмента для оптимизации генерации кода. Он описал этот подход как эволюцию от базовой модели "вопрос-ответ" к более продвинутой парадигме "потока", где ответы разрабатываются и уточняются посредством итеративного процесса.

Для улучшения работы моделей больших языковых моделей (LLMs) в задачах, связанных с кодированием, "инженерия потока" AlphaCode расширяет технологию цепочек мыслей, включая элементы архитектуры GAN (разработанной Яном Гудфеллоу в 2014 году), включающие модель, генерирующую код, и противоборствующую модель, обеспечивающую целостность кода через тестирование, размышления и соответствие спецификациям.

Процесс начинается с ввода данных и включает ряд предварительных шагов, где AlphaCodium размышляет над задачей и в итоге приходит к первому решению в виде кода. Затем генерируются дополнительные тесты, которые помогают уточнить решение, и достигается окончательное, действительно работающее решение.

Миссия компании , согласно её веб-сайту, - "помочь разработчикам создавать быстрее и без ошибок". AlphaCodium был протестирован на наборе данных CodeContests, содержащем около 10,000 задач по программированию. Его производительность на этом бенчмарке показала улучшение точности GPT-4 с 19 до 44%. "Этот результат - не просто числовое улучшение; это прорыв в возможностях LLMs в генерации кода, устанавливающий новый стандарт в этой области", - заявили в CodiumAI.

CodiumAI, основанная в 2022 году и привлекшая $10.6 миллионов в марте 2023 года, поделилась репозиторием AlphaCodium на GitHub и сопутствующим исследованием "Генерация кода с AlphaCodium: от инженерии запросов к инженерии потока".