70 миллиардов параметров: Meta* представила обновлённую модель Code Llama

Meta * выпустила обновление для своей LLM -модели Code Llama , предназначенной для генерации кода, с кодовым названием 70B, что можно расшифровать как 70 миллиардов параметров.

Как заявила компания в своём обновляемом посте , модель Code Llama 70B является «самой большой и эффективной на данный момент». Инструменты Code Llama были впервые запущены в августе прошлого года и доступны для использования как в исследовательских, так и в коммерческих целях.

Code Llama 70B стала более точной и теперь может обрабатывать больше запросов по сравнению с предыдущими версиями. Это означает, что разработчики могут задавать ей больше подсказок в процессе программирования и, разумеется, получать более качественные ответы.

По результатам тестирования в бенчмарке HumanEval, точность Code Llama 70B составила 53%, что немного выше показателя модели GPT-3.5 от OpenAI (48,1%), но всё ещё не дотягивает до 67%, которыми обладает GPT-4 .

«Мы выпускаем новую улучшенную версию Code Llama, включающую свыше 70 млрд параметров, — сообщил Марк Цукерберг в своём посте на Facebook *, — я горжусь прогрессом в этом направлении и с нетерпением жду включения этих усовершенствований в Llama 3 и будущие модели».

Code Llama 70B по-прежнему бесплатна для научных и коммерческих целей. Для тренировки языковой модели был использован 1 ТБ данных, связанных с кодом.

Как заявили в Meta, их большие языковые модели 34B и 70B «возвращают наилучшие результаты и позволяют получить наиболее качественную помощь в программировании».

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.