Llama 3 – достойный конкурент для LLM от OpenAI, Google и Anthropic

Компания Meta * официально анонсировала выпуск своей новейшей модели искусственного интеллекта, Llama 3, которая по заявлениям разработчиков способна составить конкуренцию более крупным моделям от Google, Mistral и Anthropic.

Llama 3 представлена в версиях с разным количеством параметров: от 8 до более чем 400 миллиардов. На данный момент доступны варианты с 8 и 70 миллиардами параметров. Тем временем, компания продолжает работу над обучением более крупных и сложных языковых моделей.

Одно из ключевых улучшений Llama 3 заключается в использовании нового токенизатора с лексиконом из 128 тысяч токенов, что существенно повысило эффективность кодирования естественного языка. Дополнительное повышение производительности достигнуто за счёт использования качественных наборов данных и дополнительных шагов донастройки после обучения.

Обучение Llama 3 проходило на базе более 15 триллионов токенов, собранных из общедоступных источников. Это в 7 раз больше, чем у предыдущей модели Llama 2. Meta также разработала специальную систему фильтрации входных данных для минимизации обучения на некачественной информации.

Кроме того, компания внедрила новые инструменты безопасности, включая Llama Guard 2 и Cybersec Eval 2, предназначенные для защиты модели от злоупотреблений и атак.

В ближайшие месяцы Meta планирует представить дополнительные модели, включая вышеупомянутую на 400 миллиардов параметров. Эти модели будут поддерживать расширенные функции и иметь куда большие контекстные окна, позволяющие обрабатывать более сложные запросы.

Модели Llama3-8B и Llama3-70B уже доступны для скачивания на сайте Meta. Также их будет возможно развернуть в облачных платформах, таких как Amazon Web Services, Microsoft Azure и Google Cloud.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.