Знакомьтесь, Llama 3: Meta воспитывает модель, которая не поведется на провокации

Meta* готовится к выпуску очередной версии своей ИИ-модели под названием Llama 3 , которая, по заявлениям компании, должна стать более чуткой к пользователю и контексту общения.

В отличие от консервативного подхода в Llama 2, где Meta* избегала любых пиар-скандалов, новая Llama 3 призвана тоньше различать опасный и безобидный смысл слов с двойным значением. Для этого в команде есть специалист, который будет курировать обучение модели и отвечать за то, чтобы её ответы стали более гибкими. Однако только за последний месяц Meta* покинули сразу трое ведущих экспертов в сфере безопасности ИИ, так что неизвестно, как это скажется на качестве разработки.

Не сообщается, станет ли Llama 3 чисто языковой моделью, подобно Llama 2, или же мультимодальной, способной понимать и генерировать не только текст, но и изображения. Согласно имеющимся данным, эта модель, разрабатываемая как альтернатива GPT-4 , может содержать до 140 млрд параметров. Это примерно вдвое больше, чем в предыдущей версии. Тем не менее, 140 млрд параметров - всего лишь часть от заявленного объёма GPT-4, которая изначально должна была быть еще более масштабной.

Обучение Llama 3 пока не началось, но ожидается, что по качеству генерации она все же достигнет уровня GPT-4. Напомним, выпуск Llama 2 состоялся в июле прошлого года.

В целом, несмотря на отток кадров, Meta продолжает придерживаться амбициозных планов в сфере генеративного искусственного интеллекта. Она намерена сохранять относительно открытую стратегию разработки. Глава Meta, Марк Цукерберг, является одним из крупнейших клиентов компании Nvidia. К концу текущего года он планирует задействовать около 600 тысяч видеокарт Nvidia для обучения нейронных сетей.

Конечная цель Meta - создание искусственного интеллекта общего назначения, способного решать широкий спектр задач. Это созвучно принципам компании OpenAI.

В настоящее время существуют два основных подхода к обеспечению безопасности искусственного интеллекта.

Первый - высокорегулируемый, который используют такие компании, как OpenAI в ChatGPT и GPT-4, а также Google в модели Google Advanced. Здесь моделям задаются четкие правила вежливых и политкорректных ответов.

Второй - более свободный подход, реализуемый в проектах с открытым исходным кодом и в программе Илона Маска Grok. К сожалению, Grok пока ещё недостаточно надёжна в плане предсказуемости и безопасности для широкого применения.

Оригинальная модель GPT-4 Mixture-of-Experts, с которой сравнивают Llama 3, насчитывала 1,76 трлн параметров. Хотя параметры уже не являются единственным и наиболее важным показателем качества нейросетей.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.