В интернете появилась новая LLaMa 3.1 размером 405B. Она может быстро стать новым королем чат-ботов, превзойдя GPT-4o по большинству бенчмарков.
Традиционная модель появилась в Сети в виде торрент-файла на Reddit до публикации официального релиза. Также были обновлены версии на 8В и 70В, после чего в некоторых тестах модели улучшились почти в 2 раза.
Как показали бенчмарки, LLaMa 3.1 превосходит GPT-4o в нескольких тестах, включая GSM8K, Hellaswag, MMLU-humanities, MMLU-other, MMLU-stem и winograd. При этом LLaMa 3.1 отстает в HumanEval и MMLU-social sciences.
Оценка производилась при анализе базовой модели LLaMa 3.1. Для полного раскрытия ее потенциала необходимо настроить инструкции. Специалисты считают, что многие результаты могут заметно улучшиться, когда будет выпущена версия Instruct моделей Llama 3.1. Кроме улучшения качества, в данной модели увеличен размер контекста до 128K вместо 8K. Время покажет, сможет ли LLaMa 3.1 обогнать ChatGPT-4o.
Корпорация Meta* ранее заявляла, что нейросеть нового поколения Llama 3 является самой способной из открытых LLM в настоящее время. Несколько месяцев назад были выпущены 2 версии: Llama 3 8B и Llama 3 70B.
Ранее «Компьютерра» писала, что чат-бот Ernie Bot, являющийся конкурентом ChatGPT, обрабатывает более 200 млн запросов ежемесячно.
* Корпорация Meta запрещена в России, так как признана экстремистской организацией.