Исследовательская группа Cohere For AI запустила новый ИИ-полиглот, который поможет заполнить языковой пробел в данной области. Новая генеративная модель искусственного интеллекта с открытым исходным кодом может выполнять инструкции более чем на 100 языках.
Исследовательская группа Cohere For AI (C4AI) объявила о новой генеративной модели больших языковых исследований (LLM) с открытым исходным кодом, охватывающей более 100 различных языков. Aya помогает исследователям раскрыть мощный потенциал LLM для десятков культур, которые в значительной степени игнорируются большинством современных моделей.
Наряду с Aya, Cohere также выпускает крупнейший на сегодняшний день набор многоязычных инструкций объемом 513 млн точек данных, который охватывает 114 языков, чтобы исследователи могли использовать его в своих моделях. Набор данных включает недостаточно обслуживаемые языки, так что технология искусственного интеллекта даст толчок для обслуживания более широкой аудитории.
В команде Cohere for AI комментируют: «Поскольку LLM и ИИ в целом изменили глобальный технологический ландшафт, многие сообщества по всему миру остались без поддержки из-за языковых ограничений существующих моделей. Этот пробел препятствует применимости и полезности генеративного ИИ для глобальной аудитории, и у него есть потенциал для дальнейшего увеличения существующих различий, которые уже существуют с предыдущих волн технологического развития».
В помощь, выпускаемый набор данных содержит 204 000 редких аннотаций, подготовленных человеком, свободно владеющим 67 языками. Аннотации используются моделями ИИ, чтобы эффективно учиться, добавляя контекст к данным для понимания языка, например, для категоризации и повышения точности. Это предоставит исследователям чрезвычайно качественный набор данных, который разработчики и исследователи смогут использовать для создания надежных языковых моделей.
Исследователи также заявили, что модель хорошо зарекомендовала себя в тестах с массовым использованием нескольких языков и превосходит другие модели с открытым исходным кодом, включая mT0 и Bloomz от BigScience. Aya набрала 75% в человеческих оценках по сравнению с другими «ведущими моделями с открытым исходным кодом».