Специалисты лаборатории T-Bank AI Research разработали новую архитектуру для языковых моделей, которая позволяет значительно ускорить их работу и снизить энергопотребление. Результаты исследования были представлены на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL), прошедшей в Бангкоке с 11 по 16 августа 2024 года.
Новая разработка российских ученых, получившая название ReBased, позволяет создавать более эффективные языковые модели, которые могут работать на менее мощном оборудовании и потреблять меньше энергии. Это достигается за счет оптимизации алгоритмов обработки текста.
«Мы проанализировали архитектуру существующих языковых моделей и обнаружили неэффективное использование ресурсов. Мы улучшили способ извлечения информации из текста и упростили алгоритм выделения ключевых элементов, что позволило значительно ускорить работу модели и снизить энергопотребление».
Ярослав Аксенов, исследователь обработки естественного языка в T-Bank AI Research
В перспективе архитектура ReBased может быть использована для создания гибридных языковых моделей, которые будут сочетать в себе высокую скорость и точность обработки текста.
Языковые модели — это системы искусственного интеллекта, которые используются для анализа и генерации текстов на естественном языке. Они широко применяются в различных областях, от машинного перевода до создания чат-ботов. Однако современные языковые модели требуют огромных вычислительных ресурсов, что ограничивает возможности их практического.