Во вторник представители Google сообщили в своем блоге о создании диалоговой модели Meena на основе нейросетей. Компания заявила, что Meena может вести более разумные и конкретные беседы, чем какой-либо другой современный чат-бот. Для того, чтобы это проверить, в Google разработали новую оценку качества ботов под названием Sensibleness and Specificity Average (SSA).
Фото: hindustantimes.сom
Чем Meena лучше других
Meena обучалась на колоссальном массиве данных — 341 ГБ общедоступной «болтовни» в социальных сетях. Это в 8,5 раз больше данных, чем было использовано при обучении ставшего известным ранее алгоритма GPT-2 от компании Илона Маска OpenAI. Как рассказали представители Google, Meena может говорить практически о чем угодно и даже придумывать шутки (правда, пока не очень смешные).
Обычный разговор между людьми охватывает широкий спектр тем и смыслов. Пока что большинство чат-ботов не могут поддерживать должный уровень диалога. В какой-то момент они начинают выдавать предложения, которые не имеют смысла или лишены конкретики.
Например, если вы говорите: «Мне нравится теннис», а чат-робот отвечает: «Это хорошо», ответ имеет смысл, но не конкретен. Многие чат-боты используют подобные трюки, чтобы скрыть тот факт, что они не понимают, о чем речь. Однако такой ответ робота, как: «Я тоже! Я не могу налюбоваться Роджером Федерером» является конкретным. Meena избегает подобных ошибок, и это делает ее максимально человечной.
Как это проверили
Для того, чтобы проверить свою разработку, сотрудники Google пообщались в свободной форме с несколькими чат-ботами и оценили их, используя систему оценки человечности SSA. Оценка складывалась из трех параметров: осмысленность, конкретность и недоумение. Последняя также измеряется в любой нейросети для фиксации неопределенности языковой модели, и как оказалось, сильно коррелирует с новой метрикой Google.
Фото: ai.googleblog.сom
После тестовых испытаний Meena оказалась «человечна» на 79%. Для сравнения, чат-бот Mitsuko набрал всего 56%, хотя он пять раз побеждал в конкурсе «AI Loebner», главное испытание которого — тест Тьюринга.
Стоит отметить, что люди-собеседники в ходе тестовых испытаний чат-бота набрали 86%, что может стать поводом для размышлений.
Когда можно будет поговорить с Meena
Google не дает точного ответа. Однако компания точно не выпустит публичную демоверсию, пока не убедится в этичности и непредвзятости чат-бота. Очевидно, компания учится на чужих ошибках, ведь когда в 2016 году Microsoft выпустила своего бота Tay, тот начал отпускать расистские и женоненавистнические оскорбления, и его пришлось отключить.