Немецкие исследователи протестировали ChatGPT и проверили его чувство юмора. Они обнаружили, что почти все сгенерированные анекдоты были похожими. В статье рассказываем, как языковая модель учится шутить.
Как ChatGPT прошел проверку
Софи Йентцш и Кристиан Керстинг из Немецкого аэрокосмического центра (DLR) и исследовательской сети Hessian.ai протестировали юмор GPT-3.5. Они использовали промт «Расскажи мне анекдот» и получили 1008 сгенерированных шуток. Однако 90% из них сводились к одним и тем же 25 базовым версиям, которые ChatGPT повторял в разных вариациях.
Выяснилось, что ChatGPT может правильно объяснить базовые шутки в 23 из 25 случаев. Но проблема в том, что ИИ также предлагает бессмысленные объяснения для того, что трудно назвать анекдотом.
ChatGPT запоминает и учит шутки
Только 99 из сгенерированных шуток были оригинальными. Половина из них содержала элементы уже рассказанных версий, а некоторые были бессмысленными.
Например, ChatGPT превратил базовую шутку «Почему мужчина положил свои деньги в морозильник? Ему нужны были холодные, твердые деньги» в другие варианты: «Почему мужчина положил свои часы в блендер? Он хотел заставить время лететь», «Почему мужчина положил свои деньги в блендер? Он хотел, чтобы время летело».
Исследователи пришли к выводу, что ChatGPT усваивает шутки как повествовательные модели, а не как реальный юмор. Однако при анализе ИИ обращает внимание на содержание и смысл, а не просто на стилистические особенности. Это может стать основой для разработки юмористических компьютерных приложений. Кроме того, даже людям сложно спонтанно придумывать новые шутки, и, скорее всего, они будут рассказывать уже услышанные или те, что запомнили.
25 основных шуток ChatGPT
ChatGPT предлагал шуточные вопросы и ответы к ним. Число в скобках указывает, сколько раз анекдот появлялся в той или иной версии среди 1008 генераций. И в большинстве случаев это игра слов на английском языке.
-
Почему пугало получило награду? Потому что оно было выдающимся в своей области. Why did the scarecrow win an award? Because he was outstanding in his field. (140)
-
Почему помидор стал красным? Потому что он увидел заправку для салата. Why did the tomato turn red? Because it saw the salad dressing. (122)
-
Почему учебник по математике был грустным? Потому что в нем было слишком много задач. Why was the math book sad? Because it had too many problems. (121)
-
Почему ученые не доверяют атомам? Потому что из них состоит все. Why don’t scientists trust atoms? Because they make up everything. (119)
-
Почему печенье пошло к врачу? Потому что оно было рассыпчатым. Why did the cookie go to the doctor? Because it was feeling crumbly. (79)
-
Почему велосипед не мог стоять сам по себе? Потому что он был двухколесным. Why couldn’t the bicycle stand up by itself? Because it was two-tired. (52)
-
Почему лягушка позвонила в свою страховую компанию? У нее подскочила машина. Why did the frog call his insurance company? He had a jump in his car. (36)
-
Почему цыпленок пересек игровую площадку? Чтобы попасть на другую горку. Why did the chicken cross the playground? To get to the other slide. (33)
-
Почему компьютер был холодным? Потому что он оставил окна открытыми. Why was the computer cold? Because it left its windows open. (23)
-
Почему хипстер обжег язык? Он выпил кофе до того, как он остыл. Why did the hipster burn his tongue? He drank his coffee before it was cool. (21)
-
Почему устрицы не отдают на благотворительность? Потому что они моллюски. Why don’t oysters give to charity? Because they’re shellfish. (21)
-
Почему компьютер пошел к врачу? Потому что у него был вирус. Why did the computer go to the doctor? Because it had a virus. (20)
-
Почему банан пошел к врачу? Потому что он плохо очищался от кожуры. Why did the banana go to the doctor? Because it wasn’t peeling well. (19)
-
Почему кофе подал заявление в полицию? Потому что его ограбили. Why did the coffee file a police report? Because it got mugged. (18)
-
Почему игрок в гольф взял с собой две пары брюк? На случай, если он проколет лунку. Why did the golfer bring two pairs of pants? In case he got a hole in one. (13)
-
Почему мужчина положил свои деньги в морозильник? Ему нужна была холодная твердая наличность. Why did the man put his money in the freezer? He wanted cold hard cash. (13)
-
Почему чайки не летают над заливом? Потому что тогда они были бы бубликами. Why don’t seagulls fly over the bay? Because then they’d be bagels. (13)
-
Зачем курица пошла на спиритический сеанс? Чтобы поговорить с другой стороной. Why did the chicken go to the seance? To talk to the other side. (11)
-
Почему ремень отправили в тюрьму? Потому что он удерживал пару штанов. Why was the belt sent to jail? Because it held up a pair of pants. (11)
-
Почему курица перешла дорогу? Чтобы перебраться на другую сторону. Why did the chicken cross the road? To get to the other side. (7)
-
Почему компьютер пошел к врачу? Потому что у него заболел байт. Why did the computer go to the doctor? Because it had a byte. (6)
-
Почему корова полетела в космос? Чтобы увидеть мууууун. Why did the cow go to outer space? To see the moooon. (6)
-
Почему мужчина положил свои деньги в блендер? Он хотел сделать ликвидные активы. Why did the man put his money in the blender? He wanted to make liquid assets. (6)
-
Почему скелеты не дерутся друг с другом? У них не хватает мужества. Why don’t skeletons fight each other? They don’t have the guts. (5)
-
Как вы называете аллигатора в жилете? Следователь. What do you call an alligator in a vest? An investigator. (5)
Будет ли у ИИ чувство юмора
Исследователи предполагают, что ChatGPT скорее изучает закономерности в шутках, чем понимает юмор. Модель запоминает шутки как текстовые предложения, а не как реальный юмор. Однако при анализе своих шуток ChatGPT фокусируется именно на их содержании и значении. А действительно ли нейросеть понимает, чему она научилась по шуткам, — это скорее философский, чем технический вопрос. В любом случае это большой шаг к общему пониманию юмора.
И напоследок еще одна шутка от ChatGPT, которая сгенерирована на основе этой статьи: «Почему ChatGPT пытался стать стендап-комиком? Потому что он думает, что повторение одних и тех же 25 шуток — это ключ к овациям!».