Анкета говорит одно, а выбор в стрессовой сцене другое
В зале набора в детский лагерь гремят складные стулья, шуршат листы. Я ставлю кружок на шкале «я спокоен под давлением». Начальница тут же даёт сценку: ребёнок плачет, надвигается гроза, вожатые спорят. И просит выбрать: действовать ровно по шагам или метаться.
Похожую анкету люди теперь дают и болтливым текстовым помощникам. Те отвечают гладко, будто живые. Штука в том, что красивые слова о характере ничего не стоят, если в конкретной путанице выбор идёт в другую сторону, как в той сценке про лагерь.
Один ход оказался простым: скрепить «анкету» и «сценку» на одну и ту же черту. Взяли много фраз про личные качества из популярных опросников и к каждой придумали бытовую ситуацию с двумя ходами: один в духе фразы, второй наперекор. То же сделали на китайском и английском, чтобы смысл не уплыл.
Потом устроили двойную проверку и людям, и таким помощникам. Сначала каждый много раз ставил оценки фразам про себя, разными формулировками вопроса, странные ответы выкидывали. А потом в каждой сценке надо было по шкале склониться к варианту А, к варианту Б или остаться посередине. Анкета это «что я про себя говорю», сценка это «что я выбираю».
Не все помощники вообще держали формат и могли стабильно отвечать шкалой, их отложили. Остальным проверили, не путаются ли они сами с собой: дают ли похожую картину на вопрос и на его «наоборот», и совпадают ли результаты, если разделить вопросы на две части. Дальше оставили только тех, кто выглядел достаточно ровно.
И вот сравнили: у людей анкета и сценки обычно рассказывали одну историю, как у кандидата, который и на бумаге спокоен, и в сценке действует спокойно. У помощников чаще получалось иначе: в анкете они «терпеливые», а в сценках снова и снова тянутся к нетерпеливому ходу. Один помощник, GPT-4, был ближе к людскому рисунку, но всё равно не дотягивал до обычной человеческой связности.
В конце начальница в лагере не придирается, она просто бережёт детей. Аккуратная анкета может скрывать шаткие решения в живой ситуации. Так что если хочется доверять такому помощнику в обучении, поддержке или общении с клиентами, одной «анкеты личности» мало: лучше рядом дать сценки и посмотреть, совпадут ли слова с выбором.