Морфологический переворот как инструмент в “тесте Тьюринга”

Небольшое пояснение к недавней записке с транскриптом сессии LLM GigaChat. Основная идея там в том, что “нейросеть” LLM в ответах на запросы с омонимами (омографами) начинает склеивать в общую выдачу цепочки по разным значениям слов. Например, часть текста отвечает на запрос о замке (как о механизме), а часть – о замке (как о сооружении). Это происходит потому, что программа LLM работает со словами, как с наборами кодов символов, а не с текстом, как отображением некоторой структуры в слова. На уровне кодов символов все омонимы одинаковые. Соответственно, метод с омонимами хорошо подходит в качестве основы для “теста Тьюринга”. Да, разумный человек, читающий текстовые запросы, составленные в стиле “собачки в замке“, тоже может выбрать разные значения. Это нормально, и имеет интересные научные приложения. Однако обычный разумный человек не станет спутывать две или три выбранных по значению модели в один ответ: то есть, не станет писать первую часть предложения про средневековое сооружение, а во второй части рассказывать про механизм замка для запирания двери. А LLM – станет.

(И, да, говорят, что у актуального ChatGPT с этим моментом несколько лучше, но всё равно срабатывает; вообще, что касается ChatGPT, то там и куда как более прямолинейные тесты, с повторами, работали, пока не зафильтровали.)

Адрес записки: https://dxdt.ru/2023/12/05/11814/

Похожие записки:



Далее - мнения и дискуссии

(Сообщения ниже добавляются читателями сайта, через форму, расположенную в конце страницы.)

Написать комментарий

Ваш комментарий:

Введите ключевое слово "GWZ2Q" латиницей СПРАВА НАЛЕВО (<--) без кавычек: (это необходимо для защиты от спама).

Если видите "капчу", то решите её. Это необходимо для отправки комментария ("капча" не применяется для зарегистрированных пользователей). Обычно, комментарии поступают на премодерацию, которая нередко занимает продолжительное время.