Реплика: переключение морфологических веток

Иллюстрация по теме “больших языковых моделей” (LLM) и “смысла” текста. “Гора мрамора” и “мрамора гора” – практически одно и то же (в смысле значения, а не как формула, конечно), возможные оттенки привнести может только внешний контекст. Но если на “гора мрамора” смотреть как на наивную “сумму” слов “гора” и “мрамора”, то видно, что чего-то не хватает, особенно, в части “мрамора”. Не хватает – структуры, которая отображается только в пару слов, вызывая их морфологические изменения. Эта же структура отвечает и за то, что слова в данном примере “коммутируют” друг с другом: просто, основная структура при перестановке слов не поворачивается, остаётся без изменений (это, в данном случае, свойство русского языка, конечно). Но если всё же повернуть данную структуру, то эффект тут же проявится: “мрамора гора” и “мрамор горы” уже отличаются существенно, так что вышестоящие ветки, так сказать, не коммутируют при перестановках.

“Забрал забрал” – другой занятный пример. В этой странной фразе имеется в виду, что кто-то забрал откуда-то несколько деталей шлемов, а отдельная деталь называется “забрало”. Конструктивный эффект морфологии совпал в буквенном выражении, поэтому структуру фразы можно поворачивать и запись слов при этом не поменяется. Это неплохие примеры “факторизации структур”, в математическом смысле.

Так что, если где-то утверждается, что ИИ c LLM “понимает текст” и “успешно решает творческие задания”, то нужно к этому относиться с существенной долей сомнения, мягко говоря: “плоская” программа – она есть программа “плоская” (даже если там несколько слоёв “нейросетей”).

Адрес записки: https://dxdt.ru/2023/10/19/11203/

Похожие записки:



Далее - мнения и дискуссии

(Сообщения ниже добавляются читателями сайта, через форму, расположенную в конце страницы.)

Комментарии читателей блога: 2

  • 1. 19th October 2023, 23:29 // Читатель Dmitry написал:

    Добрый вечер!

    Да, LLM не “понимает текст”, а всего лишь продолжает его в соответствии с тем, как была натренирована. Но человеческие тексты – это не просто набор слов, поставленный согласно синтаксическим правилам. Они включают в себя смыслы, эмоции, логику, архетипичные сюжеты и кучу всего ещё
    – “правила высших высшего порядков”, если угодно. И LLM-ки с большим количеством слоев эти правила неплохо-таки схватывают. Не знаю, можно ли сказать что “понимают”, но умеют использовать не хуже людей, которые “понимают”.

    Чтобы не быть голословным, вот пример диалога с ChatGPT 4.0 по мотивам поста: https://chat.openai.com/share/18874130-9152-4005-a653-d1ca825f9ead

    Да, я дал подсказку – но исходное словосочетание “забрал забрал” не является 100% корректным, второе слово должно быть в винительном падеже.

    С уважением,
    Дмитрий

  • 2. 20th October 2023, 10:11 // Александр Венедюхин:

    > вот пример диалога с ChatGPT 4.0 по мотивам поста

    Полезный пример, спасибо! Я, кстати, как раз думаю, что именно вывод результатов наложения упомянутых языковых структур и составляет тот скачок, который так хорошо отличает результаты того же современного ChatGPT от предыдущих вариантов “говорилок”. То есть, тут в диалоговом режиме проступают части некоторого “узора”, присутствующего в корпусе текстов. Но вот никак не соберусь сформулировать аккуратно, чтобы записать. К тому же, в процессе обучения ChatGPT, как я думаю, есть большая доля непосредственного человеческого участия, но как именно этот момент внедряется в результат – не ясно.

    А что касается “забрал забрал”, то, возможно, этот конкретный вариант и выглядит несколько поломанным, но он вполне корректный. Но можно использовать и, скажем, “забрал забрала” – тут получаются другие эффекты: “она забрал забрала”; а “забрала забрала” – и чуть более привычно звучит, и структурных интерпретаций чуть больше; ещё я тут отдельно отмечаю “забрало забрало забрало”.

Написать комментарий

Ваш комментарий:

Введите ключевое слово "QFG67" латиницей СПРАВА НАЛЕВО (<--) без кавычек: (это необходимо для защиты от спама).

Если видите "капчу", то решите её. Это необходимо для отправки комментария ("капча" не применяется для зарегистрированных пользователей). Обычно, комментарии поступают на премодерацию, которая нередко занимает продолжительное время.