Реплика: переключение морфологических веток
Иллюстрация по теме “больших языковых моделей” (LLM) и “смысла” текста. “Гора мрамора” и “мрамора гора” – практически одно и то же (в смысле значения, а не как формула, конечно), возможные оттенки привнести может только внешний контекст. Но если на “гора мрамора” смотреть как на наивную “сумму” слов “гора” и “мрамора”, то видно, что чего-то не хватает, особенно, в части “мрамора”. Не хватает – структуры, которая отображается только в пару слов, вызывая их морфологические изменения. Эта же структура отвечает и за то, что слова в данном примере “коммутируют” друг с другом: просто, основная структура при перестановке слов не поворачивается, остаётся без изменений (это, в данном случае, свойство русского языка, конечно). Но если всё же повернуть данную структуру, то эффект тут же проявится: “мрамора гора” и “мрамор горы” уже отличаются существенно, так что вышестоящие ветки, так сказать, не коммутируют при перестановках.
“Забрал забрал” – другой занятный пример. В этой странной фразе имеется в виду, что кто-то забрал откуда-то несколько деталей шлемов, а отдельная деталь называется “забрало”. Конструктивный эффект морфологии совпал в буквенном выражении, поэтому структуру фразы можно поворачивать и запись слов при этом не поменяется. Это неплохие примеры “факторизации структур”, в математическом смысле.
Так что, если где-то утверждается, что ИИ c LLM “понимает текст” и “успешно решает творческие задания”, то нужно к этому относиться с существенной долей сомнения, мягко говоря: “плоская” программа – она есть программа “плоская” (даже если там несколько слоёв “нейросетей”).
Адрес записки: https://dxdt.ru/2023/10/19/11203/
Похожие записки:
- О неочевидных объектах
- Вычислимые опасности ИИ
- ECDSA и общий ГОСТ-ключ
- Рекурсивный ИИ с понижением "сверхразумности"
- Вырезки древних виньеток и рыбы
- Мониторинг жонглёров
- Кабели и квантовые процессоры
- Разноцветные шары и "анонимизация"
- Системы счисления и системное администрирование
- Сигналы станций GSM "в разные стороны"
- Машинное обучение и действительные числа
Кратко этот сайт характеризуется так: здесь можно узнать про технологический прогресс, Интернет, математику, криптографию, авиацию, компьютеры, авиационные компьютеры, вооружения, роботов, вооружение роботов, армии мира, астрономию, космические исследования. И иногда о чём-то ещё (
Комментарии читателей блога: 2
1 <t> // 19th October 2023, 23:29 // Читатель Dmitry написал:
Добрый вечер!
Да, LLM не “понимает текст”, а всего лишь продолжает его в соответствии с тем, как была натренирована. Но человеческие тексты – это не просто набор слов, поставленный согласно синтаксическим правилам. Они включают в себя смыслы, эмоции, логику, архетипичные сюжеты и кучу всего ещё
– “правила высших высшего порядков”, если угодно. И LLM-ки с большим количеством слоев эти правила неплохо-таки схватывают. Не знаю, можно ли сказать что “понимают”, но умеют использовать не хуже людей, которые “понимают”.
Чтобы не быть голословным, вот пример диалога с ChatGPT 4.0 по мотивам поста: https://chat.openai.com/share/18874130-9152-4005-a653-d1ca825f9ead
Да, я дал подсказку – но исходное словосочетание “забрал забрал” не является 100% корректным, второе слово должно быть в винительном падеже.
С уважением,
Дмитрий
2 <t> // 20th October 2023, 10:11 // Александр Венедюхин:
> вот пример диалога с ChatGPT 4.0 по мотивам поста
Полезный пример, спасибо! Я, кстати, как раз думаю, что именно вывод результатов наложения упомянутых языковых структур и составляет тот скачок, который так хорошо отличает результаты того же современного ChatGPT от предыдущих вариантов “говорилок”. То есть, тут в диалоговом режиме проступают части некоторого “узора”, присутствующего в корпусе текстов. Но вот никак не соберусь сформулировать аккуратно, чтобы записать. К тому же, в процессе обучения ChatGPT, как я думаю, есть большая доля непосредственного человеческого участия, но как именно этот момент внедряется в результат – не ясно.
А что касается “забрал забрал”, то, возможно, этот конкретный вариант и выглядит несколько поломанным, но он вполне корректный. Но можно использовать и, скажем, “забрал забрала” – тут получаются другие эффекты: “она забрал забрала”; а “забрала забрала” – и чуть более привычно звучит, и структурных интерпретаций чуть больше; ещё я тут отдельно отмечаю “забрало забрало забрало”.
Написать комментарий