“Вес” значений омонимов в текстах для LLM
В развитие темы “морфологических переворотов” и LLM ИИ. Почему не все омонимы (омографы) тут одинаково подходят? Потому, что LLM строится на цепочках из корпуса готовых текстов, и если в этом корпусе разные ветки значений омонима имеют сильно разный “вес”, то эффект применения будет не таким выраженным.
Чем, например, хорошо слово “замок”? Тем, что это сбалансированный “токен” – тут для двух веток (механизм и сооружение) можно ожидать примерно одинаковый “вес”: и одно, и другое значение широко применяются в “обычных” текстах.
А вот другой пример: “хлопок”. Здесь можно ожидать, что значение “ткань” будет сильно перевешивать: куча инструкций и описаний к разным видам и моделям одежды (в том числе, для шитья), к стиральным машинам и утюгам. К этой же ветке, через “ткань”, притянется и “хлопок-растение”, так как данное значение сложно отделить от “ткани”. Другая ветка: “резкий, громкий звук” – в этом значении “хлопок” хоть и обособлен, но в текстах (скорее всего) встречается существенно реже, вес будет заметно меньше “ткани”. Так что в выдаче LLM про “хлопок/хлопок” будет побеждать “ткань”, переключить с помощью сконструированного запроса ветки в одном ответе LLM гораздо сложнее (но, думаю, всё равно возможно).
(Update, 04/01/2024: пример успешного переключения “шампанского” и “хлопчатобумажного” на примере GigaChat.)
Адрес записки: https://dxdt.ru/2023/12/13/11882/
Похожие записки:
- Пятый постулат Евклида в древнем исполнении
- Реплика: слух человека и преобразование Фурье
- Техническое: занимательный пример из практики DNS в Интернете
- Зрение ИИ LLM на скриншотах
- Реплика: преодоление air gap
- ECDSA и общий ГОСТ-ключ
- Замена смысла текстовых предложений
- Реплика: теоретическая разборка карамелек
- DARPA и "недетерминированные" системы на борту
- Постквантовые криптосистемы на экспериментальном сервере TLS
- Open Source и добавление "вредоносного кода"
Комментарии читателей блога: 2
1 <t> // 13th December 2023, 16:09 // Читатель nataraj написал:
“Хлолпок одной руки” это явно про какого-то зеленого человека история… который на одной руке решил себе хлопок вырастить…
2 <t> // 13th December 2023, 16:19 // Александр Венедюхин:
Да. “Одной левой – три центнера хлопка”.
Написать комментарий