Реплика: обучение и LLM-умножение
Забавно читать вежливые утверждения, что, мол, “возможно, эти LLM/AI всё же не размышляют, потому что вот – система считается одной из лучших, но не способна корректно умножить два девятизначных натуральных числа” (разрядность тут условная). То есть, утверждается, что данные системы обучены на текстах из Интернета, и что даже уже “текстов из Интернета” не хватает для дальнейшего обучения (наверное, теперь заказывают копирайтерам и рерайтерам тематические “опусы”). Однако, если в рамках “обучения” в систему загнали все тексты, скажем, “Википедии”, то, вообще говоря, этих текстов достаточно, чтобы научиться перемножать числа. Буквально – уже сведений из англоязычной “Википедии”, совершенно точно, достаточно для того, чтобы некий “интеллект” изучил базовые арифметические действия с натуральными числами и, если он “размышляет”, сообразил бы, как нужно их перемножать. Это очевидное наблюдение относится далеко не только к умножению чисел. Казалось бы. Но нет, это не так, если строится очередная “говорилка на цепочках”.
Адрес записки: https://dxdt.ru/2025/01/31/14959/
Похожие записки:
- Chrome и проверка веб-страниц в браузере
- Секретные ключи в трафике и симметричные шифры
- Несколько комментариев "около 3d-печати"
- Хеш-функции для анонимизации
- Вывод ключей Kyber768 на tls13.1d.pw
- Алгоритмы преобразования в биометрии
- Реплика: атака посредника в TLS и проблема доверия сертификатам
- LibreSSL и поддержка криптосистем ГОСТ
- Техническое: ключи DNSSEC и их теги
- Рендеринг для 3D-печати - пример
- Метаинформация, мессенджеры и цепочки событий в трафике
Комментарии читателей блога: 5
1 <t> // 1st February 2025, 14:49 // Читатель qwe написал:
Сгенерил два случайных девятизначных числа и попросил llm перемножить в столбик с выводом всех промежуточных этапов, затем сгенерить код на питоне для такого умножения, выполнить его, сравнить результаты и найти где ошибка, если результаты вдруг отличаются.
Она провела корректное умножение в столбик, сверила, результаты совпали. Я отдельно сверил, все и правда правильно.
Можно ли из этого делать какие-то выводы о пригодности к чему либо “говорилок на цепочках”? Отличается ли мыслительный процесс первоклассника, выполняющего такое же умножение в столбик от “говорения на цепочках”?
Требуется ли какое-то концептуальное понимание чего-нибудь для выполнения умножения в столбик, кроме запомненной таблицы умножения и правил счета столбиком?
2 <t> // 1st February 2025, 15:16 // Александр Венедюхин:
> результаты совпали
Если совпали, то, может, это LLM, обученная только на “умножении в столбик”? А что с кодом на Python?
> Можно ли из этого делать какие-то выводы о пригодности к чему либо “говорилок на цепочках”?
Вообще, чтобы делать существенные выводы – нужно бы примеров и результатов побольше. Но можно сделать простой вывод: вряд ли такой результат свидетельствует о пригодности “говорилок” в качестве калькулятора – калькулятор можно устроить сильно проще.
> Отличается ли мыслительный процесс первоклассника, выполняющего такое же умножение в столбик от “говорения на цепочках”?
Отличается. Но, вообще, сравнение “мыслительных процессов первоклассника” – та ещё задача, сложная.
> Требуется ли какое-то концептуальное понимание чего-нибудь для выполнения умножения в столбик, кроме запомненной таблицы умножения и правил счета столбиком?
В том-то и дело, что не требуется. Поэтому-то продвинутые корпоративные LLM/AI, которые постоянно в пресс-релизах и на страницах СМИ обозначают как “размышлющие” и “решающие задачи лучше старшего школьника”, должны без ошибок перемножать даже числа из двадцати знаков. Но явные проблемы, типа принципиальной неспособности даже прочитать формулировку задачи и заполнить анкету, постоянно заметают под ковёр, утверждая, что ИИ “сдало ЕГЭ”.
3 <t> // 1st February 2025, 15:20 // Александр Венедюхин:
Ну или, кстати, эти самые корпоративные ИИ/LLM должны бы хотя бы корректно обозначать, что данную задачу решить не в состоянии (обозначать – универсальным образом: типа, “я эту вашу капчу не разбираю”).
4 <t> // 1st February 2025, 16:06 // Читатель qwe написал:
> вряд ли такой результат свидетельствует о пригодности “говорилок” в качестве калькулятора – калькулятор можно устроить сильно проще.
Переносите ли вы такой же взгляд на человеческий разум? Раз калькулятор можно сделать проще, перестает ли целовек быть пригодным к умножению в столбик?
> Но нет, это не так, если строится очередная “говорилка на цепочках”.
Ну вот, оказывается, что все-таки «так». Текстов из интернета как-то оказалось достаточно, чтобы говорилка перемножала числа. Вы берете неверный факт («система считается одной из лучших, но не способна корректно умножить два девятизначных натуральных числа») и делаете из него вывод свойствах «говорилок». Формально это ок, как любая импликация с ложной посылкой.
Стоит ли таким образом генерить посты в блог? Ну, кто я такой, чтобы судить.
5 <t> // 1st February 2025, 16:37 // Александр Венедюхин:
> Переносите ли вы такой же взгляд на человеческий разум?
Какой взгляд?
> Ну вот, оказывается, что все-таки «так».
Что именно – “так”?
> Текстов из интернета как-то оказалось достаточно, чтобы говорилка перемножала числа.
Я написал о том, что могло бы оказаться достаточно, но почему-то не оказалось. То есть, буквально, сведений из “Википедии” достаточно, чтобы, в результате “размышлений”, выстроить “абстракцию”, которая позволит перемножать числа “в столбик” (одно из преимуществ позиционной десятичной системы, между прочим).
> Вы берете неверный факт […]
Факт – верный, то есть, это факт. Поскольку сведений из “Википедии” – достаточно. А цитата, которую приводите, – это не “факт”, а именно цитата, к которой следует комментарий.
Написать комментарий