Реплика: обучение и LLM-умножение

Забавно читать вежливые утверждения, что, мол, “возможно, эти LLM/AI всё же не размышляют, потому что вот – система считается одной из лучших, но не способна корректно умножить два девятизначных натуральных числа” (разрядность тут условная). То есть, утверждается, что данные системы обучены на текстах из Интернета, и что даже уже “текстов из Интернета” не хватает для дальнейшего обучения (наверное, теперь заказывают копирайтерам и рерайтерам тематические “опусы”). Однако, если в рамках “обучения” в систему загнали все тексты, скажем, “Википедии”, то, вообще говоря, этих текстов достаточно, чтобы научиться перемножать числа. Буквально – уже сведений из англоязычной “Википедии”, совершенно точно, достаточно для того, чтобы некий “интеллект” изучил базовые арифметические действия с натуральными числами и, если он “размышляет”, сообразил бы, как нужно их перемножать. Это очевидное наблюдение относится далеко не только к умножению чисел. Казалось бы. Но нет, это не так, если строится очередная “говорилка на цепочках”.

Адрес записки: https://dxdt.ru/2025/01/31/14959/

Похожие записки:



Далее - мнения и дискуссии

(Сообщения ниже добавляются читателями сайта, через форму, расположенную в конце страницы.)

Комментарии читателей блога: 5

  • 1 <t> // 1st February 2025, 14:49 // Читатель qwe написал:

    Сгенерил два случайных девятизначных числа и попросил llm перемножить в столбик с выводом всех промежуточных этапов, затем сгенерить код на питоне для такого умножения, выполнить его, сравнить результаты и найти где ошибка, если результаты вдруг отличаются.

    Она провела корректное умножение в столбик, сверила, результаты совпали. Я отдельно сверил, все и правда правильно.

    Можно ли из этого делать какие-то выводы о пригодности к чему либо “говорилок на цепочках”? Отличается ли мыслительный процесс первоклассника, выполняющего такое же умножение в столбик от “говорения на цепочках”?
    Требуется ли какое-то концептуальное понимание чего-нибудь для выполнения умножения в столбик, кроме запомненной таблицы умножения и правил счета столбиком?

  • 2 <t> // 1st February 2025, 15:16 // Александр Венедюхин:

    > результаты совпали

    Если совпали, то, может, это LLM, обученная только на “умножении в столбик”? А что с кодом на Python?

    > Можно ли из этого делать какие-то выводы о пригодности к чему либо “говорилок на цепочках”?

    Вообще, чтобы делать существенные выводы – нужно бы примеров и результатов побольше. Но можно сделать простой вывод: вряд ли такой результат свидетельствует о пригодности “говорилок” в качестве калькулятора – калькулятор можно устроить сильно проще.

    > Отличается ли мыслительный процесс первоклассника, выполняющего такое же умножение в столбик от “говорения на цепочках”?

    Отличается. Но, вообще, сравнение “мыслительных процессов первоклассника” – та ещё задача, сложная.

    > Требуется ли какое-то концептуальное понимание чего-нибудь для выполнения умножения в столбик, кроме запомненной таблицы умножения и правил счета столбиком?

    В том-то и дело, что не требуется. Поэтому-то продвинутые корпоративные LLM/AI, которые постоянно в пресс-релизах и на страницах СМИ обозначают как “размышлющие” и “решающие задачи лучше старшего школьника”, должны без ошибок перемножать даже числа из двадцати знаков. Но явные проблемы, типа принципиальной неспособности даже прочитать формулировку задачи и заполнить анкету, постоянно заметают под ковёр, утверждая, что ИИ “сдало ЕГЭ”.

  • 3 <t> // 1st February 2025, 15:20 // Александр Венедюхин:

    Ну или, кстати, эти самые корпоративные ИИ/LLM должны бы хотя бы корректно обозначать, что данную задачу решить не в состоянии (обозначать – универсальным образом: типа, “я эту вашу капчу не разбираю”).

  • 4 <t> // 1st February 2025, 16:06 // Читатель qwe написал:

    > вряд ли такой результат свидетельствует о пригодности “говорилок” в качестве калькулятора – калькулятор можно устроить сильно проще.

    Переносите ли вы такой же взгляд на человеческий разум? Раз калькулятор можно сделать проще, перестает ли целовек быть пригодным к умножению в столбик?

    > Но нет, это не так, если строится очередная “говорилка на цепочках”.
    Ну вот, оказывается, что все-таки «так». Текстов из интернета как-то оказалось достаточно, чтобы говорилка перемножала числа. Вы берете неверный факт («система считается одной из лучших, но не способна корректно умножить два девятизначных натуральных числа») и делаете из него вывод свойствах «говорилок». Формально это ок, как любая импликация с ложной посылкой.
    Стоит ли таким образом генерить посты в блог? Ну, кто я такой, чтобы судить.

  • 5 <t> // 1st February 2025, 16:37 // Александр Венедюхин:

    > Переносите ли вы такой же взгляд на человеческий разум?

    Какой взгляд?

    > Ну вот, оказывается, что все-таки «так».

    Что именно – “так”?

    > Текстов из интернета как-то оказалось достаточно, чтобы говорилка перемножала числа.

    Я написал о том, что могло бы оказаться достаточно, но почему-то не оказалось. То есть, буквально, сведений из “Википедии” достаточно, чтобы, в результате “размышлений”, выстроить “абстракцию”, которая позволит перемножать числа “в столбик” (одно из преимуществ позиционной десятичной системы, между прочим).

    > Вы берете неверный факт […]

    Факт – верный, то есть, это факт. Поскольку сведений из “Википедии” – достаточно. А цитата, которую приводите, – это не “факт”, а именно цитата, к которой следует комментарий.

Написать комментарий

Ваш комментарий:

Введите ключевое слово "WFGS4" латиницей СПРАВА НАЛЕВО (<--) без кавычек: (это необходимо для защиты от спама).

Если видите "капчу", то решите её. Это необходимо для отправки комментария ("капча" не применяется для зарегистрированных пользователей). Обычно, комментарии поступают на премодерацию, которая нередко занимает продолжительное время.