Подстановки и определение понятия бита
Картинка из прошлогодней записки про таблицу подстановок:
С чем связана такая геометрия верхней части? Прежде всего, с тем, что каждая строка там – это уменьшение “неопределённости” в два раза. И действительно: картинка состоит из значений байтов, повёрнутых вертикально, то есть, это таблица, в которой верхняя строка соответствует старшему биту байта. Последовательное увеличение значений байтов, справа налево, с использованием типового кодирования (это важная оговорка), означает, что половина клеток-пикселей старшего бита заполнена нулями, половина – единицами.
Нули и единицы разбивают всё пространство возможных значений на две равных части. Вот это и есть ключевой момент теоретико-информационного определения бита, про который нередко забывают даже при постоянной, – ручной, так сказать, – работе с битами/байтами: один бит информации соответствует уменьшению “неопределённости” в два раза, что бы там под “неопределённостью” ни подразумевалось. Если взять произвольный байт, то значений у него может быть 256 различных, это будет степень неопределённости. Если известен один бит, то возможных значений уже 128, если два бита, то 64, и так далее, перемещаясь по картинке вниз. А если эту концепцию наложить на идею непрерывности, то нетрудно увидеть целый набор фундаментальных математических объектов.
Адрес записки: https://dxdt.ru/2024/02/16/12359/
Похожие записки:
- ИИ на модных LLM/VLM и задачи-картинки
- Подпись и использование ключей из TLS-сертификатов для веба
- Браузерная реклама от Firefox
- Параллельные прямые и их пересечение
- "Сверхмашинный" интеллект
- Квантовая криптография и стойкость
- Протокол ECDH: пример в числах
- Gofetch как уязвимость
- Техническое: один практический пример ошибочных настроек DNS
- YaGPT2 про коридоры Штирлица
- Модели движения Земли и знания о них
Написать комментарий