dxdt.ru: занимательный интернет-журнал

Оказывается, многие жалуются на набеги ботов, – особенно, на тот самый ClaudeBot, – при помощи которых очередные AI-компании копируют доступный чужой веб-контент в свои синонимайзеры, чтобы потом использовать в своих целях на собственных информационных ресурсах (что, вообще-то, совсем не ново, но раньше иногда ссылки ставили и, хотя бы, не прикрывали такую деятельность “искусственным интеллектом”). На dxdt.ru трафик вообще минимальный, но от этого периодические массовые опросы, выполняемые AI-ботами, только заметнее. Странно, что они нередко запрашивают одни и те же страницы через минимальные промежутки времени, но с разных IP-адресов. Конкретно для ClaudeBot я, в порядке эксперимента, даже сделал специальную заглушку с редиректом и последующим кодом статуса HTTP 503 – вроде, это помогло.

Адрес записки: https://dxdt.ru/2024/07/25/13478/