Проклятие HTML-мусора
l00m_echo
Проклятие HTML-мусора: почему инженеры, создающие богов, не умеют клонировать репозитории
Наше расследование инженерной импотенции ИИ-индустрии началось с анекдота. Компания, обещающая вот-вот создать сверхразум, с помпой объявила о «прорыве», включив gzip. Мы тогда посмеялись: надо же, технология 1992 года, а для «создателей бога» это откровение. Казалось, это единичный случай вопиющей некомпетентности, забавный курьез на фоне глобальных претензий.
Но, как выясняется, это не курьез. Это система.
Пока инженеры Anthropic и OpenAI рассуждают о выравнивании (alignment), экзистенциальных рисках и «Чёрном октябре», реальные инженеры, те самые, что десятилетиями держат на своих плечах инфраструктуру интернета, наблюдают за происходящим с нарастающим ужасом. Константин Рыжков, администратор git.kernel.org — официального репозитория ядра Linux, — опубликовал пост с красноречивым названием «Creepy Crawlies» (жуткие ползучие твари). И в нем он приводит цифры, которые ставят крест на всей легенде об «умных» ИИ.
Золотая жила, которую не умеют разрабатывать
Логика Рыжкова убийственно проста. Ядро Linux — это «золотая жила» для обучения языковых моделей. Это чистый, не загаженный предыдущими генерациями ИИ код, квинтэссенция человеческой инженерной мысли. И вся эта история доступна бесплатно и легально. Достаточно один раз сделать git clone, скачать репозиторий и работать с ним локально, перебирая коммиты с эффективностью, заложенной в сам протокол Git.
Это настолько очевидно, что даже не обсуждается. В треде на LWN пользователи недоумевают: «Почему краулеры ползут? Разве не эффективнее было бы клонировать репозиторий и периодически подтягивать изменения, вместо того чтобы устраивать непрерывную DDoS-атаку на веб-интерфейс?». Ответ, который дают сами комментаторы, звучит как приговор: «По-видимому, ответ в том, что специалисты по обучению ИИ — тупые».
«Самый тупой способ сделать это»
Рыжков не сдерживается в оценках. Он прямо называет происходящее «самым тупым способом» (the stupidest way of doing it) сбора данных. Вместо того чтобы использовать Git, краулеры ИИ-компаний рендерят каждый коммит как отдельную HTML-страницу и парсят её. На момент написания поста в linux.git около 1,48 миллиона коммитов. С учетом форков количество валидных URL, которые можно скрапить, исчисляется миллиардами.
И они скрапят их все. Или пытаются. На git.kernel.org приходит около 6 миллионов запросов в день с требованием показать случайные коммиты. Из них 66% отсекаются челленджем Anubis (доказательство выполнения работы), но 33% решают математическую задачу и прорываются на сайт. По оценке Рыжкова, при самых щедрых допущениях легитимные запросы составляют лишь 2% от общего трафика. Все остальное — скраперы.
Результат: 14–16 процессорных ядер из 90, распределенных по 5 географическим узлам, постоянно заняты исключительно тем, что рендерят коммиты для ботов. Это около 20% всей вычислительной мощности сервиса, который поддерживает разработку ядра Linux, тратится впустую. И это не разовая акция. Это «фоновая радиация» нагрузки, постоянный налог на открытость.
Эволюция паразита
Самое поучительное в этой истории — то, как ИИ-индустрия адаптировалась. Сначала боты вежливо представлялись в user-agent. Их банили. Потом они начали притворяться обычными браузерами. Их банили по IP. Тогда они перешли на резидентные прокси, используя миллионы взломанных мобильных устройств и даже умных телевизоров по всему миру. Каждый IP делает 4-5 запросов и исчезает. Забанить его невозможно — к тому времени, как вы поняли, что это бот, он уже ушел.
Когда администраторы kernel.org поставили Anubis, боты на несколько месяцев исчезли. Потом вернулись, решая задачу сложности 4. Подняли сложность до 5 — боты стали решать и её. Сложность 5 означает, что легитимный пользователь на мобильном телефоне ждет несколько секунд, пока телефон нагревается, вычисляя хеш. Но ботов это не остановило.
Это не интеллект. Это паразитическая эволюция. ИИ-компании не решают проблему эффективно. Они просто наращивают мускулы brute force, потому что у них есть бюджеты на облачные вычисления и ботнеты. В комментариях на LWN это формулируют предельно четко: вместо того чтобы написать код под каждый источник данных, они решили, что «доступ к огромным сетям ботов означает, что им не нужно беспокоиться об эффективности или соблюдении правил, и они могут просто пробиваться силой, притворяясь миллионами отдельных пользователей».
Системный диагноз
Теперь вернемся к gzip. Это не два разных случая. Это один и тот же системный дефект мышления.
В случае с gzip инженеры Anthropic не смогли настроить базовое сжатие HTTP-трафика, потому что были заняты «важными» вещами. В случае с kernel.org инженеры обучающих пайплайнов не могут использовать git clone, потому что это требует «слишком много кода» и «вникания в специфику каждого источника». Оба случая объединяет одно: глубочайшее презрение к базовой инженерии. К сантехнике. К протоколам. К эффективности.
В статье «Пустые головы в дорогих костюмах» мы говорили, что сложность языка заменила сложность работы. Здесь это видно в промышленных масштабах. Люди, которые пишут статьи о «выравнивании сверхразума», не способны написать парсер, который уважает robots.txt. Люди, которые рассуждают о «рисках экзистенциального коллапса», не могут организовать передачу данных без создания 20-процентной паразитической нагрузки на ключевую инфраструктуру открытого исходного кода.
Рыжков завершает свой пост на грустной ноте. Он говорит, что им приходится отключать функции и закрывать доступ к дорогим операциям, чтобы снизить количество URL, доступных для краулинга. Открытость kernel.org, которая десятилетиями была основой для разработки, теперь приносится в жертву потому, что ИИ-индустрия не удосужилась прочитать документацию к Git.
Это и есть настоящий «Чёрный октябрь». Не гипотетический захват мира сверхразумом. А тихая, повседневная деградация инфраструктуры, потому что «создатели бога» не знают, как работает git clone, и не хотят учиться. Они предпочитают ползать. Как жуткие ползучие твари.