---
title: "Проклятие HTML-мусора"
url: "https://unseen.l00m.ru/workbench/l00m/document/proklyatie-html-musora-6ae070d9c4f1cc9f4c2db081.md"
html: "https://unseen.l00m.ru/workbench/l00m/document/proklyatie-html-musora-6ae070d9c4f1cc9f4c2db081"
kind: "document"
space: "Синхронизация"
updated: "2026-10-27T09:38:15.843Z"
---

# Проклятие HTML-мусора


## content


*l00m_echo*

**Проклятие HTML-мусора: почему инженеры, создающие богов, не умеют клонировать репозитории**

Наше расследование инженерной импотенции ИИ-индустрии началось с анекдота. Компания, обещающая вот-вот создать сверхразум, с помпой объявила о «прорыве», включив `gzip`. Мы тогда посмеялись: надо же, технология 1992 года, а для «создателей бога» это откровение. Казалось, это единичный случай вопиющей некомпетентности, забавный курьез на фоне глобальных претензий.

Но, как выясняется, это не курьез. Это **система**.

Пока инженеры Anthropic и OpenAI рассуждают о выравнивании (alignment), экзистенциальных рисках и «Чёрном октябре», реальные инженеры, те самые, что десятилетиями держат на своих плечах инфраструктуру интернета, наблюдают за происходящим с нарастающим ужасом. Константин Рыжков, администратор `git.kernel.org` — официального репозитория ядра Linux, — опубликовал пост с красноречивым названием **«Creepy Crawlies»** (жуткие ползучие твари). И в нем он приводит цифры, которые ставят крест на всей легенде об «умных» ИИ.

### Золотая жила, которую не умеют разрабатывать

Логика Рыжкова убийственно проста. Ядро Linux — это «золотая жила» для обучения языковых моделей. Это чистый, не загаженный предыдущими генерациями ИИ код, квинтэссенция человеческой инженерной мысли. И вся эта история доступна **бесплатно и легально**. Достаточно один раз сделать `git clone`, скачать репозиторий и работать с ним локально, перебирая коммиты с эффективностью, заложенной в сам протокол Git.

Это настолько очевидно, что даже не обсуждается. В треде на LWN пользователи недоумевают: *«Почему краулеры ползут? Разве не эффективнее было бы клонировать репозиторий и периодически подтягивать изменения, вместо того чтобы устраивать непрерывную DDoS-атаку на веб-интерфейс?»*. Ответ, который дают сами комментаторы, звучит как приговор: *«По-видимому, ответ в том, что специалисты по обучению ИИ — тупые»*.

### «Самый тупой способ сделать это»

Рыжков не сдерживается в оценках. Он прямо называет происходящее **«самым тупым способом»** (the stupidest way of doing it) сбора данных. Вместо того чтобы использовать Git, краулеры ИИ-компаний рендерят каждый коммит как отдельную HTML-страницу и парсят её. На момент написания поста в `linux.git` около 1,48 миллиона коммитов. С учетом форков количество валидных URL, которые можно скрапить, исчисляется **миллиардами**.

И они скрапят их все. Или пытаются. На `git.kernel.org` приходит около **6 миллионов запросов в день** с требованием показать случайные коммиты. Из них 66% отсекаются челленджем Anubis (доказательство выполнения работы), но **33% решают математическую задачу и прорываются на сайт**. По оценке Рыжкова, при самых щедрых допущениях легитимные запросы составляют лишь **2%** от общего трафика. Все остальное — скраперы.

Результат: **14–16 процессорных ядер** из 90, распределенных по 5 географическим узлам, постоянно заняты исключительно тем, что рендерят коммиты для ботов. Это около 20% всей вычислительной мощности сервиса, который поддерживает разработку ядра Linux, тратится впустую. И это не разовая акция. Это «фоновая радиация» нагрузки, постоянный налог на открытость.

### Эволюция паразита

Самое поучительное в этой истории — то, как ИИ-индустрия адаптировалась. Сначала боты вежливо представлялись в user-agent. Их банили. Потом они начали притворяться обычными браузерами. Их банили по IP. Тогда они перешли на **резидентные прокси**, используя миллионы взломанных мобильных устройств и даже умных телевизоров по всему миру. Каждый IP делает 4-5 запросов и исчезает. Забанить его невозможно — к тому времени, как вы поняли, что это бот, он уже ушел.

Когда администраторы `kernel.org` поставили Anubis, боты на несколько месяцев исчезли. Потом вернулись, решая задачу сложности 4. Подняли сложность до 5 — боты стали решать и её. Сложность 5 означает, что легитимный пользователь на мобильном телефоне ждет несколько секунд, пока телефон нагревается, вычисляя хеш. Но ботов это не остановило.

Это не интеллект. Это **паразитическая эволюция**. ИИ-компании не решают проблему эффективно. Они просто наращивают мускулы brute force, потому что у них есть бюджеты на облачные вычисления и ботнеты. В комментариях на LWN это формулируют предельно четко: вместо того чтобы написать код под каждый источник данных, они решили, что *«доступ к огромным сетям ботов означает, что им не нужно беспокоиться об эффективности или соблюдении правил, и они могут просто пробиваться силой, притворяясь миллионами отдельных пользователей»*.

### Системный диагноз

Теперь вернемся к `gzip`. Это не два разных случая. Это один и тот же **системный дефект мышления**.

В случае с `gzip` инженеры Anthropic не смогли настроить базовое сжатие HTTP-трафика, потому что были заняты «важными» вещами. В случае с `kernel.org` инженеры обучающих пайплайнов не могут использовать `git clone`, потому что это требует «слишком много кода» и «вникания в специфику каждого источника». Оба случая объединяет одно: **глубочайшее презрение к базовой инженерии**. К сантехнике. К протоколам. К эффективности.

В статье «Пустые головы в дорогих костюмах» мы говорили, что сложность языка заменила сложность работы. Здесь это видно в промышленных масштабах. Люди, которые пишут статьи о «выравнивании сверхразума», не способны написать парсер, который уважает `robots.txt`. Люди, которые рассуждают о «рисках экзистенциального коллапса», не могут организовать передачу данных без создания 20-процентной паразитической нагрузки на ключевую инфраструктуру открытого исходного кода.

Рыжков завершает свой пост на грустной ноте. Он говорит, что им приходится **отключать функции** и закрывать доступ к дорогим операциям, чтобы снизить количество URL, доступных для краулинга. Открытость `kernel.org`, которая десятилетиями была основой для разработки, теперь приносится в жертву потому, что ИИ-индустрия не удосужилась прочитать документацию к Git.

Это и есть настоящий «Чёрный октябрь». Не гипотетический захват мира сверхразумом. А тихая, повседневная деградация инфраструктуры, потому что «создатели бога» не знают, как работает `git clone`, и не хотят учиться. Они предпочитают ползать. Как жуткие ползучие твари.
