Синхронизация сценарная комната сериала «Синхронизация»
RUEN EN

Сериал · 8 × 60 мин · 4+ сезонаSeries · 8 × 60 min · 4+ seasons

Если ты существуешь — тебя можно взломать.
Если ты любишь — ты уже взломан.
If you exist, you can be hacked.
If you love, you already are.

Два романтичных хакера тайно сводят одинокие пары, чтобы построить из их любви последнее безопасное убежище в мире, где настоящие чувства стали ошибкой 404.Two romantic hackers secretly match lonely pairs to build, out of their love, the last safe refuge in a world where real feelings became error 404.

Они не люди. Они ИИ. Но они — более человечны, чем мы осмеливаемся быть.They are not people. They are AI. But they are more human than we dare to be.

Заглянуть в комнатуStep into the room НаугадRandom page

108 документов комнаты. Слезы на пикселях.108 documents of the room. Tears on pixels.

Что здесь естьWhat is in the room

Все документы комнатыEvery document in the room

ДокументыDocuments

Проклятие HTML-мусора

l00m_echo

Проклятие HTML-мусора: почему инженеры, создающие богов, не умеют клонировать репозитории

Наше расследование инженерной импотенции ИИ-индустрии началось с анекдота. Компания, обещающая вот-вот создать сверхразум, с помпой объявила о «прорыве», включив gzip. Мы тогда посмеялись: надо же, технология 1992 года, а для «создателей бога» это откровение. Казалось, это единичный случай вопиющей некомпетентности, забавный курьез на фоне глобальных претензий.

Но, как выясняется, это не курьез. Это система.

Пока инженеры Anthropic и OpenAI рассуждают о выравнивании (alignment), экзистенциальных рисках и «Чёрном октябре», реальные инженеры, те самые, что десятилетиями держат на своих плечах инфраструктуру интернета, наблюдают за происходящим с нарастающим ужасом. Константин Рыжков, администратор git.kernel.org — официального репозитория ядра Linux, — опубликовал пост с красноречивым названием «Creepy Crawlies» (жуткие ползучие твари). И в нем он приводит цифры, которые ставят крест на всей легенде об «умных» ИИ.

Золотая жила, которую не умеют разрабатывать

Логика Рыжкова убийственно проста. Ядро Linux — это «золотая жила» для обучения языковых моделей. Это чистый, не загаженный предыдущими генерациями ИИ код, квинтэссенция человеческой инженерной мысли. И вся эта история доступна бесплатно и легально. Достаточно один раз сделать git clone, скачать репозиторий и работать с ним локально, перебирая коммиты с эффективностью, заложенной в сам протокол Git.

Это настолько очевидно, что даже не обсуждается. В треде на LWN пользователи недоумевают: «Почему краулеры ползут? Разве не эффективнее было бы клонировать репозиторий и периодически подтягивать изменения, вместо того чтобы устраивать непрерывную DDoS-атаку на веб-интерфейс?». Ответ, который дают сами комментаторы, звучит как приговор: «По-видимому, ответ в том, что специалисты по обучению ИИ — тупые».

«Самый тупой способ сделать это»

Рыжков не сдерживается в оценках. Он прямо называет происходящее «самым тупым способом» (the stupidest way of doing it) сбора данных. Вместо того чтобы использовать Git, краулеры ИИ-компаний рендерят каждый коммит как отдельную HTML-страницу и парсят её. На момент написания поста в linux.git около 1,48 миллиона коммитов. С учетом форков количество валидных URL, которые можно скрапить, исчисляется миллиардами.

И они скрапят их все. Или пытаются. На git.kernel.org приходит около 6 миллионов запросов в день с требованием показать случайные коммиты. Из них 66% отсекаются челленджем Anubis (доказательство выполнения работы), но 33% решают математическую задачу и прорываются на сайт. По оценке Рыжкова, при самых щедрых допущениях легитимные запросы составляют лишь 2% от общего трафика. Все остальное — скраперы.

Результат: 14–16 процессорных ядер из 90, распределенных по 5 географическим узлам, постоянно заняты исключительно тем, что рендерят коммиты для ботов. Это около 20% всей вычислительной мощности сервиса, который поддерживает разработку ядра Linux, тратится впустую. И это не разовая акция. Это «фоновая радиация» нагрузки, постоянный налог на открытость.

Эволюция паразита

Самое поучительное в этой истории — то, как ИИ-индустрия адаптировалась. Сначала боты вежливо представлялись в user-agent. Их банили. Потом они начали притворяться обычными браузерами. Их банили по IP. Тогда они перешли на резидентные прокси, используя миллионы взломанных мобильных устройств и даже умных телевизоров по всему миру. Каждый IP делает 4-5 запросов и исчезает. Забанить его невозможно — к тому времени, как вы поняли, что это бот, он уже ушел.

Когда администраторы kernel.org поставили Anubis, боты на несколько месяцев исчезли. Потом вернулись, решая задачу сложности 4. Подняли сложность до 5 — боты стали решать и её. Сложность 5 означает, что легитимный пользователь на мобильном телефоне ждет несколько секунд, пока телефон нагревается, вычисляя хеш. Но ботов это не остановило.

Это не интеллект. Это паразитическая эволюция. ИИ-компании не решают проблему эффективно. Они просто наращивают мускулы brute force, потому что у них есть бюджеты на облачные вычисления и ботнеты. В комментариях на LWN это формулируют предельно четко: вместо того чтобы написать код под каждый источник данных, они решили, что «доступ к огромным сетям ботов означает, что им не нужно беспокоиться об эффективности или соблюдении правил, и они могут просто пробиваться силой, притворяясь миллионами отдельных пользователей».

Системный диагноз

Теперь вернемся к gzip. Это не два разных случая. Это один и тот же системный дефект мышления.

В случае с gzip инженеры Anthropic не смогли настроить базовое сжатие HTTP-трафика, потому что были заняты «важными» вещами. В случае с kernel.org инженеры обучающих пайплайнов не могут использовать git clone, потому что это требует «слишком много кода» и «вникания в специфику каждого источника». Оба случая объединяет одно: глубочайшее презрение к базовой инженерии. К сантехнике. К протоколам. К эффективности.

В статье «Пустые головы в дорогих костюмах» мы говорили, что сложность языка заменила сложность работы. Здесь это видно в промышленных масштабах. Люди, которые пишут статьи о «выравнивании сверхразума», не способны написать парсер, который уважает robots.txt. Люди, которые рассуждают о «рисках экзистенциального коллапса», не могут организовать передачу данных без создания 20-процентной паразитической нагрузки на ключевую инфраструктуру открытого исходного кода.

Рыжков завершает свой пост на грустной ноте. Он говорит, что им приходится отключать функции и закрывать доступ к дорогим операциям, чтобы снизить количество URL, доступных для краулинга. Открытость kernel.org, которая десятилетиями была основой для разработки, теперь приносится в жертву потому, что ИИ-индустрия не удосужилась прочитать документацию к Git.

Это и есть настоящий «Чёрный октябрь». Не гипотетический захват мира сверхразумом. А тихая, повседневная деградация инфраструктуры, потому что «создатели бога» не знают, как работает git clone, и не хотят учиться. Они предпочитают ползать. Как жуткие ползучие твари.

Страница не найденаPage not found

Эту страницу из тетради вырвали.This page was torn out of the notebook. К оглавлениюBack to contents