В октябре 2025 года Wayback Machine достиг отметки в один триллион сохранённых веб-страниц. Более 100 000 терабайт данных. Это огромное достижение для некоммерческой организации, которая работает с 1996 года. Но за этой красивой цифрой скрывается непростой период, через который прошёл Internet Archive за последние полтора года. Кибератаки, судебные иски, изменения в политике доступа и новые вызовы от AI-компаний ― всё это напрямую влияет на тех, кто использует веб-архив для восстановления сайтов.

В этой статье разберём, что произошло и что это означает на практике.

Кибератаки октября 2024

В октябре 2024 года Internet Archive пережил серию атак, которые стали самыми серьёзными за всю историю организации.

9 октября на сайте archive.org появилось всплывающее сообщение, в котором хакеры заявили о краже базы данных пользователей. Как позднее подтвердилось, утечка затронула 31 миллион аккаунтов ― email-адреса, имена пользователей и хэши паролей. База данных объёмом 6.4 ГБ была украдена через незащищённый токен аутентификации в GitLab-репозитории организации. Этот токен оставался открытым почти два года.

Одновременно с утечкой данных на archive.org обрушилась DDoS-атака от группировки SN_BlackMeta. Сайт был недоступен несколько дней. 14 октября Wayback Machine вернулся в режиме «только чтение», а полноценная работа восстановилась только к концу месяца.

20 октября последовала ещё одна атака ― хакеры получили доступ к Zendesk-системе поддержки через неизменённые API-токены. Были скомпрометированы тысячи тикетов поддержки, включая те, к которым пользователи прикладывали личные документы. Эти токены не были сменены даже после первого взлома, что говорит о серьёзных проблемах с реагированием на инциденты.

Основатель Internet Archive Брюстер Кейл заверил, что архивные данные в безопасности, но сам инцидент показал уязвимость инфраструктуры организации, которая работает на минимальном бюджете.

Судебные иски: давление со стороны издателей и лейблов

Кибератаки стали не единственной проблемой. Ещё в 2020 году крупные издательства ― Hachette, HarperCollins, Penguin Random House и Wiley ― подали иск против Internet Archive за программу цифрового книжного кредитования Open Library. В марте 2023 года суд вынес решение в пользу издателей, а в сентябре 2024 года апелляционный суд это решение подтвердил. В результате более 500 000 книг были удалены из Open Library.

Параллельно крупнейшие музыкальные лейблы ― Universal Music Group, Sony Music и Concord ― подали иск на 621 миллион долларов из-за проекта Great 78, в рамках которого Internet Archive оцифровывал старые грампластинки. Это дело было урегулировано в сентябре 2025 года на конфиденциальных условиях.

На Wayback Machine и восстановление сайтов эти иски напрямую не влияют ― они касаются книг и музыки. Но они создают серьёзную финансовую нагрузку на организацию и отвлекают ресурсы от основной деятельности. А любые проблемы с бюджетом Internet Archive в конечном итоге отражаются на стабильности и скорости работы всех сервисов, включая Wayback Machine.

Издатели блокируют краулеры archive.org

В 2025-2026 годах наметился ещё один тревожный тренд. Крупные новостные издания стали ограничивать доступ краулеров Internet Archive к своим сайтам.

The New York Times полностью заблокировал краулеры archive.org и добавил archive.org_bot в свой robots.txt. The Guardian ограничил доступ к страницам статей, оставив в Wayback Machine только главные страницы и разделы. The Financial Times блокирует все внешние боты, включая краулеры Internet Archive.

Причина ― опасения, что AI-компании используют данные из Wayback Machine для обучения языковых моделей. Издатели считают, что API Wayback Machine может служить удобной точкой доступа к их контенту для систем машинного обучения. И эти опасения не беспочвенны: анализ датасета Google C4, использованного для обучения моделей T5 и Llama, показал, что домен web.archive.org входил в топ-200 самых представленных доменов в обучающих данных.

Одна из AI-компаний отправляла десятки тысяч запросов в секунду к серверам Internet Archive, что привело к временному отключению сервиса. Подобные инциденты стали одной из причин, по которой издатели начали пересматривать свои отношения с веб-архивом.

Для восстановления сайтов это пока не критично ― Wayback Machine продолжает архивировать подавляющее большинство интернета. Но если тренд на блокировку краулеров archive.org продолжится, в архивах будут расти пробелы, особенно в контенте крупных медиа. А значит, восстановить сайт, ссылавшийся на материалы таких изданий, будет сложнее.

Ужесточение лимитов и блокировки при скачивании

Internet Archive всегда ограничивал скорость запросов к своему API, но после событий 2024 года эти ограничения стали жёстче. CDX API допускает в среднем 60 запросов в минуту. При превышении лимита сервер отвечает кодом 429 (Too Many Requests). Если клиент продолжает игнорировать 429-е ответы более минуты, IP-адрес блокируется на уровне файрвола на один час. Каждое последующее нарушение удваивает время блокировки.

На практике это означает, что скачивание крупного сайта из Wayback Machine с одного IP-адреса стало существенно медленнее и рискованнее. Многие сторонние скрипты и утилиты для скачивания из веб-архива не учитывают эти ограничения и приводят к блокировке пользователей.

Наша система адаптировалась к этим изменениям. Для скачивания данных из Wayback Machine мы используем множество прокси-серверов, что позволяет распределять нагрузку и не превышать лимиты. Это обеспечивает стабильную работу даже при скачивании больших сайтов с сотнями тысяч страниц, без риска блокировки и без необходимости ждать часами из-за rate limiting.

AI и восстановленный контент: новый вызов

Искусственный интеллект меняет не только то, как мы ищем информацию, но и сам интернет. И это напрямую касается восстановления сайтов из архива.

Первая проблема ― AI-контент в архивах. Начиная примерно с 2023 года в интернете появилось огромное количество текстов, сгенерированных языковыми моделями. Wayback Machine архивирует всё подряд, не различая, написан текст человеком или машиной. Если вы восстанавливаете сайт, снимки которого были сделаны после 2023 года, существует вероятность, что часть контента на нём уже была заменена владельцами на AI-генерированный текст. Это особенно актуально для сайтов, которые меняли владельцев или переживали периоды заброшенности.

Вторая проблема ― поисковики меняют подход к AI-контенту. Google активно борется с низкокачественными AI-текстами, понижая их в выдаче. Если восстановленный сайт содержит такой контент, он может получить проблемы с индексацией. При восстановлении сайта стоит проверять контент на наличие типичных признаков машинной генерации и при необходимости переписывать или удалять такие тексты.

Третья проблема ― AI-сгенерированные результаты поиска. Internet Archive уже экспериментирует с архивированием ответов от ChatGPT и AI-сводок в поисковой выдаче Google. Это меняет сам подход к тому, что значит «сохранить веб-страницу». Раньше страница была статичным документом, теперь она может содержать динамически генерируемый AI-контент, который отличается от запроса к запросу.

С другой стороны, AI открывает и позитивные возможности. Языковые модели можно использовать для автоматической очистки восстановленного контента: исправление битой вёрстки, удаление рекламных блоков и навигационных элементов, восстановление структуры текста, даже перевод устаревших шаблонов в современный формат. Но это уже тема для отдельной статьи.

Архивирование JavaScript-сайтов: проблема, которая не решается

Есть ещё одна проблема, которая существовала и раньше, но с каждым годом становится острее. Современные сайты всё чаще строятся на JavaScript-фреймворках ― React, Vue, Angular. Контент на таких сайтах формируется динамически в браузере, а при обращении краулера к серверу возвращается пустой HTML-шаблон.

Wayback Machine умеет сохранять JavaScript-файлы, но не всегда корректно воспроизводит динамически генерируемые страницы. Чем сложнее фреймворк и чем больше сайт зависит от внешних API, тем хуже результат архивирования.

На практике это означает, что сайты, построенные на SPA (Single Page Application), архивируются хуже классических HTML-сайтов. И если тренд на JavaScript-тяжёлые фреймворки продолжится, доля «нормально восстанавливаемых» сайтов в архиве будет постепенно снижаться.

Что всё это значит на практике

Несмотря на все сложности, Wayback Machine остаётся главным и незаменимым источником архивных копий веб-страниц. Триллион сохранённых страниц ― это колоссальный объём данных, и для большинства задач по восстановлению сайтов этих данных более чем достаточно.

Но полагаться исключительно на archive.org становится рискованнее, чем раньше. Вот что стоит учитывать:

Данные доступны сейчас ― но нет гарантии, что они будут доступны завтра. Издатели блокируют краулеры, лимиты ужесточаются, финансовое давление на организацию растёт. Если вы планируете восстановление, не откладывайте его.

При восстановлении сайтов со снимками после 2023 года проверяйте контент на предмет AI-генерированных текстов. Особенно если сайт менял владельцев или тематику.

JavaScript-тяжёлые сайты (SPA на React, Vue, Angular) могут архивироваться неполностью. Для таких сайтов снимки из более ранних периодов, когда сайт ещё использовал классический серверный рендеринг, могут быть качественнее.

Не надейтесь на один источник. Проверяйте альтернативные архивы и кэши поисковых систем. Иногда нужную версию сайта можно найти там, где не сохранил Wayback Machine.

Использование материалов статьи разрешается только при условии размещения ссылки на источник: https://archivarix.com/ru/blog/webarchive-2026/