В ближайшее время наша команда планирует запустить уникальный сервис, сочетающий в себе возможности системы Веб Архива (archive.org) и поисковой системы.
Мы планируем проиндексировать главные страницы всех сайтов, которые когда либо были сохранены Веб Архивом. В нашей базе сайтов будет так же присутствовать архив различных метрик, таких как Alexa, Ahrefs, Majestic, ключевые слова, WHOIS домена и прочие исторические данные за все время существования сайта. Таким образом можно будет осуществлять поиск нужного сайта для восстановления дропов или для извлечения удалённого контента по огромному количеству параметров, таких как ключевые слова в тексте и в тегах, трафик на определённую дату, наличие исторических ссылок, неймсервера и так далее. С помощью этой системы можно будет делать выборки любой сложности, к примеру найти все домены, удалённые в 2018 году, в контенте которых содержались слова webmaster analytics, имевшие тогда Alexa rank менее 300k и которые имели более 30 уников в день по определённому ключевому слову в 2016 году. Наш сервис будет иметь удобный интерфейс для поиска нужных данных и будет содержать в себе скриншоты сайтов со всеми параметрами в виде графиков и таблиц.
Следующим этапом развития системы будет индексация живых сайтов и расширение базы проиндексированного контента. Будут доступны для поиска медиафайлы и некоторые внутренние страницы сайта, выбранные по алгоритму учитывающему значимость этой страницы. В итоге система будет использовать преимущественно свою базу архивированных сайтов и станет не зависимой от Archive.org

Archivarix.net

Использование материалов статьи разрешается только при условии размещения ссылки на источник: https://archivarix.com/ru/blog/archivarix-net/