Известно, что анализ обратных ссылок конкурентов является важной частью работы СЕО оптимизатора. Если вы делаете сетку PBN блогов, то возможно вам не особо хотелось чтобы другие вебмастера знали, где вы размещаете свои ссылки. Анализом ссылочной массы занимается большое количество сервисов, самые известные из них Majestic, Ahrefs, Semrush. У всех них есть свои боты, которых можно заблокировать.
Один из способов - прописать правила Disallow для этих ботов в файле robots.txt, но тогда этот файл будет виден всем, и это может оказаться одним из "футпринтов", по которому можно идентифицировать PBN сетку. Гораздо лучше закрыть доступ ботам через .htaccess файл, он не виден ни кому, кроме вас. К тому же, заблокировав эти краулеры вы существенно снижаете нагрузку на сервер.
Вот тут находится пример, как это можно сделать. Просто добавьте этот код в свой .htacess файл:
SetEnvIfNoCase User-Agent .*aboundexbot.* botstop
SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop
SetEnvIfNoCase User-Agent .*backlinkcrawler.* botstop
SetEnvIfNoCase User-Agent .*blekkobo.* botstop
SetEnvIfNoCase User-Agent .*blexbot.* botstop
SetEnvIfNoCase User-Agent .*dotbot.* botstop
SetEnvIfNoCase User-Agent .*dsearch.* botstop
SetEnvIfNoCase User-Agent .*exabot.* botstop
SetEnvIfNoCase User-Agent .*ezooms.* botstop
SetEnvIfNoCase User-Agent .*gigabot.* botstop
SetEnvIfNoCase User-Agent .*ia_archiver.* botstop
SetEnvIfNoCase User-Agent .*linkdexbot.* botstop
SetEnvIfNoCase User-Agent .*lipperhey spider.* botstop
SetEnvIfNoCase User-Agent .*majestic-12.* botstop
SetEnvIfNoCase User-Agent .*majestic-seo.* botstop
SetEnvIfNoCase User-Agent .*meanpathbot.* botstop
SetEnvIfNoCase User-Agent .*megaindex.* botstop
SetEnvIfNoCase User-Agent .*mj12bot.* botstop
SetEnvIfNoCase User-Agent .*ncbot.* botstop
SetEnvIfNoCase User-Agent .*nutch.* botstop
SetEnvIfNoCase User-Agent .*pagesinventory.* botstop
SetEnvIfNoCase User-Agent .*rogerbot.* botstop
SetEnvIfNoCase User-Agent .*scoutjet.* botstop
SetEnvIfNoCase User-Agent .*searchmetricsbot.* botstop
SetEnvIfNoCase User-Agent .*semrushbot.* botstop
SetEnvIfNoCase User-Agent .*seokicks-robot.* botstop
SetEnvIfNoCase User-Agent .*sistrix.* botstop
SetEnvIfNoCase User-Agent .*sitebot.* botstop
SetEnvIfNoCase User-Agent .*spbot.* botstop
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=botstop
</Limit>
Использование материалов статьи разрешается только при условии размещения ссылки на источник: https://archivarix.com/ru/blog/hide-backlinks/
Иногда наши пользователи спрашивают, почему сайт восстановился не полностью? Почему он не работает так, как хотелось бы? Известные проблемы при восстановлении сайтов из archive.org.…
С пятницы 27.11.2020 до понедельника 30.11.2020 действуют два жирных купона. Каждый из них даёт бонус на баланс в виде 20% или 50% от суммы вашего последнего или нового платежа.…
З года назад, 29 сентября 2017 года заработал наш сервис по восстановлению сайтов из archive.org. Все эти 3 года мы непрерывно развивались, мы создали свою CMS, систему скачивания живых сайтов, значит…
Аналог Wayback Machine (web.archive.org). Сервис по поиску архивных копий сайтов. Данные за 1996 год. Полнотекстовый поиск.
В ближайшее время наша команда планирует запустить уникальный сервис, сочет…
Как генерировать метатег description на всех страницах сайта? Как сделать, так чтобы сайт работал не из корня, а из директории?…
Как отобразить скрытые файлы в macOS. Отображение файлов начинающихся с точки, к примеру .htaсcess в macOS.…
Наша система скачивания сайтов и конвертации их на нашу Archivarix CMS позволяет бесплатно скачивать до 200 файлов с сайта. Если на сайте файлов больше и все они нужны, то за эту услугу вы можете запл…
В данной статье содержаться регулярные выражения, применяемые для поиска и замены в контенте сайтов, восстановленных с помощью системы Archivarix. Они не являются чем-то свойственным только этой систе…
Для того, чтобы вам было удобно редактировать восстановленные в нашей системе сайты, мы разработали простую Flat File CMS состоящую всего из одного небольшого файла. Не смотря на свой размер, эта CMS …
Веб Архив ( Archive.org) - самый известный и самый большой архив сайтов в мире. На их серверах сейчас находится более 400 миллиардов страниц. Существуют ли какие-либо системы, аналогичные Archive.org?…