fbpx
Agencja SEO Zgred - Pozycjonowanie stron www

Blokowanie robotów MajesticSEO oraz AHrefs

Pozycjonerzy, którzy chcą ukryć swoje zaplecza zawsze blokowali roboty Yahoo. Po pojawieniu się Ahrefa i MajesticSEO przyszła pora na oba roboty. Blokadę można zastosować w pliku robots.txt, htaccess lub też bezpośrednio w pliku httpd.conf – w tym ostatnim przypadku jest to blokada globalna.

1. Identyfikacja robotów:

Ahrefs: (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/)
MajesticSEO: (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)

2. Blokada w pliku httpd.conf

Na samym końcu pliku dodajemy:

# Bots blocked
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "sitebot" bad_bot
SetEnvIfNoCase User-Agent "LexxeBot" bad_bot
SetEnvIfNoCase User-Agent "Yandex" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "ichiro" bad_bot
SetEnvIfNoCase User-Agent "AppEngine-Google" bad_bot
< Location / >
Order Allow,Deny
Deny from env=bad_bot
Allow from all
< / Location >

I na koniec oczywiście restart apache.

1 gwiazdka2 gwiazdki3 gwiazdki4 gwiazdki5 gwiazdek (19 głosów, średnia: 3,42 z 5)

Paweł Gontarek

Paweł Gontarek - Zgred - pasjonat SEO, staram się zrozumieć czym jest i jak działa SEM oraz UX.

Zostaw komentarz

Twój adres e-mail nie będzie udostępniony. Wymagane pola są oznaczone *