Schneller Webspace, Domain & E-Mail:
Schneller Webserver mit PHP/MySQL.

Symptom

Meine Website wird sehr häufig von unerwünschten Bots besucht. Im access_log werden oft die gleichen Dateien von Quellen wie Majestic12, HTTrack, Semrush o.ä. abgerufen, manchmal vielfach hintereinander die gleichen Dateien.

Lösung

Die Aufrufe erfolgen durch „Bad Bots“, d.h. Programme und Website-Systeme, die Websites überwachen und analysieren. Die Besuche dieser Bots sind für den Website-Betreiber meistens nutzlos. Sie kosten nur Rechenlast und verringern die Antwortgeschwindigkeit des Servers. Eine Spezialsoftware auf den Bitpalast® Hosts erkennt viele dieser Bad Bots und sperrt sie automatisch vom Host aus. Sie können aber auch selbst dazu beitragen, Bad Bots zu blockieren, indem Sie diese Zeilen an den Anfang Ihrer .htaccess-Datei hinzufügen:

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (seobility|PetalBot|UptimeRobot|seocompany|LieBaoFast|SEOkicks| Uptimebot|Cliqzbot|ssearch_bot|domaincrawler|AhrefsBot|spot|DigExt|Sogou| MegaIndex.ru|majestic12|80legs|SISTRIX|HTTrack|Semrush|MJ12|MJ12bot|MJ12Bot|Ezooms|CCBot|TalkTalk|Ahrefs|BLEXBot) [NC]
RewriteRule .* - [F]

Damit werden alle gängigen Bad Bots vom Besuch Ihrer Website ausgeschlossen.

Bitte beachten Sie, dass die Zeile, die die Bad Bot Namen enthält (SEOkicks|Uptimebot|...) in einer einzigen Zeile ohne Leerzeichen geschrieben werden muss. Beim Kopien aus diesem Artikel können u.U. durch Zeilenumbrüche Leerzeichen entstehen. Entfernen Sie diese Leerzeichen vor dem Speichern.

Übersicht häufig gestellter Fragen