Die Pixray-Pest

Crawler sind heutzutage ja schon eine echte Seuche geworden. Gottseidank hören die meisten aber auf die robots.txt und verschwinden relativ schnell wieder. Wenn der Crawler aber einem Handlanger der Content-Mafia und Abmahnindustrie gehört, sieht das schon ganz anders aus. Da wird penetrant die robots.txt ignoriert und in einer Frequenz gecrawlt, dass mein kleiner Server schnell an seine Grenzen stösst.

Inzwischen habe ich ihn durch einige Einträge in der .htaccess ausgesperrt:

RewriteCond %{HTTP_USER_AGENT} .*[Pp]ixray.*
RewriteRule ^.*$ http://www.pixray.com/crawl-yourself.html [R=301,L]
RewriteCond %{REMOTE_ADDR} ^46\.4\.19\.85 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.19\.103 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.0\.12 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.0\.13 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.19\.103 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.31\.201 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.31\.202 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.31\.203 [OR]
RewriteCond %{REMOTE_ADDR} ^176\.9\.7\.28 [OR]
RewriteCond %{REMOTE_ADDR} ^188\.40\.65\.130 [OR]
RewriteCond %{REMOTE_ADDR} ^188\.40\.66\.214 [OR]
RewriteCond %{REMOTE_ADDR} ^188\.40\.85\.200 [OR]
RewriteCond %{REMOTE_ADDR} ^46\.4\.116\.100 [OR]
RewriteCond %{REMOTE_ADDR} ^46\.4\.119\.231 [OR]
RewriteCond %{REMOTE_ADDR} ^46\.4\.121\.154 [OR]
RewriteCond %{REMOTE_ADDR} ^46\.4\.19\.85 [OR]
RewriteCond %{REMOTE_ADDR} ^78\.46\.90\.27 [OR]
RewriteCond %{REMOTE_ADDR} ^88\.198\.64\.3 [OR]
RewriteCond %{REMOTE_ADDR} ^88\.198\.65\.99 [OR]
RewriteCond %{REMOTE_ADDR} ^88\.198\.67\.197 [OR]
# bei Bedarf hier weitere IP

Auffallend dabei, dass der Crawler aus dem Hetzner-Netz kommt, was mit Sicherheit bei steigender Penetranz dazu führen wird, dass ich das gesamte Hetzner-Segment direkt per iptables erden werde. Es ist mir unbegreiflich, wie man bei Hetzner solche Kunden dulden kann, wo sie so offensichtlich gegen die Bestimmungen verstoßen..

 


5 Kommentare

  1. Heiko sagt am 12. 02. 2012 um 18:40

    Den Hetzner-Abusedesk hast Du sicher auch schon informiert

    Kommentar

  2. actro sagt am 12. 02. 2012 um 19:28

    Seit wann reagiert Hetzner auf abuses?

    Kommentar

  3. linuxnetzer sagt am 12. 02. 2012 um 21:41

    Ich war auch schon ein paar mal so naiv und habe ne mail an ABUSE geschrieben. Das kann man sich echt sparen. Das geht direkt nach /dev/null 😉

    Kommentar

  4. ostnomade sagt am 13. 02. 2012 um 16:19

    Hallo, ich finde keine mail- Adresse hier, deshalb wollte ich nur mal schnell mitteilen, dass die Heldin im Chaos, Rubrik: Ich lese, eine neue Adresse hat
    jetzt unter
    http://josephinechaos.wordpress.com/
    Beste Grüsse
    der Ostnomade

    actro Antwort vom Februar 13th, 2012 18:38:

    Super! Dankeschön..

    Kommentar

Kommentare sind nicht erlaubt.