Microsoft und die robots.txt

Sowas.. Da tappst mir doch die IP 65.52.104.42 mit User-Agent Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SLCC1; .NET CLR 1.1.4325; .NET CLR 2.0.50727; .NET CLR 3.0.30729) in meine Harvester-Falle..

IP Location: United States United States Redmond Microsoft Corp
Resolve Host: msnbot-65-52-104-42.search.msn.com
IP Address: 65.52.104.42
NetRange: 65.52.0.0 – 65.55.255.255
CIDR: 65.52.0.0/14
OriginAS:
NetName: MICROSOFT-1BLK
NetHandle: NET-65-52-0-0-1
Parent: NET-65-0-0-0-0
NetType: Direct Assignment
NameServer: NS4.MSFT.NET
NameServer: NS2.MSFT.NET
NameServer: NS1.MSFT.NET
NameServer: NS5.MSFT.NET
NameServer: NS3.MSFT.NET
RegDate: 2001-02-14
Updated: 2004-12-09

Da sich eine robots.txt im darüberliegenden Verzeichnis befindet, was jenes mit der Trap explizit ausschließt, bin ich jetzt doch ein wenig verwundert..


3 Kommentare

  1. Chris sagt am 25. 08. 2010 um 21:05

    War das ein Zugriff von denen? Oder gleich mehrere?

    actro Antwort vom August 27th, 2010 09:13:

    Schwer zu sagen, müßte ich die Logs durchgreppen. Wer in die Harvesterfalle geht, wird gleich beim ersten Zugriff geerdet..

    Kommentar

  2. DisastersMaster sagt am 27. 08. 2010 um 12:04

    Der MSN-Robot schert sich einen Dreck um die robots.txt.
    Das gleiche Problem hat mein innigst geliebter Arbeitgeber auf seiner Website auch.

    Kommentar

Kommentare sind nicht erlaubt.