Microsoft und die robots.txt

Sowas.. Da tappst mir doch die IP 65.52.104.42 mit User-Agent Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SLCC1; .NET CLR 1.1.4325; .NET CLR 2.0.50727; .NET CLR 3.0.30729) in meine Harvester-Falle..

IP Location: United States United States Redmond Microsoft Corp
Resolve Host: msnbot-65-52-104-42.search.msn.com
IP Address: 65.52.104.42
NetRange: 65.52.0.0 – 65.55.255.255
CIDR: 65.52.0.0/14
OriginAS:
NetName: MICROSOFT-1BLK
NetHandle: NET-65-52-0-0-1
Parent: NET-65-0-0-0-0
NetType: Direct Assignment
NameServer: NS4.MSFT.NET
NameServer: NS2.MSFT.NET
NameServer: NS1.MSFT.NET
NameServer: NS5.MSFT.NET
NameServer: NS3.MSFT.NET
RegDate: 2001-02-14
Updated: 2004-12-09

Da sich eine robots.txt im darüberliegenden Verzeichnis befindet, was jenes mit der Trap explizit ausschließt, bin ich jetzt doch ein wenig verwundert..

Keine Kommentare

No comments yet.

Kommentare sind nicht erlaubt.