Slurp! revisited
Zumindestens scheint Slurp! mittlerweile doch auf die robots.txt zu hören. Nachdem dem Eintragen der robots.txt ist der Bandbreitenverbrauch doch erheblich runtergegangen:
Ich kann nur jedem empfehlen folgende Zeilen in die robots.txt einzufügen:
User-agent: Slurp
Crawl-delay: 60
Und ich hatte mich schon gefragt, warum das gzipen des Traffics nichts gebracht hat …