SiteSnitch beachtet robots.txt, nofollow und noindex standardmäßig. Das ist Teil der Produktzusage, fair gegenüber gecrawlten Sites zu sein.
robots.txt
Vor dem Crawl wird die robots.txt der Site geladen und ausgewertet. Blockierte URLs werden nicht abgerufen – sie erscheinen aber im Bestand, markiert als „durch robots.txt blockiert", damit du siehst, was ausgeschlossen wurde.
Eigener Robots-User-Agent
SiteSnitch hat einen eigenen Robots-User-Agent, getrennt vom HTTP-User-Agent. Damit kann eine Site gezielt Regeln für SiteSnitch hinterlegen, ohne den Rest ihrer robots.txt anzufassen.
Überschreibbare robots.txt
du kannst in der App eine eigene robots.txt hinterlegen. Der Crawl folgt dann dieser Datei statt der Live-Datei. Damit lassen sich Regeln testen – etwa „was passiert, wenn wir diesen Bereich blocken?" – ohne die Live-Site zu verändern.
nofollow und noindex
nofollow-Links werden nicht weiterverfolgt, noindex-Seiten werden als nicht indexierbar markiert. Beides fließt in die Indexierbarkeits-Bewertung ein.
Das Abschalten von robots.txt, nofollow oder noindex erfordert eine ausdrückliche Bestätigung. Ein Crawler, der Kundenserver gegen deren erklärten Willen anfasst, kostet Kunden.