Robots-Direktiven steuern, ob und wie Google eine Seite behandelt. SiteSnitch liest sie aus zwei Quellen: dem meta name=robots-Tag und dem X-Robots-Tag-Header.

DirektiveWirkung
index / noindexdarf die Seite indexiert werden?
follow / nofollowdürfen Links der Seite gefolgt werden?
noneentspricht noindex, nofollow
noarchivekeine gecachte Kopie
nosnippetkein Textausschnitt im Suchergebnis
max-snippet / max-image-previewGrenzen für Ausschnitt und Bildvorschau
unavailable_afterSeite ist nach einem Datum nicht mehr gültig

Wo sich Widersprüche verstecken

Die tückischen Fälle sind Widersprüche: eine Seite, die per meta robots noindex ist, aber per X-Robots-Tag index – oder ein Canonical, das auf eine noindex-Seite zeigt. SiteSnitch führt alle Direktiven zusammen und meldet, wenn sie sich widersprechen.

Indexierbarkeit

Aus allen Signalen – Status, noindex, Canonical, robots.txt – leitet SiteSnitch die Indexierbarkeit ab: die zentrale Eigenschaft, nach der ein SEO-Audit sortiert.