Robots-Direktiven steuern, ob und wie Google eine Seite behandelt. SiteSnitch liest sie aus zwei Quellen: dem meta name=robots-Tag und dem X-Robots-Tag-Header.
| Direktive | Wirkung |
|---|---|
| index / noindex | darf die Seite indexiert werden? |
| follow / nofollow | dürfen Links der Seite gefolgt werden? |
| none | entspricht noindex, nofollow |
| noarchive | keine gecachte Kopie |
| nosnippet | kein Textausschnitt im Suchergebnis |
| max-snippet / max-image-preview | Grenzen für Ausschnitt und Bildvorschau |
| unavailable_after | Seite ist nach einem Datum nicht mehr gültig |
Wo sich Widersprüche verstecken
Die tückischen Fälle sind Widersprüche: eine Seite, die per meta robots noindex ist, aber per X-Robots-Tag index – oder ein Canonical, das auf eine noindex-Seite zeigt. SiteSnitch führt alle Direktiven zusammen und meldet, wenn sie sich widersprechen.
Indexierbarkeit
Aus allen Signalen – Status, noindex, Canonical, robots.txt – leitet SiteSnitch die Indexierbarkeit ab: die zentrale Eigenschaft, nach der ein SEO-Audit sortiert.