Der Scope ist die wichtigste Einstellung des Crawls. Er entscheidet, welche URLs überhaupt angefasst werden – und schützt dich davor, dass der Crawler auf eine fremde Site abwandert.
Host und Port – nicht das Schema
SiteSnitch vergleicht den Scope über Host und Port, nicht über das Schema. Das hat einen konkreten Grund: Ein Wechsel von http zu https ist derselbe Auftritt – dieselbe Site, nur verschlüsselt. Ein anderer Port dagegen ist ein anderer Dienst.
| Wechsel | Bewertung |
|---|---|
| http → https | derselbe Auftritt, wird weiter verfolgt |
| anderer Port (z. B. :8443) | anderer Dienst, wird nicht verfolgt |
Subdomains
Subdomains sind standardmäßig ausgeschlossen. www.example.de und blog.example.de sind getrennte Auftritte. du kannst Subdomains gezielt einschalten, wenn der Crawl die gesamte Domain erfassen soll.
Pfad-Präfix-Filter
Begrenzt den Crawl auf einen Teilbaum der Site – etwa nur /blog/ oder nur den Shop. Alles außerhalb des Präfix wird nicht gecrawlt.
Include- und Exclude-Regex
Für den Feinschnitt lassen sich reguläre Ausdrücke hinterlegen:
| Regel | Wirkung |
|---|---|
| Include | nur URLs, die auf das Muster passen, werden gecrawlt |
| Exclude | URLs mit diesem Muster werden ausgeschlossen – auch wenn sie im Linkgraphen vorkommen |
Exclude schlägt Include. Ein URL, der auf beide Muster passt, wird ausgeschlossen.
URL-Rewriting
Vor der Deduplizierung durchläuft jede aufgelöste URL konfigurierbare Rewrite-Regeln – etwa Tracking-Parameter entfernen oder http nach https heben. So zählt dieselbe Seite in zwei Schreibweisen nicht doppelt.
Sitemap-Seeds
Zusätzlich zu den Start-URLs lassen sich Sitemaps als Quelle einbinden: entweder aus den Sitemap:-Direktiven der robots.txt oder als explizit angegebene Sitemap-URLs. Die daraus aufgelösten URLs werden als „aus Sitemap" markiert eingereiht.
Ein zu weiter Scope lässt den Crawler auf fremde Dienste laufen – das ist die Fehlerklasse, die in der Entwicklung von SiteSnitch am häufigsten vorkam. Kontrolliere den Scope vor jedem Crawl.