Der Scope ist die wichtigste Einstellung des Crawls. Er entscheidet, welche URLs überhaupt angefasst werden – und schützt dich davor, dass der Crawler auf eine fremde Site abwandert.

Host und Port – nicht das Schema

SiteSnitch vergleicht den Scope über Host und Port, nicht über das Schema. Das hat einen konkreten Grund: Ein Wechsel von http zu https ist derselbe Auftritt – dieselbe Site, nur verschlüsselt. Ein anderer Port dagegen ist ein anderer Dienst.

WechselBewertung
http → httpsderselbe Auftritt, wird weiter verfolgt
anderer Port (z. B. :8443)anderer Dienst, wird nicht verfolgt

Subdomains

Subdomains sind standardmäßig ausgeschlossen. www.example.de und blog.example.de sind getrennte Auftritte. du kannst Subdomains gezielt einschalten, wenn der Crawl die gesamte Domain erfassen soll.

Pfad-Präfix-Filter

Begrenzt den Crawl auf einen Teilbaum der Site – etwa nur /blog/ oder nur den Shop. Alles außerhalb des Präfix wird nicht gecrawlt.

Include- und Exclude-Regex

Für den Feinschnitt lassen sich reguläre Ausdrücke hinterlegen:

RegelWirkung
Includenur URLs, die auf das Muster passen, werden gecrawlt
ExcludeURLs mit diesem Muster werden ausgeschlossen – auch wenn sie im Linkgraphen vorkommen

Exclude schlägt Include. Ein URL, der auf beide Muster passt, wird ausgeschlossen.

URL-Rewriting

Vor der Deduplizierung durchläuft jede aufgelöste URL konfigurierbare Rewrite-Regeln – etwa Tracking-Parameter entfernen oder http nach https heben. So zählt dieselbe Seite in zwei Schreibweisen nicht doppelt.

Sitemap-Seeds

Zusätzlich zu den Start-URLs lassen sich Sitemaps als Quelle einbinden: entweder aus den Sitemap:-Direktiven der robots.txt oder als explizit angegebene Sitemap-URLs. Die daraus aufgelösten URLs werden als „aus Sitemap" markiert eingereiht.

Scope-Fehler sind der teuerste Fehler

Ein zu weiter Scope lässt den Crawler auf fremde Dienste laufen – das ist die Fehlerklasse, die in der Entwicklung von SiteSnitch am häufigsten vorkam. Kontrolliere den Scope vor jedem Crawl.