Crawl und Konfiguration

Der Crawl läuft ewig / in einen Endlosraum

Prüfe die feingranularen Limits (Ordnertiefe, Query-Strings, URLs je Tiefe). Ein globales URL-Limit allein schneidet einen Endlosraum nur irgendwann ab.

Ich bekomme viele 429/503

SiteSnitch regelt bei 429/503 automatisch zurück – das ist Absicht. Der Crawl wird langsamer, läuft aber weiter.

Das Staging liegt hinter einem Login

Nutze die formularbasierte Anmeldung oder Basic/Digest, Cookies, Header bzw. Client-Zertifikate.

Der Crawl verlässt den Scope

Der Scope wird über Host und Port verglichen, nicht über das Schema. Ein anderer Port ist ein anderer Dienst.

Eine Seite fehlt im Ergebnis, obwohl sie verlinkt ist

Meist sperrt die robots.txt sie aus. SiteSnitch hält sich in der Voreinstellung daran und vermerkt die Sperre am Fund, statt sie stillschweigend zu übergehen. Für ein Staging lässt sich das Befolgen der robots.txt gezielt abschalten.

Leistung und Speicher

Der Speicher reicht nicht

Die Kantenliste ist der größte Posten. Schalte sie ab, wenn du Inlinks/Outlinks nicht brauchst.

Lizenz

Ich habe einen neuen Mac

Deaktiviere die Lizenz auf dem alten Rechner und stell sie über „Lizenz wiederherstellen“ wieder her.

Mein Abo ist abgelaufen, meine Bestände sind weg?

Nein. Ein Bestand bleibt lesbar. Das Limit gilt für den Crawl, nicht für das Lesen.