Verbindungen je Host

Standardmäßig öffnet SiteSnitch fünf gleichzeitige Verbindungen je Host. Das ist ein bewusst konservativer Wert – die meisten Server vertragen ihn, ohne ins Schwitzen zu geraten.

Adaptive Drosselung

Bei 429 (Too Many Requests) oder 503 (Service Unavailable) regelt SiteSnitch automatisch zurück. Die Drosselung folgt dem AIMD-Prinzip: bei stabiler Latenz steigt die Rate langsam, bei Überlast oder Latenzanstieg halbiert sie sich. Das ist kein Fehler, sondern Absicht – der Crawl wird langsamer, läuft aber weiter, statt die Site zu überlasten.

User-Agent

Der User-Agent ist identifizierend und nennt eine Kontakt-URL. Wer einen Bot-Schutz passieren will, kann den User-Agent konfigurieren – aber nur mit klarem Hinweis darauf, was das für die gecrawlte Site bedeutet.

Crawl-Reihenfolge

Die Reihenfolge, in der der Frontier URLs herausgibt, ist konfigurierbar – Vorgabe ist Breitensuche (breadthFirst). Bei begrenztem Budget entscheidet die Reihenfolge, was man überhaupt zu sehen bekommt.

Worker-Zahl

Die Anzahl der parallelen Worker ist an die Kernzahl des Rechners gekoppelt (empfohlen: zweimal die Kernzahl) und auf 32 gedeckelt. Messungen haben gezeigt: mehr Worker sind nicht schneller, sondern oft langsamer – bei 128 Workern sank der Durchsatz um 12 % bei dreifachem Speicher.

User-Agent

Der Standard-User-Agent ist identifizierend und nennt eine Kontakt-URL: SiteSnitch/0.1 (+https://sitesnitch.de/bot). Er lässt sich konfigurieren – mit klarem Hinweis darauf, was das für die gecrawlte Site bedeutet.

Pausieren, Fortsetzen, Abbrechen

Ein laufender Crawl lässt sich jederzeit pausieren, fortsetzen oder abbrechen. Dahinter steht ein Journal mit Prüfpunkten – standardmäßig alle 25.000 abgerufenen Zeilen. Stürzt die App ab, verliert der Crawl damit höchstens dieses Intervall.

Gemessene Leistung

Die Voreinstellungen sind nicht geraten, sondern gemessen: 1 Mio. URLs in rund 410 MB, 1,5 ms Arbeit je Bild beim Scrollen, 6.999 Seiten/s je Kern beim Parsen. Der Engine-Durchsatz von 4.682 URLs/s stammt aus einem Lauf gegen einen lokalen Testserver bei rund 1 ms Antwortzeit – gegen eine echte Website bestimmen Latenz und die höflichen Voreinstellungen das Tempo, nicht die Engine.