Ein globales URL-Limit bricht einen Endlosraum nur irgendwann ab – es beantwortet aber nicht, wo abgebrochen wurde. SiteSnitch schneidet deshalb gezielt ab:

LimitWas es begrenzt
Ordnertiefewie tief der Crawler in die Verzeichnisstruktur steigt
Anzahl Query-Stringsverhindert, dass Kalender, Filter oder Suchen explodieren
URLs je Tiefeeine Obergrenze pro Klicktiefe
URLs je Subdomainverhindert, dass eine Subdomain den Crawl dominiert
maximale Links je Seitekappt Seiten mit tausenden Links
maximale Seitengrößeüberspringt unverhältnismäßig große Antworten
globales URL-Limitdie harte Gesamtobergrenze

Warum feingranular

Endlosräume entstehen nicht aus einer Seite, sondern aus einem Muster: ein Kalender, der für jedes Datum eine URL erzeugt, ein Filter mit beliebig vielen Kombinationen, eine Suche mit Seitennummern. Jedes dieser Muster lässt sich mit einem passenden Limit treffsicher stoppen – ohne den Rest des Crawls zu beschneiden.

Maximale Seitengröße: 8 MB

Antworten über 8 MB werden standardmäßig abgebrochen (maxBodyBytes). Ein 200-MB-Video liest niemand zu Ende, nur um seinen Status zu kennen.

Das Verhalten am Limit

Erreicht der Crawl ein Limit, hält er an und meldet, welches Limit gegriffen hat. Die bereits gesammelten URLs bleiben vollständig benutzbar – auswertbar, sortierbar, exportierbar.

SimHash-Detektor gegen Endlosräume

Zusätzlich zu den Limits erkennt SiteSnitch, wenn viele Seiten denselben Inhalt liefern („diese Seite liefert denselben Inhalt wie n andere"). Das fängt Endlosräume, die durch kein Struktur-Limit auffallen.