Ein globales URL-Limit bricht einen Endlosraum nur irgendwann ab – es beantwortet aber nicht, wo abgebrochen wurde. SiteSnitch schneidet deshalb gezielt ab:
| Limit | Was es begrenzt |
|---|---|
| Ordnertiefe | wie tief der Crawler in die Verzeichnisstruktur steigt |
| Anzahl Query-Strings | verhindert, dass Kalender, Filter oder Suchen explodieren |
| URLs je Tiefe | eine Obergrenze pro Klicktiefe |
| URLs je Subdomain | verhindert, dass eine Subdomain den Crawl dominiert |
| maximale Links je Seite | kappt Seiten mit tausenden Links |
| maximale Seitengröße | überspringt unverhältnismäßig große Antworten |
| globales URL-Limit | die harte Gesamtobergrenze |
Warum feingranular
Endlosräume entstehen nicht aus einer Seite, sondern aus einem Muster: ein Kalender, der für jedes Datum eine URL erzeugt, ein Filter mit beliebig vielen Kombinationen, eine Suche mit Seitennummern. Jedes dieser Muster lässt sich mit einem passenden Limit treffsicher stoppen – ohne den Rest des Crawls zu beschneiden.
Antworten über 8 MB werden standardmäßig abgebrochen (maxBodyBytes). Ein 200-MB-Video liest niemand zu Ende, nur um seinen Status zu kennen.
Das Verhalten am Limit
Erreicht der Crawl ein Limit, hält er an und meldet, welches Limit gegriffen hat. Die bereits gesammelten URLs bleiben vollständig benutzbar – auswertbar, sortierbar, exportierbar.
Zusätzlich zu den Limits erkennt SiteSnitch, wenn viele Seiten denselben Inhalt liefern („diese Seite liefert denselben Inhalt wie n andere"). Das fängt Endlosräume, die durch kein Struktur-Limit auffallen.