Damit ein Crawl vollständig ist, muss er alle Wege kennen, auf denen eine Site auf sich selbst verweist. SiteSnitch wertet beim Parsen jeder Seite diese Quellen aus:
| Quelle | Was daraus gelernt wird |
|---|---|
<a href> | interne und externe Links, der Kern des Linkgraphen |
rel=canonical | die kanonische Version einer Seite |
rel=alternate | Alternativen (hreflang, mobile) und deren URLs |
rel=next/prev | Paginierung |
img src/srcset | Bilder und deren Responsive-Varianten |
script src | JavaScript-Ressourcen |
iframe src | eingebettete Inhalte |
form action | Formularziele |
CSS-url() | Ressourcen, auf die Stylesheets zeigen |
| XML-Sitemaps | in robots.txt verlinkte oder im HTML entdeckte Sitemaps |
robots.txt | Regeln und ggf. weitere Sitemap-Verweise |
Ressourcen abrufen
Bilder, Skripte und Stylesheets werden standardmäßig nur entdeckt, aber nicht abgerufen. Wer sie ebenfalls laden will (für ein vollständiges Bilder- oder Ressourcen-Audit), schaltet das Abrufen von Assets explizit ein – in der CLI über --assets.
Die Kantenliste
Alles Entdeckte wird als Kante gespeichert: von welcher Seite führt ein Link wohin, mit welchem Anchor-Text und welchem rel-Attribut. Die Kantenliste ist die Grundlage für die wertvollsten Exporte – etwa „alle Quellseiten, die auf diesen 404 verlinken".
Bei sehr großen Crawls ist die Kantenliste der größte Speicherposten (bei 1 Mio. Seiten mit 50 Links je Seite rund 700 MB). Sie lässt sich daher separat zu- und abschalten.