Damit ein Crawl vollständig ist, muss er alle Wege kennen, auf denen eine Site auf sich selbst verweist. SiteSnitch wertet beim Parsen jeder Seite diese Quellen aus:

QuelleWas daraus gelernt wird
<a href>interne und externe Links, der Kern des Linkgraphen
rel=canonicaldie kanonische Version einer Seite
rel=alternateAlternativen (hreflang, mobile) und deren URLs
rel=next/prevPaginierung
img src/srcsetBilder und deren Responsive-Varianten
script srcJavaScript-Ressourcen
iframe srceingebettete Inhalte
form actionFormularziele
CSS-url()Ressourcen, auf die Stylesheets zeigen
XML-Sitemapsin robots.txt verlinkte oder im HTML entdeckte Sitemaps
robots.txtRegeln und ggf. weitere Sitemap-Verweise

Ressourcen abrufen

Bilder, Skripte und Stylesheets werden standardmäßig nur entdeckt, aber nicht abgerufen. Wer sie ebenfalls laden will (für ein vollständiges Bilder- oder Ressourcen-Audit), schaltet das Abrufen von Assets explizit ein – in der CLI über --assets.

Die Kantenliste

Alles Entdeckte wird als Kante gespeichert: von welcher Seite führt ein Link wohin, mit welchem Anchor-Text und welchem rel-Attribut. Die Kantenliste ist die Grundlage für die wertvollsten Exporte – etwa „alle Quellseiten, die auf diesen 404 verlinken".

Kantenliste kostet Speicher

Bei sehr großen Crawls ist die Kantenliste der größte Speicherposten (bei 1 Mio. Seiten mit 50 Links je Seite rund 700 MB). Sie lässt sich daher separat zu- und abschalten.