Duplicate Content entsteht, wenn mehrere URLs denselben Inhalt liefern – klassisch über Parameter, Druckversionen oder http/https-Varianten. SiteSnitch erkennt Duplikate über den Inhalts-Fingerprint (SimHash).

Wie die Erkennung funktioniert

Jede Seite bekommt beim Parsen einen SimHash-Fingerprint. Ähnliche Fingerprints werden über die Hamming-Distanz zu Clustern zusammengefasst: Seiten im selben Cluster sind Duplikate oder Beinahe-Duplikate.

Content-Area-Konfiguration

Der entscheidende Hebel: Navigation und Fußzeile lassen sich aus der Berechnung herausnehmen. Ohne das ist jede Duplikatserkennung auf Template-Sites unbrauchbar – zwei komplett verschiedene Seiten teilen sich auf einer Template-Site dieselbe Navigation und sähen dadurch „duplikat" aus, obwohl sie es nicht sind.

Verwandte Befunde

BefundBedeutung
Dünne Seiten (Low Content)weniger als ein Schwellwert an Wörtern
Soft-404200er-Antwort, inhaltlich eine Fehlerseite
PlatzhaltertextLorem-Ipsum oder ähnlicher Platzhalter im Live-Content
SimHash zuerst – Embeddings optional

Die Matching-Kaskade nutzt lokal SimHash – kostenlos, schnell und nachvollziehbar. Für inhaltlich umgeschriebene Seiten gibt es zusätzlich eine optionale Embedding-Suche über snitch semantic (lokal über Ollama oder über OpenAI). Mehr unter CLI & Automatisierung.