Die Ansicht Semantik in der Seitenleiste ergänzt den Crawl um eine inhaltliche Ebene: Statt URLs über Fingerprints oder Links zu vergleichen, vektorisiert sie die Seiten und macht sie damit inhaltlich durchsuchbar. Dasselbe Werkzeug steht auf der Kommandozeile als snitch semantic bereit.

Was Embeddings leisten

Jede Seite wird als Zahlenvektor abgelegt; inhaltlich ähnliche Seiten liegen im Vektorraum nahe beieinander. Damit findest du Seiten, die umgeschrieben wurden und die ein Fingerprint wie SimHash nicht trifft, und gruppieren den Bestand nach Themen.

SimHash zuerst – Embeddings optional

Die Stufe ist bewusst optional: Ein Embedding je Seite ist ein Modellaufruf je Seite. Duplikatsabgleich und Matching-Kaskade laufen mit lokalem SimHash – kostenlos, schnell und nachvollziehbar. Semantik kommt nur dazu, wenn die inhaltliche Ebene den Preis wert ist.

Anbieter und Datenschutz

AnbieterWo die Inhalte bleibenVorgabe-Modell
Ollama (lokal)auf dem Rechner – kein Seiteninhalt verlässt ihnnomic-embed-text
OpenAIInhalte gehen an das OpenAI-Kontotext-embedding-3-small

Lokal-first: Die Vorgabe ist Ollama auf localhost:11434; Voraussetzung ist ein laufender Ollama-Dienst und ein gezogenes Modell (ollama pull nomic-embed-text). Bei OpenAI trägst du einen API-Schlüssel ein – er liegt im Schlüsselbund, nicht in den Einstellungen.

Vektorisieren

Ein Klick auf Vektorisieren legt die Embeddings an. Jede Seite ist ein Modellaufruf – deshalb ist die Arbeit auf eine Stichprobe begrenzt (50 bis 500 Seiten) und läuft mit sichtbarem Fortschritt statt still im Hintergrund. Vektorisiert wird der Kopfinhalt: Titel, h1 und Meta-Description.

Suche

Eine Anfrage eintippen und „Suchen" drücken. Die Anfrage wird vektorisiert und gegen jede Seite der Stichprobe über die Kosinus-Ähnlichkeit verglichen; das Ergebnis ist eine Rangliste mit Ähnlichkeitswert. Ein Klick auf einen Treffer zeigt die Seite im Grid.

Cluster

„Cluster bilden" gruppiert die vektorisierten Seiten nach Kosinus-Ähnlichkeit über dem eingestellten Schwellwert („Ähnlichkeit ab"). Das Ergebnis ist eine Liste – ein Repräsentant je Cluster – plus eine Karte, auf der Farbe das Cluster und Nähe die Ähnlichkeit bedeutet.

Auf der Kommandozeile

snitch semantic vektorisiert Anfrage und Seiten und gibt die ähnlichsten als CSV oder JSON aus.

snitch semantic bestand.snitch --query "preis" --provider ollama --model nomic-embed-text
snitch semantic bestand.snitch --query "preis" --provider openai --model text-embedding-3-small --json
Die Grenze: Kopfinhalt statt Body

Der Bestand hält Titel, h1 und Meta-Description, nicht den ganzen Seitentext. Für die Themensuche genügt das in den meisten Fällen – wer über den ganzen Body suchen will, holt ihn über einen anderen Weg.