Website crawlen
Erstellen Sie eine Website-Sammlung, die automatisch Inhalte von Ihrer Website extrahiert und zur Wissensdatenbank Ihres Agenten hinzufügt.
Was Sie erreichen werden
Nach dieser Anleitung kann Ihr Agent:
- Informationen von Ihrer Website abrufen
- Fragen zu Website-Inhalten beantworten
- Automatisch aktualisierte Informationen nutzen (mit automatischer Aktualisierung)
Voraussetzungen
- Zugang zum Bereich Wissen im Dashboard
- Die Basis-URL Ihrer Website
Konzept: Website-Sammlungen
Eine Website-Sammlung ist ein spezieller Sammlungs-Typ, der:
- Automatisch Seiten von einer Website crawlt
- Links auf der Website folgt
- Optional eine Sitemap nutzt
- Sich automatisch aktualisieren kann
Hinweis: Website-Sammlungen sind getrennt von Dokument-Sammlungen. Sie erstellen eine neue Sammlung vom Typ “Website”, anstatt URLs zu einer bestehenden Sammlung hinzuzufügen. Bei Website-Sammlungen können Sie keine Dokumente manuell hochladen oder bearbeiten — die Inhalte verwaltet ausschließlich der Crawler.
Schritt 1: Website-Sammlung erstellen
- Gehen Sie zu Wissen im Dashboard
- Klicken Sie auf Website hinzufügen (neben Neue Sammlung)
- Das Panel Website hinzufügen öffnet sich
Schritt 2: Basis-Informationen eingeben
| Feld | Beschreibung | Beispiel |
|---|---|---|
| Name | Beschreibender Name | ”Produktdokumentation” |
| Beschreibung | Wann soll der Agent hier nachschlagen? | ”Enthält technische Dokumentation zu Produkt X. Hier nachschlagen bei Fragen zu Installation und Bedienung.” |
| Tags | Optionale Tags zur Organisation | ”produkte”, “docs” |
| Website URL | Startseite der zu crawlenden Website | https://www.meinefirma.de/docs |
Tipp: Wählen Sie als Website URL eine spezifische Adresse (z. B.
/docsoder/produkte), nicht die Startseite. So werden nur relevante Seiten gecrawlt. Die Beschreibung entscheidet darüber, ob der Agent die Sammlung im Gespräch nutzt — Details dazu in Beschreibung optimieren.
Schritt 3: Crawl-Optionen konfigurieren
URLs ausschließen
Unter URLs ausschließen hinterlegen Sie Muster, die der Crawler überspringen soll. Beispiele:
/login
/admin
/impressum
/datenschutz
\.pdf$
Maximale Seitenanzahl
Mit Maximale Seitenanzahl begrenzen Sie den Crawl. Leer lassen bedeutet unbegrenzt.
Empfehlung: Beginnen Sie mit 50–100 Seiten und erhöhen Sie bei Bedarf. Das reduziert die Crawl-Dauer und erfasst zuerst die wichtigsten Seiten.
Erweiterte Einstellungen
Im Abschnitt Erweiterte Einstellungen finden Sie zwei weitere Optionen:
| Option | Beschreibung | Standard |
|---|---|---|
| Verzögerung zwischen Anfragen | Pause zwischen zwei Seitenabrufen in Sekunden | 1,0 Sekunden |
| Sitemap verwenden | Nutzt die sitemap.xml der Website für schnellere und vollständigere Erkennung aller Seiten | Aktiviert |
Schritt 4: Automatische Aktualisierung konfigurieren (optional)
Aktivieren Sie den Schalter Automatische Aktualisierung, damit die Website regelmäßig neu gecrawlt wird. Als Aktualisierungsintervall stehen zur Wahl:
- Täglich
- Wöchentlich (Standard)
- Monatlich
- Jährlich
Empfohlen für: Produktseiten mit regelmäßigen Updates, sich ändernde Dokumentation, News- und Blog-Bereiche.
Nicht nötig für: statische Inhalte, Archivseiten, einmalige Informationen.
Mehr zum Lebenszyklus Ihrer Inhalte — was sich automatisch aktualisiert und was nicht — lesen Sie in Wissen aktualisieren.
Schritt 5: Sammlung erstellen und Crawl starten
- Überprüfen Sie Ihre Einstellungen
- Klicken Sie auf Hinzufügen
- Der erste Crawl startet automatisch
Neu crawlen & Crawl-Status
Crawl-Status verstehen
Öffnen Sie die Website-Sammlung. Neben dem Namen sehen Sie den aktuellen Status:
| Status | Bedeutung |
|---|---|
| Wartend | Der Crawl ist eingeplant, aber noch nicht gestartet |
| Crawlt… | Der Crawl läuft gerade |
| Abgeschlossen | Alle Seiten wurden erfolgreich erfasst |
| Teilweise | Der Crawl ist fertig, einzelne Seiten konnten aber nicht erfasst werden |
| Fehlgeschlagen | Der Crawl konnte nicht abgeschlossen werden — eine Fehlermeldung wird unter der Statusübersicht angezeigt |
Darunter zeigt die Statusübersicht vier Werte:
- Seiten — Anzahl der bisher gecrawlten Seiten
- Max Seiten — Ihr konfiguriertes Limit (∞ bei unbegrenzt)
- Letzter Crawl — Zeitpunkt des letzten Durchlaufs
- Nächster Crawl — geplanter nächster Durchlauf bei automatischer Aktualisierung, sonst “Manuell”
Manuell neu crawlen
Wenn sich Ihre Website geändert hat und Sie nicht auf die automatische Aktualisierung warten möchten:
- Gehen Sie zu Wissen und öffnen Sie die Website-Sammlung
- Klicken Sie oben rechts auf Neu crawlen
- Der Status wechselt auf Crawlt…; die Inhalte werden komplett neu erfasst
Entfernte Seiten (z. B. ein nicht mehr verfügbares Angebot) verschwinden beim Neu-Crawlen auch aus der Wissensdatenbank — vorausgesetzt, sie sind auf der Website tatsächlich nicht mehr verlinkt.
Wie lange dauert ein Crawl?
Die Dauer hängt von der Seitenanzahl und der eingestellten Verzögerung ab. Mit den Standardeinstellungen können Sie grob mit 1–2 Sekunden pro Seite rechnen:
| Umfang | Typische Dauer |
|---|---|
| 10–50 Seiten | unter 2 Minuten |
| 100–200 Seiten | wenige Minuten |
| 500+ Seiten | 15 Minuten und mehr |
Hinweis: Zwischen zwei Crawls derselben Sammlung müssen mindestens 5 Minuten liegen, und pro Benutzer sind maximal 10 Crawls pro Stunde möglich. Wenn Neu crawlen direkt nach einem Durchlauf nicht startet, warten Sie ein paar Minuten.
Schritt 6: Mit Agent verknüpfen
Wie bei Dokument-Sammlungen:
- Öffnen Sie Ihren Agenten
- Gehen Sie zum Tab Wissen
- Aktivieren Sie die Website-Sammlung
- Speichern Sie den Agenten
Website-Sammlungen werden in der Übersicht mit dem Typ Website und der Anzahl gecrawlter Seiten angezeigt.
Best Practices
Welche Seiten crawlen?
Empfohlen:
- Produktseiten und Beschreibungen
- FAQ- und Hilfe-Seiten
- Service-Dokumentation
- Kontaktinformationen
- Preislisten
Nicht empfohlen:
- Login- und Admin-Bereiche
- Dynamische Suchseiten
- Seiten mit wenig Textinhalt
- Rechtliche Texte (Impressum, AGB)
Crawl optimieren
- Spezifische Website URL: Starten Sie bei
/docsoder/produkte, nicht bei/ - URLs ausschließen: Schließen Sie irrelevante Pfade aus
- Sitemap aktiviert lassen: Effizienter und vollständiger
- Maximale Seitenanzahl setzen: Beginnen Sie klein und erhöhen Sie bei Bedarf
- Pflege-Rhythmus festlegen: Bei Inhalten mit Verfallsdatum (Preise, Angebote, Bestände) automatische Aktualisierung aktivieren oder regelmäßig manuell neu crawlen
Fehlerbehebung
Seite wird nicht gecrawlt
- Prüfen Sie, ob die Seite öffentlich zugänglich ist (nicht hinter Login)
- Prüfen Sie, ob die URL von einem Muster unter URLs ausschließen erfasst wird
- Prüfen Sie, ob die Maximale Seitenanzahl erreicht wurde
- Versuchen Sie eine spezifischere Website URL
Inhalt fehlt oder ist unvollständig
- Die Seite könnte ihre Inhalte erst per JavaScript nachladen
- Prüfen Sie, ob der Inhalt in einem eingebetteten Frame liegt
- Alternative: Fügen Sie den Inhalt als Dokument in einer Dokument-Sammlung hinzu
Status bleibt auf “Wartend”
- Warten Sie einige Minuten und laden Sie die Seite neu
- Prüfen Sie, ob der letzte Crawl weniger als 5 Minuten zurückliegt
- Bei anhaltenden Problemen wenden Sie sich an support@dalvon.ai
Agent kennt alte Inhalte noch
- Prüfen Sie Letzter Crawl in der Statusübersicht — liegt er vor Ihrer Website-Änderung, klicken Sie auf Neu crawlen
- Details zum Aktualisieren und Bereinigen von Inhalten: Wissen aktualisieren
Nächste Schritte
- Wissen aktualisieren - Inhalte aktuell halten und veraltete Informationen entfernen
- Beschreibung optimieren - Sorgen Sie dafür, dass der Agent die Sammlung auch nutzt
- Wissen hinzufügen - Ergänzen Sie mit manuellen Dokumenten