Ratgeber ·
Robots.txt-Generator: so funktioniert es
Robots.txt-Generator. Robots.txt-Regeln erstellen und testen. Nein. Sie verhindert das Crawlen.
Die kurze Antwort
Um eine robots.txt zu erstellen, wählen Sie eine Standardregel, fügen Disallow- oder Allow-Pfade für alle Bots oder bestimmte wie Googlebot oder GPTBot hinzu, ergänzen Ihre Sitemap-URL und laden die Datei herunter. Ein integrierter Tester zeigt, ob eine bestimmte URL blockiert würde.
Es läuft in Ihrem Browser. Ihre Eingabe wird nicht hochgeladen.
So wird es benutzt
Geben Sie Ihren Text in das Tool ein oder fügen Sie ihn ein.
Wählen Sie die gewünschten Optionen.
Das Ergebnis aktualisiert sich sofort.
Kopieren oder laden Sie das Ergebnis herunter.
Grenzen, die zählen
Verhindert robots.txt die Indexierung einer Seite? Nein. Sie verhindert das Crawlen. Eine blockierte Seite kann über Links trotzdem indexiert werden. Nutzen Sie ein noindex-Meta-Tag (und erlauben Sie das Crawlen), um eine Seite aus den Suchergebnissen herauszuhalten.
Wie blockiere ich KI-Crawler? Fügen Sie Gruppen für User-Agents wie GPTBot, ClaudeBot, Google-Extended und CCBot mit Disallow: / hinzu. Der Generator hat dafür eine Ein-Klick-Vorlage.