Robots.txt Generator
Erstelle in Sekunden eine perfekte robots.txt-Datei. Steuere, wie Suchmaschinen deine Seite crawlen, indem du bestimmte Seiten erlaubst oder verbietest und den Speicherort deiner Sitemap angibst.
Konfiguration
Vorschau & Download
User-agent: * Disallow: /admin/
Lade diese Datei in das Hauptverzeichnis deiner Website hoch (z.B. example.com/robots.txt).
Unterstützt von Keupera
Fortschrittliche SEO-Software für moderne Websites. Skaliere mühelos.
Mehr erfahren
Was ist eine robots.txt-Datei?
Die robots.txt-Datei ist eine Textdatei, die im Hauptverzeichnis deiner Website liegt. Sie gibt Anweisungen an Web-Robots (typischerweise Suchmaschinen-Crawler), welche Seiten auf deiner Website sie crawlen dürfen oder nicht.
Obwohl sie keine Zugangskontrolle erzwingt (sie ist keine Firewall), halten sich gutartige Bots wie der Googlebot an ihre Anweisungen. Sie ist ein wesentliches Werkzeug für SEO, um das Crawlen von doppeltem Inhalt, Admin-Seiten oder ressourcenintensiven Skripten zu verhindern.
Wichtige Anweisungen
- User-agent: Gibt an, für welchen Crawler die Regel gilt (z.B.
*für alle,Googlebotfür Google). - Disallow: Teilt dem Crawler mit, welche URLs er NICHT besuchen soll.
- Allow: Erlaubt ausdrücklich das Crawlen eines Unterpfads innerhalb eines verbotenen Verzeichnisses (unterstützt von Google und Bing).
- Sitemap: Zeigt Crawlern den Weg zu deiner XML-Sitemap für eine bessere Indexierung.