Die robots.txt gehört zu den wichtigsten Dateien im technischen SEO. Mit ihr steuerst Du, welche Bereiche Deiner Website von Suchmaschinen-Crawlern besucht werden dürfen und welche nicht. Richtig eingesetzt hilft sie dabei, das Crawl-Budget effizient zu nutzen, Serverressourcen zu schonen und Suchmaschinen auf die relevanten Inhalte Deiner Website zu lenken.
Viele Website-Betreiber verwechseln die robots.txt allerdings mit einem Indexierungsschutz. Tatsächlich steuert sie ausschließlich das Crawling und verhindert nicht automatisch, dass URLs in den Suchergebnissen erscheinen.
Was ist eine robots.txt?
Die robots.txt ist eine einfache Textdatei, die sich im Root-Verzeichnis einer Website befindet. Sie enthält Regeln für Suchmaschinen-Bots wie den Googlebot und legt fest, welche Bereiche einer Website gecrawlt werden dürfen und welche ausgeschlossen werden sollen.
Sie wird üblicherweise unter folgender Adresse bereitgestellt:
https://www.deine-domain.de/robots.txt
Wie funktioniert die robots.txt?
Bevor Suchmaschinen eine Website crawlen, rufen sie zunächst die robots.txt auf und prüfen die dort hinterlegten Regeln.
Die wichtigsten Direktiven sind:
| Direktive | Funktion |
|---|---|
| User-agent | Legt fest, für welchen Crawler die Regeln gelten. |
| Disallow | Verbietet das Crawlen bestimmter Verzeichnisse oder Dateien. |
| Allow | Erlaubt ausdrücklich das Crawlen einzelner Bereiche. |
| Sitemap | Verweist auf die XML-Sitemap der Website. |
Beispiel einer robots.txt
User-agent: * Disallow: /intern/ Allow: /blog/ Sitemap: https://www.deine-domain.de/sitemap.xml
In diesem Beispiel dürfen alle Suchmaschinen den Bereich /blog/ crawlen, während das Verzeichnis /intern/ ausgeschlossen wird.
Wann solltest Du eine robots.txt einsetzen?
- Admin- und Login-Bereiche vom Crawling ausschließen
- Filter- und Suchseiten sperren
- Doppelte Inhalte reduzieren
- Crawl-Budget effizient nutzen
- XML-Sitemap für Suchmaschinen bereitstellen
Vorteile der robots.txt
| Vorteil | Nutzen |
|---|---|
| Crawl-Budget optimieren | Google konzentriert sich auf wichtige Seiten. |
| Server entlasten | Weniger unnötige Crawling-Anfragen. |
| Technische Bereiche ausschließen | Admin-, Login- oder Testbereiche werden nicht gecrawlt. |
| XML-Sitemap hinterlegen | Suchmaschinen finden wichtige URLs schneller. |
| Einfache Umsetzung | Bereits wenige Zeilen Code reichen aus. |
Typische Fehler
- wichtige Seiten versehentlich blockieren
- robots.txt als Ersatz für
noindexverwenden - Syntaxfehler in den Regeln
- XML-Sitemap vergessen
- robots.txt nach Website-Relaunch nicht aktualisieren
- Entwicklungsregeln versehentlich auf der Live-Website übernehmen
Besonders kritisch ist eine versehentliche Sperrung der gesamten Website:
User-agent: * Disallow: /
Diese Regel verhindert, dass Suchmaschinen die gesamte Website crawlen.
Best Practices
- robots.txt ausschließlich im Root-Verzeichnis speichern.
- Nur Seiten sperren, die wirklich nicht gecrawlt werden sollen.
- XML-Sitemap eintragen.
- Regeln regelmäßig überprüfen.
- Nach Relaunches und Strukturänderungen aktualisieren.
- robots.txt mit der Google Search Console testen.
Hilfreiche Tools
| Tool | Einsatzgebiet |
|---|---|
| Google Search Console | robots.txt prüfen und Crawling analysieren. |
| Screaming Frog SEO Spider | Durch robots.txt blockierte Seiten erkennen. |
| Google Rich Results Test | Prüfung strukturierter Daten zusätzlich zur Crawl-Analyse. |
| robots.txt Validator | Syntaxfehler identifizieren. |
Häufig gestellte Fragen (FAQ)
Verhindert die robots.txt die Indexierung?
Nein. Die robots.txt steuert lediglich das Crawling. Soll eine Seite nicht indexiert werden, sollte zusätzlich das noindex-Meta-Tag oder ein entsprechender HTTP-Header verwendet werden.
Wo muss die robots.txt liegen?
Immer im Root-Verzeichnis der jeweiligen Domain oder Subdomain.
Braucht jede Website eine robots.txt?
Nicht zwingend. Für die meisten Websites ist sie jedoch sinnvoll, um das Crawling gezielt zu steuern und Suchmaschinen auf die XML-Sitemap hinzuweisen.
Kann jede Suchmaschine die robots.txt ignorieren?
Seriöse Suchmaschinen wie Google oder Bing halten sich an die Regeln. Schadsoftware oder unseriöse Bots können die robots.txt hingegen ignorieren.
Fazit
Die robots.txt ist ein zentraler Bestandteil des technischen SEO. Sie ermöglicht eine gezielte Steuerung des Crawlings, verbessert die Nutzung des Crawl-Budgets und unterstützt Suchmaschinen dabei, die wichtigsten Inhalte einer Website effizient zu erfassen. Wichtig ist jedoch, ihre Grenzen zu kennen: Sie verhindert keine Indexierung und ersetzt weder noindex noch andere Sicherheitsmaßnahmen. Wer die robots.txt regelmäßig überprüft und korrekt konfiguriert, schafft eine solide Grundlage für eine erfolgreiche Suchmaschinenoptimierung.