Was bewirkt die robots txt Googlebot-Anweisung?
Die robots txt Googlebot-Datei ist ein zentrales Steuerungselement im technischen SEO. Sie legt fest, welche Bereiche deiner Website vom Googlebot gecrawlt werden dürfen – und welche nicht. Mit einer korrekt konfigurierten robots txt Googlebot-Anweisung kannst du gezielt Seiten vom Crawling ausschließen, die nicht öffentlich oder nicht relevant für Suchmaschinen sein sollen.
Aufbau und Platzierung der robots txt Googlebot-Datei
Die robots txt Googlebot-Datei ist eine einfache Textdatei mit dem exakten Dateinamen robots.txt. Sie muss im Hauptverzeichnis der Domain liegen, also direkt unter https://www.deinedomain.de/robots.txt. Nur dort wird sie vom Googlebot erkannt und verarbeitet.
Beispiel: robots txt Googlebot den Zugriff auf die gesamte Website verweigern
Wenn du verhindern möchtest, dass der Googlebot überhaupt Inhalte deiner Website crawlt, lautet die Anweisung in der robots txt Googlebot-Datei wie folgt:
User-agent: Googlebot Disallow: /
Damit wird dem Googlebot der Zugriff auf sämtliche Seiten untersagt. Diese Maßnahme sollte nur in Ausnahmefällen eingesetzt werden, etwa während einer Entwicklung oder bei internen Projekten.
Nur bestimmte Bereiche mit der robots txt Googlebot-Datei blockieren
Oft ist es sinnvoller, nur einzelne Verzeichnisse oder Dateien vom Crawling auszuschließen. Dafür kannst du die robots txt Googlebot-Datei wie folgt gestalten:
User-agent: Googlebot Disallow: /intern/ Disallow: /dokumente/geheim.pdf
Mit dieser Einstellung wird dem Googlebot der Zugriff auf das Verzeichnis /intern/ und die Datei geheim.pdf untersagt. So schützt du sensible Inhalte vor unbeabsichtigter Indexierung.
Alle Crawler mit der robots txt ausschließen
Wenn du möchtest, dass deine Anweisungen nicht nur für den Googlebot, sondern für alle Suchmaschinen gelten, verwendest du den Platzhalter-Asterisk (*) als User-Agent:
User-agent: * Disallow: /
Diese Variante blockiert alle Bots – nicht nur den Googlebot.
Unterschied zwischen robots txt Googlebot-Anweisung und Meta-Robots-Tag
Wichtig: Die robots txt Googlebot-Datei verhindert lediglich das Crawling – nicht aber die Indexierung bereits bekannter Inhalte. Seiten, die über externe Links bekannt sind, können trotzdem im Index erscheinen. Möchtest du Inhalte vollständig aus den Suchergebnissen entfernen, solltest du zusätzlich das <meta name="robots" content="noindex">-Tag im HTML-Quellcode verwenden.
robots txt Googlebot testen und Fehler vermeiden
Nutze das kostenlose Testtool in der Google Search Console, um zu prüfen, ob deine robots txt Googlebot-Datei korrekt eingerichtet ist. Achte dabei auf:
- korrekte Pfad-Angaben (Groß-/Kleinschreibung beachten)
- gültige Syntax (kein zusätzlicher Leerraum, richtige Zeilenumbrüche)
- keine versehentlichen Sperren wichtiger Seiten
Fazit: robots txt Googlebot gezielt einsetzen
Die robots txt Googlebot-Datei ist ein wirkungsvolles Tool, um das Verhalten von Suchmaschinen gezielt zu steuern. Sie hilft dabei, Crawler-Zugriffe zu kontrollieren, sensible Bereiche zu schützen und das Crawl-Budget effizient zu nutzen. Eine fehlerhafte Konfiguration kann jedoch dazu führen, dass wichtige Inhalte aus dem Index verschwinden oder nicht gecrawlt werden – prüfe deine Einstellungen daher regelmäßig.
