Was ist die robots.txt-Datei?
Stell dir vor, du besitzt ein riesiges Museum und möchtest steuern, welche Räume Besucher betreten dürfen und welche nicht. Genau diese Funktion übernimmt die robots.txt-Datei für Suchmaschinen-Crawler! Sie ist eine einfache Textdatei, in der du festlegen kannst, welche Bereiche deiner Website von Suchmaschinen indexiert werden sollen und welche nicht.
Wie funktioniert die robots.txt?
In der robots.txt-Datei kannst du genau festlegen, welcher Suchmaschinen-Bot (auch Crawler oder User-Agent genannt) auf bestimmte Verzeichnisse, Unterverzeichnisse oder einzelne Dateien zugreifen darf – und welcher nicht.
Wo muss die robots.txt abgelegt werden?
Damit Suchmaschinen die Datei finden, muss sie direkt im Hauptverzeichnis deiner Website liegen. Pro Hauptdomain kann es nur eine robots.txt-Datei geben.
Aufbau und Inhalt der robots.txt
Die Datei besteht aus zwei zentralen Elementen:
- User-Agent – Hier bestimmst du, für welchen Crawler die Regel gilt.
- Befehl – Mit
Disallow:verbietest du den Zugriff, mitAllow:erlaubst du ihn explizit.
Beispiel einer robots.txt-Datei:
User-agent: Googlebot
Disallow: /geheim/
Hiermit untersagst du dem Googlebot, den Ordner /geheim/ zu durchsuchen.
User-agent: *
Allow: /
Das bedeutet, dass alle Crawler auf die gesamte Website zugreifen dürfen.
Wichtige User-Agent-Bezeichnungen
| Suchmaschine | User-Agent |
|---|---|
| Googlebot | |
| Bing | Bingbot |
| Yahoo | Slurp |
| MSN | Msnbot |
Ist die robots.txt ein sicherer Schutz?
Nein, die robots.txt-Datei ist keine sichere Barriere! Sie gibt den Crawlern lediglich eine Empfehlung, aber sie können sich darüber hinwegsetzen.
Wie rufe ich meine robots.txt auf?
Du kannst deine Datei einfach über den Browser checken. Gib in der URL-Leiste deiner Website ein:
www.deinewebsite.de/robots.txt
Sollte die Datei nicht vorhanden sein, wird ein 404-Fehler angezeigt. Falls du auf die Startseite weitergeleitet wirst, solltest du deine Weiterleitungen überprüfen.
Mit dieser kleinen, aber mächtigen Datei behältst du die Kontrolle darüber, was Suchmaschinen sehen dürfen – und was nicht!