Die robots.txt ist eine der kleinsten Dateien einer Website und zugleich eine der einflussreichsten. In wenigen Zeilen Text steht hier, was Suchmaschinen auf Ihrer Seite besuchen dürfen und was nicht. Richtig eingesetzt ist sie ein nützliches Steuerungswerkzeug. Falsch eingesetzt kann sie Ihre komplette Website für Google unsichtbar machen, ohne dass technisch sonst irgendetwas kaputt ist.
Gerade weil die Datei so kurz ist, unterschätzt man sie leicht. Dabei lohnt es sich, ihre wenigen Bausteine zu verstehen, denn dann erkennen Sie sofort, ob alles in Ordnung ist oder ob hier die Ursache für Sichtbarkeitsprobleme liegt. Wir schauen uns an, was die Datei macht, wie man sie liest und welche Fehler am häufigsten vorkommen.
Was die robots.txt macht
Die robots.txt liegt im obersten Verzeichnis Ihrer Website und ist die erste Datei, die ein Suchmaschinen-Besucher aufruft, bevor er sich die Seite ansieht. Sie funktioniert wie ein Aushang am Eingang: Hier steht, welche Bereiche der Besucher betreten darf und welche nicht. Suchmaschinen wie Google halten sich an diese Anweisungen. Wichtig ist die Einordnung: Die Datei steuert das Besuchen, nicht zwingend das Anzeigen in den Ergebnissen. Für das saubere Ausschließen einzelner Seiten aus dem Index ist eigentlich das Noindex zuständig, das ein eigenes Thema ist.
Wie die Datei aufgebaut ist
Die robots.txt besteht aus wenigen, einfachen Bausteinen. Eine Zeile legt fest, für welchen Suchmaschinen-Besucher die folgenden Regeln gelten. Darunter stehen Anweisungen, die bestimmte Bereiche erlauben oder verbieten. Dazu kommt oft ein Verweis auf die Sitemap, also die Inhaltsübersicht der Website. Diese Bausteine sind schnell erklärt:
- Die Angabe des Besuchers: legt fest, ob die Regeln für alle Suchmaschinen gelten oder nur für bestimmte.
- Die Verbots-Anweisung: nennt Bereiche, die nicht besucht werden sollen, etwa interne Verzeichnisse.
- Die Erlaubnis-Anweisung: gibt einzelne Bereiche ausdrücklich frei, auch innerhalb eines verbotenen Ordners.
- Der Sitemap-Verweis: zeigt Suchmaschinen, wo die Übersicht aller wichtigen Seiten liegt.
Der gefährlichste Fehler
Es gibt einen Fehler, der besonders folgenreich ist: eine Anweisung, die versehentlich die gesamte Website für alle Suchmaschinen sperrt. Eine einzige Zeile, die einen Schrägstrich als verbotenen Bereich nennt, bedeutet sinngemäß: Suchmaschinen, betretet hier gar nichts. Die Folge ist, dass Google die Seite nicht mehr besucht und sie nach und nach aus den Ergebnissen verschwindet. Solche Sperren stammen oft aus einer Aufbauphase, in der man die Seite bewusst vor Suchmaschinen verstecken wollte, und werden später vergessen.
- Die Datei aufrufen: Hängen Sie an Ihre Adresse den Zusatz für die robots.txt an und sehen Sie sich den Inhalt direkt im Browser an.
- Nach einer pauschalen Sperre suchen: Prüfen Sie, ob eine Verbots-Anweisung den gesamten Bereich sperrt. Genau das ist der häufigste schwere Fehler.
- Mit dem Prüfwerkzeug testen: Die Google Search Console bietet ein Werkzeug, das anzeigt, ob eine bestimmte Adresse durch die robots.txt blockiert wird.
Eine fehlerhafte Datei korrigieren
Finden Sie eine pauschale Sperre, die nicht dort sein sollte, muss sie entfernt oder korrigiert werden. Bei WordPress wird die robots.txt oft von einem SEO-Plugin verwaltet, sodass Sie sie nicht direkt bearbeiten, sondern über das Plugin anpassen. In anderen Fällen liegt sie als echte Datei vor und lässt sich über den Dateizugriff ändern. Wichtig ist, vor der Änderung eine Kopie des alten Standes zu sichern, damit Sie nichts unwiederbringlich überschreiben.
Für viele Websites ist eine sehr einfache robots.txt völlig ausreichend, die Suchmaschinen alles erlaubt und nur auf die Sitemap verweist. Man muss die Datei nicht kompliziert machen. Im Zweifel ist eine schlichte, offene Variante sicherer als eine mit vielen Regeln, bei denen sich leicht ein folgenreicher Fehler einschleicht.
Was die robots.txt nicht kann
Ein verbreitetes Missverständnis ist, die robots.txt sei ein Sicherheitswerkzeug, mit dem man Bereiche der Seite verstecken könne. Das ist sie ausdrücklich nicht. Die Datei ist eine höfliche Bitte an Suchmaschinen, bestimmte Bereiche nicht zu besuchen. Seriöse Suchmaschinen halten sich daran, aber sie ist kein Zugriffsschutz. Wer einen Bereich wirklich schützen will, braucht ein Passwort oder eine andere echte Sperre, keine robots.txt.
Im Gegenteil kann ein falsches Verständnis sogar schaden. Wer sensible Verzeichnisse in der robots.txt ausdrücklich als verboten aufführt, weist neugierige Blicke geradezu darauf hin, denn die Datei ist für jeden öffentlich einsehbar. Was geschützt gehört, hat in der robots.txt also nichts zu suchen, weder zum Verstecken noch zum Sperren.
Genauso wichtig ist die Abgrenzung zur Indexierung. Eine in der robots.txt gesperrte Seite kann unter Umständen trotzdem in den Suchergebnissen auftauchen, nämlich dann, wenn andere Seiten auf sie verlinken. Denn das Sperren verhindert nur den Besuch, nicht zwingend die Aufnahme in den Index. Wer eine Seite zuverlässig aus den Suchergebnissen halten will, nutzt dafür das Noindex und nicht die robots.txt. Beide Werkzeuge haben ihren Zweck, und sie zu verwechseln führt zu genau den Problemen, die man eigentlich vermeiden wollte.
Die Kurz-Checkliste
- Die robots.txt über die eigene Adresse im Browser aufgerufen
- Nach einer pauschalen Sperre des gesamten Bereichs gesucht
- Mit dem Prüfwerkzeug der Search Console einzelne Adressen getestet
- Bei WordPress geklärt, ob ein SEO-Plugin die Datei steuert
- Vor jeder Änderung den alten Stand gesichert
- Im Zweifel auf eine einfache, offene Variante gesetzt
Die robots.txt ist ein gutes Beispiel dafür, wie eine winzige Datei große Wirkung haben kann. Wer ihre wenigen Bausteine versteht, erkennt Probleme schnell und vermeidet die typischen Fehler. Der gefährlichste bleibt die versehentliche Komplettsperre. Wenn Sie unsicher sind, ob Ihre Datei korrekt ist, oder die Seite trotz Korrektur nicht zurück in den Index findet, ist fachlicher Rat eine sinnvolle Absicherung.
Passend dazu rund um Indexierung und Sichtbarkeit: Noindex entfernen, Google-Warnungen und Erreichbarkeit prüfen.
Häufige Fragen
Sie erreichen die Datei, indem Sie an Ihre Webadresse den Zusatz für die robots.txt anhängen und das im Browser aufrufen. Existiert eine Datei, sehen Sie ihren Inhalt direkt. Bei WordPress wird sie häufig dynamisch von einem SEO-Plugin erzeugt, statt als echte Datei vorzuliegen.
Die robots.txt steuert, ob Suchmaschinen eine Seite besuchen dürfen. Noindex steuert, ob eine besuchte Seite in den Index aufgenommen wird. Für das saubere Ausschließen einzelner Seiten aus den Suchergebnissen ist Noindex das richtige Werkzeug, nicht die robots.txt.
Zwingend nötig ist sie nicht. Viele Websites funktionieren gut mit einer sehr einfachen Datei, die alles erlaubt und auf die Sitemap verweist, oder ganz ohne. Wichtig ist vor allem, dass keine versehentliche Sperre drinsteht, die Suchmaschinen aussperrt.