Advanced robots.txt Editor

Hier legen Sie die Basis-URL Ihrer Website fest. Sie wird verwendet, um die robots.txt herunterzuladen. Die URL wird automatisch im lokalen Speicher Ihres Browsers gespeichert und beim nächsten Besuch wieder eingefügt.

Mit dieser Funktion können Sie die bestehende robots.txt-Datei Ihrer Website in einem neuen Fenster öffnen. Voraussetzungen:

• Die Basis-URL muss korrekt eingetragen sein
• Die Datei robots.txt muss unter der URL /robots.txt erreichbar sein

Die Datei wird nicht automatisch in den Editor geladen, sondern zur Ansicht in einem neuen Browser-Tab geöffnet. So können Sie prüfen, ob sie vorhanden ist und korrekt ausgeliefert wird.

Google Robots.txt-Tester öffnen

Allow und Disallow richtig verwenden

📁 Ordner erlauben oder verbieten

Was du willst	Richtige Regel	Wirkung
Ordner und Inhalt erlauben	Allow: /img/	Erlaubt /img/pic.jpg, /img/sub/
Ordner und Inhalt verbieten	Disallow: /private/	Verhindert Zugriff auf alles darunter
Nur Unterordner verbieten	Disallow: /img/private/	/img/ok.jpg erlaubt, /img/private/pic.jpg verboten

📄 Einzelne Datei erlauben oder verbieten

Was du willst	Richtige Regel	Wirkung
Bestimmte Datei erlauben	Allow: /img/logo.png	Nur diese Datei wird erlaubt
Bestimmte Datei verbieten	Disallow: /secret/file.txt	Nur diese Datei wird blockiert

✨ Wichtiger Unterschied: Der abschließende Slash (/)

Ein Schrägstrich am Ende einer Regel ändert die Bedeutung erheblich. Eine Regel ohne abschließenden Slash (/) matcht *alle* Pfade, die mit dem angegebenen Muster *beginnen*. Eine Regel *mit* abschließendem Slash matcht nur Pfade, die sich *innerhalb* des angegebenen Ordners befinden (oder der Ordner selbst).

Regel	Was sie matched	Beispiel: Wirkung auf /img/pic.jpg	Beispiel: Wirkung auf /img_neu/bild.gif
Allow: /img	Alle Pfade, die mit /img beginnen	✅ Erlaubt (beginnt mit /img)	✅ Erlaubt (beginnt mit /img)
Disallow: /img	Alle Pfade, die mit /img beginnen	❌ Verbietet (beginnt mit /img)	❌ Verbietet (beginnt mit /img)
Allow: /img/	Alle Pfade, die mit /img/ beginnen (d.h., im Ordner /img/ oder dessen Unterordnern)	✅ Erlaubt (beginnt mit /img/)	❌ Nicht betroffen (beginnt nicht mit /img/)
Disallow: /img/	Alle Pfade, die mit /img/ beginnen (d.h., im Ordner /img/ oder dessen Unterordnern)	❌ Verbietet (beginnt mit /img/)	✅ Nicht betroffen (beginnt nicht mit /img/)

Daher die dringende Empfehlung: Verwenden Sie den abschließenden Slash, wenn Sie gezielt einen bestimmten Ordner und dessen Inhalt meinen. Verwenden Sie ihn *nicht*, wenn Sie wirklich alle Pfade, die mit dem Muster beginnen, matchen wollen (was selten der Fall ist).

🧩 Pfadbestandteile (vorsichtig nutzen)

Mit den Zeichen * (Wildcard) und $ (Ende der URL) kannst du flexiblere Regeln erstellen. Sei hier besonders vorsichtig, um nicht versehentlich wichtige Seiten zu blockieren!

Was du willst	Regel	Wirkung
Alles mit "img" irgendwo im Pfad blocken	Disallow: /*img*	Blockiert z.B. /bilder/img/foto.jpg, /template/images/
Nur .pdf Dateien blockieren	Disallow: /*.pdf$	Blockiert alle PDF-Dateien, z.B. /dokumente/bericht.pdf
Nur URLs, die mit ? beginnen, blockieren (oft Filter/Session-IDs)	Disallow: /*?	Blockiert /seite.html?id=123, /index.php?ref=abc etc.

✅ Empfehlung

• Verwende immer den abschließenden Slash (/), wenn du gezielt einen Ordner meinst (z.B. Disallow: /admin/).
• Für einzelne Dateien verwende den vollen Pfad inkl. Dateiname (z.B. Disallow: /privat/geheime-datei.pdf).
• Vermeide zu generische Regeln wie Disallow: /img, wenn du nur den Ordner /img/ blockieren willst – nutze stattdessen Disallow: /img/.
• Teste komplexe Regeln mit Wildcards (*, $) sehr sorgfältig, z.B. mit dem Google Robots.txt-Tester.