Robots.txt
Robots.txt ist eine Datei im Root-Verzeichnis einer Domain, die Crawlern mitteilt, welche Pfade sie anfragen dürfen.
Im Detail
Sie steuert das Crawling, nicht die Indexierung. Eine blockierte Seite kann trotzdem ohne nützliche Beschreibung in den Ergebnissen erscheinen, und eine Seite, die entfernt werden soll, braucht stattdessen eine noindex-Anweisung.
Ein einziges verirrtes "Disallow: /" kann eine ganze Website verbergen.
Beispiel
Interne Such-Ergebnis-Pfade blockieren, damit Crawl-Budget echten Inhalten zugutekommt.
Warum das zählt
Es ist eine einzige Textzeile mit website-weiten Folgen, die leicht falsch eingesetzt wird.
Häufige Fehler
- Eine Staging-robots.txt in die Produktion ausliefern.
- CSS oder JS blockieren, das zum Rendern der Seite benötigt wird.
Verwandte Fragen
Verwandte Artikel
- SEO-Grundlagen: 10 Dinge, die jede Business-Website richtig machen sollte
Eine praktische Checkliste zu den Grundlagen, mit Prüfmethode für jeden Punkt und dem Erscheinungsbild eines Fehlers.
Verwandte Guides
- Der komplette SEO-GuideGuide
Ein Grundlagen-Guide zur organischen Suche: technisches Fundament, On-Page-Arbeit, Content, interne Verlinkung, Autorität und Messung — in der Reihenfolge, in der es sich auszahlt.
Verwandte Begriffe
- XML Sitemap
Eine XML-Sitemap ist eine Datei, die die URLs auflistet, über die Suchmaschinen informiert werden sollen, und dient als Quelle für die Entdeckung von Seiten.
- Indexability
Indexability ist, ob eine Seite berechtigt ist, im Index einer Suchmaschine gespeichert und in den Ergebnissen angezeigt zu werden.
- Technical SEO
Technical SEO umfasst alles, was bestimmt, ob Suchmaschinen Ihre Seiten erreichen, rendern, indexieren und ihnen vertrauen können.
Verwandte Fragen
- Was prüft Hamatra tatsächlich?
Hamatra crawlt die Website so, wie es eine Suchmaschine tun würde, und berichtet über technische SEO, Content, On-Page-Metadaten, Seitenstruktur, Such- und KI-Bereitschaft, Indexierbarkeit und interne Verlinkung sowie defekte Links, die während desselben Crawls gefunden wurden.