Glossar
robots.txt
Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie crawlen dürfen und welche nicht. Sie steuert den Zugriff, ist aber kein Zugriffsschutz. Auch die Erlaubnis für KI-Suchbots wird hier geregelt.
Wichtig ist, dass die robots.txt relevante Inhalte nicht versehentlich sperrt und KI-Suchbots den Zugriff erlaubt, sofern Sichtbarkeit in KI-Antworten gewünscht ist.
Eine kuratierte Ergänzung für KI-Systeme ist die llms.txt. Mehr zur Sichtbarkeit in KI-Suchen im Beitrag GEO.
Bereit für messbar bessere Sichtbarkeit?
Fordern Sie Ihre kostenlose Website- & SEO-Analyse an, unverbindlich und mit konkreten Handlungsempfehlungen.
Kostenlose Website-AnalyseUnverbindlich · Antwort in 24 Stunden