Robots.txt

Home > Glossar > Robots.txt

Was ist eine "Robots.txt" Datei?

„Robots.txt“ oder „Robots Exclusion Standard“ ist eine Textdatei, die von einer Website verwendet wird, um Crawlern mitzuteilen, wie jede Seite innerhalb einer Website verarbeitet werden soll. Es bietet die Möglichkeit bestimmte Seiten als gesperrt für den Bot festlegen und nur die nützlichsten Inhalte scannen. Diese Datei wird im Root-Verzeichnis hinterlegt und ist die erste Anlaufstelle für Bots. Der Vorteil dabei ist, dass Crawling-Ressourcen geschont werden können.

Sharing is caring

Sharing is caring!
Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp