Robots.txt

Home > SEO Glossar > Robots.txt

Was ist eine "Robots.txt" Datei?

„Robots.txt“ oder „Robots Exclusion Standard“ ist eine Textdatei, die von einer Website verwendet wird, um Crawlern mitzuteilen, wie jede Seite innerhalb einer Website verarbeitet werden soll. Es bietet die Möglichkeit bestimmte Seiten als gesperrt für den Bot festlegen und nur die nützlichsten Inhalte scannen. Diese Datei wird im Root-Verzeichnis hinterlegt und ist die erste Anlaufstelle für Bots. Der Vorteil dabei ist, dass Crawling-Ressourcen geschont werden können.

Sharing is caring

Sharing is caring!
Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp
Scroll to Top
blank

Ich verwende Cookies, um meine Webseite für Dich zu optimieren.

Ist deine Firma im
Internet sichtbar?
Analysiere die digitale Performance Deiner Firma im Web mit meinem kostenlosen SEO-Check!
Professionelle SEO Betreuung von Jannis Richter: SEO Consulting (SEO Beratung), SEO Coaching und vieles mehr

Du bist nur noch 20 Sekunden vom Ziel entfernt!

Fast geschafft 51%
Tippe jetzt noch schnell Deine E-Mail-Adresse ein, damit ich Dir sofortigen Zugriff auf die Liste mit den 33 wichtigsten SEO Tools geben kann!

Du bist nur noch 20 Sekunden vom Ziel entfernt!

Fast geschafft 51%
Tippe jetzt noch schnell Deine E-Mail-Adresse ein, damit ich Dir sofortigen Zugriff auf das Keyword-Mapping-Template geben kann!