Robots.txt

Home > SEO Glossar > Robots.txt

Was ist eine "Robots.txt" Datei?

„Robots.txt“ oder „Robots Exclusion Standard“ ist eine Textdatei, die von einer Website verwendet wird, um Crawlern mitzuteilen, wie jede Seite innerhalb einer Website verarbeitet werden soll. Es bietet die Möglichkeit bestimmte Seiten als gesperrt für den Bot festlegen und nur die nützlichsten Inhalte scannen. Diese Datei wird im Root-Verzeichnis hinterlegt und ist die erste Anlaufstelle für Bots. Der Vorteil dabei ist, dass Crawling-Ressourcen geschont werden können.

Sharing is caring

Sharing is caring!
Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp
Scroll to Top

Darf ich dir meinen nächsten Post senden?

blank
Erfahre als Erste(r), wenn mein nächster Beitrag live geht. Zusätzlich erhältst du lebenslangen Zugriff zu meinen besten Online Marketing Ressourcen, einschließlich:

🔥  Die 13 effektivsten On-Page SEO Maßnahmen (2020 Update)
🔑  Mein persönliches Keyword-Mapping Template
🔗  55 kraftvolle GRATIS Backlinks für neue Webseiten

Erhalte sofort umsetzbare Praxistipps und Strategien, gratis Ressourcen und News in regelmäßigen Abständen. Jederzeit kündbar. Garantiert kein Spam — Indianer-Ehrenwort.
Ist deine Firma im
Internet sichtbar?
Analysiere die digitale Performance Deiner Firma im Web mit meinem kostenlosen SEO-Check!
Professionelle SEO Betreuung von Jannis Richter: SEO Consulting (SEO Beratung), SEO Coaching und vieles mehr

Du bist nur noch 20 Sekunden vom Ziel entfernt!

Fast geschafft 51%
Tippe jetzt noch schnell Deine E-Mail-Adresse ein, damit ich Dir sofortigen Zugriff auf die Liste mit den 33 wichtigsten SEO Tools geben kann!

Du bist nur noch 20 Sekunden vom Ziel entfernt!

Fast geschafft 51%
Tippe jetzt noch schnell Deine E-Mail-Adresse ein, damit ich Dir sofortigen Zugriff auf das Keyword-Mapping-Template geben kann!