Crawler

Home > Glossar > Crawler

Was ist ein "Crawler" bzw. "Webcrawler"?

Ein Crawler, oft auch als „Webcrawler“ oder „Spider“ bezeichnet, ist ein Suchmaschinen-Programm, das selbstständig nach Inhalten im Internet sucht und diese indexiert. Dabei folgen Crawler in der Regel sogenannten „Hyperlinks„, die sich auf bereits indexierten Webseiten finden lassen. Anschließend werden sämtliche Informationen der verlinkten Seite ausgelesen und im Suchindex von Google gespeichert. Erst nachdem eine Seite vom Crawler indexiert wurde, kann sie in der Google Suchmaschine gefunden werden.

Sharing is caring

Sharing is caring!
Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp