Crawling
Abkürzungen / Synonyme: Indexierungsvorbereitung
Kurzdefinition
Das automatisierte Durchsuchen und Erfassen von Webseiten durch Suchmaschinen-Bots mittels dem Verfolgen von Links.
Ausführliche Erklärung
Crawling ist der erste Schritt, mit dem Suchmaschinen Inhalte entdecken: Bots (z. B. der Googlebot) folgen Links und rufen Seiten ab. Gesteuert wird das über die robots.txt (Was darf gecrawlt werden?) und die XML-Sitemap (Welche URLs sind wichtig?). Erst nach dem Crawling folgt die Indexierung, also die Aufnahme in den Suchindex. Ein begrenztes Crawl-Budget bedeutet, dass grosse Websites ihre wichtigen Seiten gut intern verlinken und unwichtige vom Crawling ausschliessen sollten.
Beispiel
Eine in der Sitemap gelistete und intern gut verlinkte Seite wird vom Googlebot schnell gecrawlt; eine verwaiste Seite ohne eingehende Links dagegen oft spät oder gar nicht.
Im ausführlichen Fachartikel erklären wir Crawling mit Architektur, Praxisbeispielen und Best Practices im Detail: