Crawling: wie Google deine Website überhaupt erst entdeckt
Das Wichtigste in Kürze
Crawling ist der erste Schritt, bevor eine Seite überhaupt ranken kann. Suchmaschinen schicken einen Bot (bei Google den Googlebot), der Links folgt, Seiten aufruft und ihren Inhalt erfasst. Was der Bot nicht findet oder nicht abrufen darf, existiert für die Suche nicht.
Die drei Stufen bauen aufeinander auf: Crawling ist das Entdecken und Abrufen einer Seite, Indexierung das Aufnehmen in Googles Datenbank und Ranking die Platzierung in den Ergebnissen. Jede Stufe setzt die vorige voraus. Wird eine Seite nicht gecrawlt, wird sie nicht indexiert — und kann damit nie ranken.
Vor allem über Links: Der Bot folgt internen und externen Verweisen von Seite zu Seite. Ergänzend nutzt er die XML-Sitemap als Landkarte. Daraus folgt: Eine Seite, die nur schwach oder gar nicht intern verlinkt ist, wird schlechter gefunden. Eine klare Struktur mit sinnvoller interner Verlinkung ist deshalb die Basis, damit alle wichtigen Seiten überhaupt erreicht werden.
Mit der robots.txt erlaubst oder sperrst du Bereiche fürs Crawling — Vorsicht, denn versehentlich gesperrte Seiten verschwinden aus der Suche. Die Sitemap hilft beim Finden. Bei großen Websites spielt das Crawl-Budget eine Rolle: Google crawlt nicht unbegrenzt, deshalb sollten unwichtige URLs (Filter, Duplikate) den Bot nicht binden. In der Google Search Console siehst du unter der Crawling-Statistik, wie Google deine Seite besucht.
Meist, weil sie kaum intern verlinkt oder nicht in der Sitemap ist. Verlinke sie von relevanten Seiten und reiche die URL in der Search Console zur Prüfung ein.
Ja, jeder Bot-Abruf erzeugt Last. Bei sehr großen Seiten oder aggressiven Crawlern kann das spürbar werden — dann lohnt es, unwichtige Bereiche vom Crawling auszunehmen.