Crawl-Budget: wann es zählt und wie Sie es optimieren

Suchmaschinen rufen Ihre Seiten mit automatischen Crawlern ab. Das Crawl-Budget beschreibt, wie viele davon Google in einem bestimmten Zeitraum besucht. Es hängt von der Größe, der technischen Gesundheit und der Beliebtheit Ihrer Website ab.

• Nur was gecrawlt wird, kann indexiert werden und ranken. Wie Crawling funktioniert, erklärt das Glossar.

Für die meisten Unternehmensseiten mit einigen Dutzend bis wenigen hundert Seiten ist das Crawl-Budget kein Problem, Google schafft das problemlos. Ein echter Engpass entsteht erst bei sehr großen Websites, etwa Shops oder Portalen mit zehntausenden URLs.

• Wer also eine überschaubare Website hat, sollte sich auf gute Inhalte und saubere Technik konzentrieren, nicht auf Crawl-Budget-Mikrooptimierung. Bei großen, programmatisch erzeugten Seiten lohnt der Blick dagegen.

Budget verpufft an überflüssigen URLs: endlose Filter- und Parameter-Varianten, doppelte Inhalte, kaputte Links, endlose Weiterleitungsketten und dünne Seiten ohne Wert. Jede dieser URLs lenkt den Crawler von den wichtigen Seiten ab.

• Solche Probleme deckt ein technisches Audit auf. Mehr dazu im Ratgeber Technisches SEO.