Was sind Crawler-Richtlinien? - Accuranker
Kostenlose Hub-Ressourcen
Crawler-Direktiven teilen Suchmaschinen mit, wie sie sich beim Crawlen und Indizieren Ihrer Website verhalten sollen. Beispiele für Crawler-Direktiven sind das robots-Meta-Tag, das x-robots-Tag und die robots.txt-Datei.
