Vad är Crawler-direktiv? - Accuranker
Gratis resurser för hubbar
Direktiven för sökrobotar talar om för sökmotorerna hur de ska bete sig när de genomsöker och indexerar din webbplats. Exempel på direktiv för sökrobotar är metataggen robots, taggen x-robots och filen robots.txt.