Hvad er Robots.txt? - Accuranker
Gratis hub-ressourcer
En robots.txt-fil fortæller søgemaskinernes crawlere, hvilke URL'er crawleren kan eller ikke kan få adgang til på en hjemmeside. Den bruges primært til at forhindre søgemaskiner i at spilde crawl-budgetter på uvigtige sider. Robots.txt-filen forhindrer dog ikke websider i at blive indekseret af søgemaskiner.
