Co to jest Robots.txt? - Accuranker
Bezpłatne zasoby Hub
Plik robots.txt informuje roboty indeksujące wyszukiwarek, do których adresów URL w witrynie mogą one uzyskać dostęp, a do których nie. Służy on głównie do zapobiegania marnowaniu przez wyszukiwarki budżetu na indeksowanie nieistotnych stron. Plik robots.txt nie zapobiega jednak indeksowaniu stron przez wyszukiwarki.
