크롤러 지시문이란 무엇인가요? - Accuranker

크롤러 지시어는 검색 엔진이 웹사이트를 크롤링하고 색인을 생성할 때 어떻게 동작할지 알려줍니다. 크롤러 지시어의 예로는 robots 메타 태그, x-robots 태그, robots.txt 파일이 있습니다.