맞춤 로봇 태그 설정
맞춤 로봇 태그 설정은 SEO에서 매우 중요한 부분으로, 검색 엔진이 특정 페이지를 크롤링하거나 인덱스에 포함시킬지 결정하는 방법입니다. 다음은 각 태그의 설정을 어떻게 하는 것이 좋은지에 대한 가이드입니다.
 |
| 맞춤 로봇테그 |
1. 중요한 페이지에 대한 설정
- all: 중요한 페이지에 대해서는 all 설정을 활성화하는 것이 좋습니다. 이 설정은 모든 로봇이 페이지를 크롤링하고 인덱싱하도록 허용하므로, 검색 엔진이 페이지를 색인화하여 검색 결과에 노출시킬 수 있습니다.
- 예시: 홈 페이지, 주요 블로그 게시물, 제품 페이지 등 사람들이 검색을 통해 자주 찾기를 원하는 페이지들에는 all을 설정합니다.
2. 불필요한 페이지에 대한 설정
- noindex: 검색 결과에 노출시키고 싶지 않은 페이지는 noindex로 설정합니다. 예를 들어, 개인정보보호 정책, 로그인 페이지, 또는 중복 콘텐츠가 포함된 페이지는 noindex로 설정하여 검색 엔진에 의해 인덱스되지 않도록 해야 합니다.
- 예시: 중복 콘텐츠가 포함된 아카이브 페이지, 태그 페이지, 카테고리 페이지 등이 여기에 해당할 수 있습니다.
3. 크롤링은 허용하지만 검색 결과에는 표시하지 않도록 할 때
- nofollow: 외부 링크를 포함한 페이지가 있지만, 그 링크의 '링크 신뢰도'를 전달하고 싶지 않다면 nofollow를 사용할 수 있습니다. 이 설정은 검색 엔진이 해당 페이지의 링크를 따라가거나 신뢰도를 전달하지 않게 합니다.
- 예시: 광고가 많이 포함된 페이지나, 외부 링크가 많지만 그 링크를 검색 엔진에서 인식하지 않기를 원하는 경우에 사용됩니다.
4. 캐싱되지 않도록 설정
- noarchive: 페이지의 캐시된 버전이 검색 엔진에 저장되기를 원하지 않는다면, noarchive 설정을 사용합니다. 사용자에게 페이지의 최신 정보를 제공하고 싶을 때 유용합니다.
- 예시: 자주 업데이트되거나 실시간으로 변경되는 페이지.
5. 검색 결과에서 미리보기를 제공하지 않도록 할 때
- nosnippet: 이 설정은 검색 결과에서 페이지의 요약(미리보기)을 보여주지 않도록 합니다. 특정 상황에서 민감한 내용이 있을 때 사용 가능합니다.
- 예시: 비밀 페이지, 특정 부분만 공개하고 싶을 때.
6. 특정 언어로만 표시하고 싶을 때
- notranslate: 페이지가 특정 언어로만 검색되길 원하고 자동 번역 기능을 사용하고 싶지 않다면 notranslate를 활성화합니다.
예시: 국가별로 다른 버전의 - 페이지가 있고, 다른 언어로 자동 번역되는 것을 원하지 않을 때.
설정 방법 요약:
- 중요한 페이지 (예: 홈, 인기 게시물): all
검색에 노출시키고 싶지 않은 페이지 (예: 로그인 페이지, 중복 콘텐츠): noindex
링크의 신뢰도를 전달하고 싶지 않을 때 (예: 광고 페이지): nofollow
자주 변경되는 페이지나 캐시를 허용하고 싶지 않을 때: noarchive
검색 결과에서 미리보기를 제공하고 싶지 않을 때: nosnippet
이 설정을 통해 검색 엔진이 중요한 페이지는 제대로 인덱스하고, 필요 없는 페이지는 검색 결과에서 제외할 수 있습니다. 설정을 변경할 때는 각 페이지의 중요도와 목적에 따라 조정하는 것이 좋습니다.