From 6020233c2fb477aada5dce077e01c0b57d0fca84 Mon Sep 17 00:00:00 2001 From: HoJeong Im <39ghwjd@naver.com> Date: Wed, 4 Oct 2023 13:04:58 +0900 Subject: [PATCH] [ko] add index.md for `web/glossary/robots.txt` (#16258) --- files/ko/glossary/robots.txt/index.md | 19 +++++++++++++++++++ 1 file changed, 19 insertions(+) create mode 100644 files/ko/glossary/robots.txt/index.md diff --git a/files/ko/glossary/robots.txt/index.md b/files/ko/glossary/robots.txt/index.md new file mode 100644 index 00000000000000..e6158f44470e2e --- /dev/null +++ b/files/ko/glossary/robots.txt/index.md @@ -0,0 +1,19 @@ +--- +title: Robots.txt +slug: Glossary/Robots.txt +l10n: + sourceCommit: ada5fa5ef15eadd44b549ecf906423b4a2092f34 +--- + +{{GlossarySidebar}} + +Robots.txt는 일반적으로 모든 웹사이트의 루트에 배치되는 파일입니다. {{Glossary("crawler", "크롤러")}}가 웹사이트에 대한 접근을 허용할지 금지할지 결정합니다. + +예를 들어, 사이트 관리자는 일반적으로 다른 검색 엔진에서 해당 파일이 색인화되는 것을 방지하기 위해 크롤러가 특정 폴더(및 그 안에 포함된 모든 파일)를 방문하거나 특정 파일을 크롤링하는 것을 금지할 수 있습니다. + +## 같이 보기 + +- 위키백과의 [Robots.txt](https://en.wikipedia.org/wiki/Robots.txt) +- +- 표준 명세서: [RFC9309](https://www.rfc-editor.org/rfc/rfc9309.html) +-