[ko] add index.md for web/glossary/robots.txt (#16258)

files/ko/glossary/robots.txt/index.md

@@ -0,0 +1,19 @@
+---
+title: Robots.txt
+slug: Glossary/Robots.txt
+l10n:
+  sourceCommit: ada5fa5ef15eadd44b549ecf906423b4a2092f34
+---
+
+{{GlossarySidebar}}
+
+Robots.txt는 일반적으로 모든 웹사이트의 루트에 배치되는 파일입니다. {{Glossary("crawler", "크롤러")}}가 웹사이트에 대한 접근을 허용할지 금지할지 결정합니다.
+
+예를 들어, 사이트 관리자는 일반적으로 다른 검색 엔진에서 해당 파일이 색인화되는 것을 방지하기 위해 크롤러가 특정 폴더(및 그 안에 포함된 모든 파일)를 방문하거나 특정 파일을 크롤링하는 것을 금지할 수 있습니다.
+
+## 같이 보기
+
+- 위키백과의 [Robots.txt](https://en.wikipedia.org/wiki/Robots.txt)
+- <https://developers.google.com/search/reference/robots_txt>
+- 표준 명세서: [RFC9309](https://www.rfc-editor.org/rfc/rfc9309.html)
+- <https://www.robotstxt.org/>