File robots.txt là một tệp văn bản đơn giản có phần mở rộng .txt. Nó là một phần của Robots Exclusion Protocol (REP) và chứa các tiêu chuẩn web để quy định cách Robot Web (hoặc Robot của công cụ tìm kiếm) thu thập dữ liệu trên Web, truy cập, lập chỉ mục nội dung và cung cấp nội dung đó cho người dùng. Tệp robots.txt cho phép bạn chỉ định các quy tắc truy cập để kiểm soát cách robot tìm kiếm hoạt động trên trang web của bạn.
