简介

robots.txt文件用于指导搜索引擎爬虫在访问网站时哪些页面可以被爬取，哪些页面应该被忽略。

当robots.txt文件中包含了敏感信息时，攻击者可以通过访问该文件来获得有关网站结构、目录结构、隐藏路径、敏感文件、特定用户权限等的信息。

挖掘

查看网站的robots.txt文件中，是否存在敏感路径信息，如管理后台、测试功能点等。