问题描述
解决方案
这个本来只是让爬虫知道哪里你不能爬,但是同样也给出了robots.txt所在目录下的目录结构,这些路径大多数都是存放静态资源,谁访问都可以,但是有时候这些目录下可能你是用了各种插件之类的,然后就可能存在可执行文件,各种可执行文件都有可能存在漏洞让人攻击。
很多网站都会会放这个,而且都能访问,你可以去看看百度的,淘宝的,都可以直接看,但其实大多数网站不放也没啥问题。
时间: 2024-09-12 04:44:20
这个本来只是让爬虫知道哪里你不能爬,但是同样也给出了robots.txt所在目录下的目录结构,这些路径大多数都是存放静态资源,谁访问都可以,但是有时候这些目录下可能你是用了各种插件之类的,然后就可能存在可执行文件,各种可执行文件都有可能存在漏洞让人攻击。
很多网站都会会放这个,而且都能访问,你可以去看看百度的,淘宝的,都可以直接看,但其实大多数网站不放也没啥问题。