问题描述
如题,想试用heritrix爬虫,不知道怎么配置..
解决方案
最简单的配置是只配置以下两个参数: user-agent: Mozilla/5.0 (compatible; heritrix/1.14.0 +http://192.168.1.111) from: test@163.com然后点击 submitjob 确认参数设置就可以了。注意:user-agent中,只需要修改上面两处就可以;from中,只要是e_mail格式就可以。你可以点击问号,查看每个参数的作用。
时间: 2024-09-19 22:57:07