Fwd: 关于爬虫技术法律问题咨询

Hi 王先生， 我们查询了相关法律法规，对爬虫技术的运用有如下建议： 首先，我们认为，爬虫本身不为法律所禁止，可采集公开信息，例如对外提供公开查询服务的网站的公开信息（如公检法机关、政府部门、事业单位的官网等），或没有设置反爬声明或采取反爬技术措施的各类商业网站，一般不限制爬取数据。但以上并不意味着爬虫技术可以任意爬取相关信息，以下信息将可能涉嫌非法爬取，建议您在爬取过程中需要格外注意： （1）当某网站声明了robots协议——即网络爬虫排除标准时，数据爬取方应当对robots.txt中所记载的禁...