Hi 王先生，

我们查询了相关法律法规，对爬虫技术的运用有如下建议：

首先，我们认为，爬虫本身不为法律所禁止，可采集公开信息，例如对外提供公开查询服务的网站的公开信息（如公检法机关、政府部门、事业单位的官网等），或没有设置反爬声明或采取反爬技术措施的各类商业网站，一般不限制爬取数据。但以上并不意味着爬虫技术可以任意爬取相关信息，以下信息将可能涉嫌非法爬取，建议您在爬取过程中需要格外注意：

（1）当某网站声明了robots协议——即网络爬虫排除标准时，数据爬取方应当对robots.txt中所记载的禁止爬取范围进行规避，若不遵守该协议，则可能面临法律风险。

（2）如果爬取的是某公司“内网”或后台内部数据

（3）可能涉及个人敏感信息或受法律保护的特定数据或信息等非公开的信息，则系违法行为。

（4）可能涉及相关商业秘密的信息；

（5）如果爬虫在爬取数据的过程中对相关网站造成干扰（例如使用网络爬虫频繁访问目标数据服务器，通过网络爬虫等技术手段破解目标网站的防抓取措施等），可能会构成不正当竞争，严重的话可能会涉及到刑事犯罪。

（6）如果爬虫具备绕过或突破对方反爬技术措施的功能，则易被认定为侵入计算机信息系统的程序；如果在数据抓取过程中实施了非法控制信息系统的行为，可能构成非法控制计算机信息系统罪。

综上，我们建议您在实施爬虫技术的过程中，需要注意以下事项：

第一，识别数据是公开数据、半公开数据还是内部系统数据，企业只能爬取公开数据或者其他两类数据中已获得明确授权的数据。

第二，如果目标网站有反爬虫协议，应严格遵守网站设置的 robots协议，尽量不予爬取或更换目标网站。

第三，即便爬取数据，也要说明数据来源。一方面，可以表明非恶意爬取；另一方面，预防数据本身存在问题。

第四，爬虫行为不能妨碍目标网站的正常运行，避免对相关网站造成频繁干扰，同时也避免非法绕过或突破对方反爬技术措施。

第五，在设置抓取策略时，应注意编码禁止抓取视频、音乐等可能构成作品的、明确的著作权作品数据，或者针对某些特定网站批量抓取其中的用户生成内容。

第六，在爬取过程中应避免爬取涉及个人信息、商业秘密或其他敏感信息的相关内容，依法遵守《个人信息保护法》、《数据安全法》等相关规定。

From Xu

———————

以上信息来自公司法务整理，仅供参考