免费爬虫网站有哪些软件网络爬虫技术爬取数据的法律风险及合规建议简单的爬虫软件墙裂推荐，

“网络爬虫”技术在搜索引擎上的运用由来已久。大数据时代的来临，使得数据价值越来越凸显，为了更加便利或者成本更低地获取数据，该项技术的运用范围越来越广泛。但随之而来的，不仅仅是信息共享带来的便利，也引发了诸多法律上的问题。“网络爬虫”技术的合法边界在哪里，我国法律并未明确规定，司法实践中对此也有不同认定。

一、网络爬虫与Robots协议

Robots协议全称Robots Exclusion Protocol，是一种存放于网站根目录下的文本文件，当网络爬虫程序访问一个网站时，通过阅读这个网站设置的Robots协议将会被告知该网站的哪些内容是可以被爬取的，哪些内容是不允许被爬取的。目前，法律并不认可Robots协议是属于具有法律约束力的协议范畴，一般仅被看作是一种行业自律的共识，属于商业道德范畴。中国互联网协会在2012年11月01日发布的《互联网搜索引擎服务自律公约》中第七条规定了中国互联网协会会员单位和自愿加入《中国互联网行业自律公约》的互联网从业单位应当遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots协议）。

二、非法爬取的数据范围

“网络爬虫”技术的合法边界问题即是哪些爬取行为或者数据范围是合法的，哪些爬取行为或者数据范围是非法的。一般认为，下列爬取行为或者数据范围是非法的，是应当被禁止的。

（一）爬取有反爬声明的网站数据

当某个网站声明了robots协议——即网络爬虫排除标准时，数据爬取方应当对robots.txt中所记载的禁止爬取范围进行规避，若不遵守该协议，则可能面临侵权或者不正当竞争的法律风险。

（二）爬取网站非公开信息数据

如果爬取的是某公司“内网”或后台内部数据，采集的是非公开的信息，则系违法行为。

（三）爬取网站受法律保护的信息或数据

如爬取对方网站合法收集的个人敏感信息、对方公司受法律保护的特定数据或信息的，也属于非法行为，此种行为涉嫌侵犯商业秘密。另外要注意的是，如果爬虫在爬取数据的过程中对相关网站造成干扰，可能会构成不正当竞争。

（四）当爬虫爬取数据的行为对目标网站造成严重影响，爬取行为具有社会危害性时，可能触犯刑法，涉嫌犯罪。

三、网络爬虫技术的法律风险

（一）刑事法律风险

1、非法获取计算机信息系统数据罪

若爬虫程序使用者利用爬虫程序侵入计算机信息系统，获取计算机信息系统中存储、处理、传输的数据，情节严重的，可能构成非法获取计算机信息系统数据罪。

根据《刑法》第二百八十五条，违反国家规定，侵入国家事务、国防建设、尖端科学以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，情节严重的，构成非法获取计算机信息系统数据罪。

《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》第一条规定了构成非法获取计算机信息系统数据罪情节严重的四种情形：

（1）获取支付结算、证券交易、期货交易等网络金融服务的身份认证信息十组以上的；

（2）获取第（1）项以外的身份认证信息五百组以上的；

（3）违法所得五千元以上或者造成经济损失一万元以上的；

（4）其他情节严重的情形。

达到情节特别严重的两种情形：

（1）达到“情节严重”情形第（1）至（3）项规定标准的五倍以上的；

（2）其他情节特别严重的情形。

2、非法侵入计算机信息系统罪

若爬虫技术使用者使用爬虫技术侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，可能构成非法侵入计算机信息系统罪。

根据《中华人民共和国刑法》第二百八十五条，违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，构成非法侵入计算机信息系统罪。

3、破坏计算机信息系统罪

如果使用网络爬虫频繁访问目标数据服务器，对目标网站的正常运行造成干扰，导致其访问流量增大、系统响应变缓，影响正常运营的，也可能构成破坏计算机信息系统罪。

4、侵犯公民个人信息罪

若使用爬虫程序爬取了公民个人信息并向他人提供或出售的，则可能构成侵犯公民个人信息罪。

根据《刑法》第二百五十三条规定，窃取或者以其他方法非法获取公民个人信息情节严重的，构成侵犯公民个人信息罪。

《最高人民法院、最高人民检察院关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第五条规定了达到情节严重的六种情形：

（1）非法获取行踪轨迹信息、通信内容、征信信息、财产信息五十条以上的；

（2）非法获取住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上的；

（3）非法获取（1）或（2）规定以外的个人信息五千条以上的；

（4）违法所得五千元以上的；

（5）两年内因非法获取公民个人信息受过刑事处罚的；

（6）其他情节严重的情形。

达到情节特别严重的四种情形：

（1）达到“情节严重”情形第（1）至（4）项规定标准的十倍以上的；

（2）造成被害人死亡、重伤、精神失常或者被绑架等严重后果的；

（3）造成重大经济损失或者恶劣社会影响的；

（4）其他情节特别严重的情形。

（二）民事法律风险

1、构成不正当竞争风险

爬虫程序使用者未经他人授权，擅自利用网络爬虫技术大量无偿获取他人网站或APP信息数据并用于同类或类似的网站、APP，可能被法院认定为违反商业道德和诚实信用原则，构成不正当竞争行为。

根据《中华人民共和国反不正当竞争法》第二条规定，经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序，即构成不正当竞争。

2、侵犯信息网络传播权

在利用爬虫技术对他人享有独占的信息网络传播权的作品进行爬取并在互联网进行传播的行为可能构成侵犯他人信息网络传播权。

根据《中华人民共和国著作权法》第四十八条的规定，未经著作权人许可，复制、发行、表演、放映、广播、汇编、通过信息网络向公众传播其作品以及未经著作权人或者与著作权有关的权利人许可，故意避开或者破坏权利人为其作品、录音录像制品等采取的保护著作权或者与著作权有关的权利的技术措施的，应当根据情况，承担停止侵害、消除影响、赔礼道歉、赔偿损失等民事责任。

《最高人民法院关于审理侵害信息网络传播权民事纠纷案件适用法律若干问题的规定》第三条规定，网络用户、网络服务提供者未经许可，通过信息网络提供权利人享有信息网络传播权的作品、表演、录音录像制品，除法律、行政法规另有规定外，人民法院应当认定其构成侵害信息网络传播权行为。

四、网络爬虫技术爬取数据的合规建议

1、注意分析被爬取网站、软件设置的Robots协议以及对于数据信息的技术保护措施，应注意遵守Robots协议，不对被爬取的网站、软件为保护数据而设置的技术保护措施进行破解。

2、在利用爬虫程序对网站、软件内容进行爬取时，应当注意爬取的方式，控制访问量、采取技术措施避免干扰被访问网站、软件的正常运行。

3、在选择爬取对象时应当注意甄别爬取对象，禁止对涉密国家事务、国防建设、尖端科学技术领域的网站和计算机信息系统进行爬取。

4、注意识别抓取数据的性质，对于公民个人隐私数据要避免抓取，若需要获取公民的个人信息，应当征得其同意。

5、若需要抓取同类型或与自身有竞争关系企业的网站信息，应当注意考量爬虫信息的使用范围和方式以及对被爬企业造成的影响，考量对数据的使用是否会对被爬企业的业务造成实质性替代，是否会造成其市场份额和客户的减少、造成被爬企业现实的或预期的利益损失，并谨慎利用所爬取的信息。

6、在使用爬虫软件爬取网页信息时，应注意谨慎抓取视频、音乐等可能构成作品的或有明确的著作权作品的数据。在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。

7、在接到权利人关于侵权的投诉或通知时，应当及时进行核实，若确实侵犯他人权利应立即采取措施，不应继续侵害权利人权益。

作者介绍

皮立城律师，兰州大学法学学士和法学硕士，中共党员，具有证券从业资格、基金从业资格，并通过了中国注册会计师考试部分课程，是一位法律、财会、税务、金融复合型律师。

皮立城律师现为北京市京师（武汉）律师事务所企业法律顾问中心主任，主要研究方向和业务领域为企业合规、企业法律顾问、企业股权与合同、企业投资与并购、破产与重整。