本文共 3638 字，大约阅读时间需要 12 分钟。
本篇介绍：爬虫使用合规
本篇为第8篇/共9篇 上一篇： 下一篇：在离开前公司之后（2020.06），我来到新的公司担任安全部负责人，负责新公司的安全架构设计与安全体系建设，由于新公司的业务都是面向国内的，因此在建设隐私合规体系时，参照的都是国内的法律法规标准。本系列即以国内法律法规为基准，抛砖引玉，来探讨纯国内业务企业的隐私合规体系建设。
爬虫本质上是一套实现高效率下载的程序，可以通过遍历网络内容，按照指定规则提取所需的网页数据，并下载到本地形成互联网网页镜像备份。
在互联网时代，网络爬虫最大的意义在于高效的获取数据，完善的爬虫技术能够实现自动化的抓取网页数据，并进行网页数据的解析、存储等操作。基于此特性，爬虫最常见的应用场景为搜索引擎，如百度、谷歌等。
而我们今天所说的，是指未经消费者同意，通过爬虫恶意爬取个人信息的行为，此举如果被非法利用，会涉嫌违法违规收集个人信息，或窃取、滥用、买卖、泄露个人信息，侵害消费者的个人信息，造成不良社会影响。
非法获取计算机信息系统数据罪
《刑法》规定：行为人违反国家规定，侵入除国家事务、国防建设、尖端科学技术领域以外的计算机信息系统或采用其他技术手段，获取该计算机信息系统中存储、处理或传输的数据，达到情节严重的，即构成非法获取计算机信息系统数据罪。
在实践中，如果行为人通过爬虫技术，绕开网站设置的身份验证、访问频率限制等防爬措施，接入被爬网站的计算机信息系统，抓取被爬网站服务器中存储的非公开数据，即可构成本罪。
而对于情节严重的定义，主要包含以下五点：
1、获取支付结算、证券交易、期货交易等网络金融服务的身份认证信息十组以上的；
2、获取其他身份认证信息五百组以上的； 3、非法控制计算机信息系统二十台以上的； 4、违法所得五千元以上或造成经济损失一万元以上的； 5、其他情节严重的情形。非法侵入计算机信息系统罪
《刑法》规定，非法侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，构成非法侵入计算机信息系统罪。
在实践中，行为人通过爬虫技术获取如“国家企业信用信息公示系统”等政府网站数据的，因为该等网站属于国家事务类网站，如果使用爬虫侵入该等网站获取了非网站公开或授权的信息，又或者对该等网站的正常运行造成了不利影响，均可能构成本罪。
提供侵入、非法控制计算机信息系统的程序、工具罪
在实践中，行为人往往通过爬虫恶意绕开被爬网站设置的身份验证、频率限制等保护措施，非法获取被爬网站的数据信息。基于此，除直接使用爬虫的行为人之外，其他特定的行为人如果提供该等用来侵入计算机信息系统的爬虫程序，造成相应危害后果的，即可构成本罪。
刑法的其他规定
1、向他人出售或提供公民个人信息、窃取或以其他方法非法获取公民个人信息，并达到情节严重的，可构成侵犯公民个人信息罪。
2、如果行为人通过爬虫非法获取他人享有著作权的文字作品、音乐、电影、电视、录像、计算机软件几其他作品，并实施了通过信息网络向公众传播该等作品的行为，可构成侵犯著作权罪。
3、如果通过爬虫对计算机信息系统实施了非法控制的，可构成非法控制计算机信息系统罪。
4、如果对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，可构成破坏计算机信息系统罪。
5、如果爬取的数据信息属于被爬网站经营者的商业秘密，可构成侵犯商业秘密罪。
爬虫的价值在于更便利的获取数据，而如果行为人恶意使用爬虫抓取他人投入大量时间、精力收集、开发的数据并加以利用，换言之，也就是实施了我们常说的“搭便车”、“不劳而获”等行为，会对经营者依赖数据所形成的竞争力造成损害。
《反不正当竞争法》规定：经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或消费者的合法权益的行为。本法所称的经营者，是指从事商品生产、经营或提供服务的自然人、法人和非法人组织。
经营者之间是否存在竞争关系
使用爬虫的经营者与被爬的经营者之间是否存在竞争关系，是认定爬虫行为是否构成不正当竞争的前提。
在互联网环境下，经营者之间竞争的本质在于对网络用户的争夺，而不仅限于在同行业或相同业务领域之间的竞争，即使是不同行业、不同业务领域的经营者，只要双方之间存在对于相同网络用户的争夺，即可构成竞争关系。
是否存在不正当竞争行为
《反不正当竞争法》规定：不正当竞争行为是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或消费者的合法权益的行为。
在实践中，若他人通过投入大量的时间精力获取数据并生产相关产品或提供相关服务，而其他经营者未付出自己的劳动创造，直接通过爬虫抓取他人数据并加以商业化利用，从而取得本不属于其的商业利益与竞争优势，同时又削弱被爬企业产品对用户的吸引力，即构成不正当性。
总结
经营者之间是否具备竞争关系、是否实施了基于爬虫的不正当竞争行为、是否因此对被爬企业的合法权益造成了损害，这三个维度共同构成了认定爬虫行为是否构成不正当竞争、是否应该承担法律责任的要素。而根据《反不正当竞争法》规定，行为人实施了不正当竞争行为，给他人造成损害的，应当依法承担民事责任，包括对收到损害的经营者的赔偿责任。同时，实施不正当竞争行为，还可能受到监管部门罚款等行政处罚。
恶意爬虫对于网络与数据安全产生严重的威胁，行为人通过恶意爬虫绕开或破坏网站的防护措施，实施非法侵入网站系统的行为，大量爬取网站系统存储的数据，严重干扰网站的的正常运行，因此，恶意爬虫的行为整治就被提上日程。
《网络安全法》第27条规定：任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动；不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、窃取网络数据等危害网络安全活动的程序、工具；明知他人从事危害网络安全的活动的，不得为其提供技术支持、广告推广、支付结算等帮助。
同时，第63条也规定：违反本法第二十七条规定，尚不构成犯罪的，由公安机关没收违法所得，处五日以下拘留，可以并处五万元以上五十万元以下罚款。违反本法第二十七条规定，受到治安管理处罚的人员，五年内不得从事网络安全管理和网络运营关键岗位的工作；受到刑事处罚的人员，终身不得从事网络安全管理和网络运营关键岗位的工作。
基础合规要求
从合规使用爬虫，规避法律风险角度，应当注意严格规范数据爬取行为，控制数据爬取的数量和频率，避免破坏、干扰被爬网站的正常运行。具体而言，又可分为：
1、审查被爬网站是否具备Robots协议。遵守被爬网站中Robots协议的要求。对于爬虫使用而言，在被爬网站已经通过Robots协议明确告知爬虫的范围、方式、频率等限制时，应当避免绕开或违反被爬网站的Robots协议爬取数据；
2、避免突破、破坏网站的防护措施进行数据爬取。恶意爬虫可能会采取破解网站加密规则、伪造身份认证信息、非法获取权限等方式破坏网站设置的一系列防护措施。该等行为可被认定为非法侵入、破坏计算机信息系统、非法获取数据等违法犯罪行为。因此，爬虫行为应当以不破坏被爬网站的信息系统安全为前提；
3、合理控制爬虫频率，避免给被爬网站的运行造成过度负担。应当尽可能避免使用爬虫频繁、大量抓取网站数据，妨碍被爬网站的正常运营。
爬取个人信息的额外要求
对于爬取的数据，应当考察数据类别是否为公民个人信息。对于公民个人信息，应当避免未经用户事先授权同意直接爬取。值得注意的是，即便是爬取网站中公开的信息，如果其属于公民个人信息的，同样应当取得用户的授权同意，而不能以爬取的是已经公开的信息为由，未经用户同意直接爬取。
数据接收方如果间接获取他人通过爬虫取得的个人信息时，同样应当对他人通过爬虫获取个人信息的合法性进行一定的审查。如要求个人信息的提供方说明个人信息来源，并对个人信息来源的合法性进行确认，了解个人信息主体是否授权同意转让、共享等。数据接收方在获取个人信息后，如果在业务开展过程中所需进行的个人信息处理活动超出已获得的授权同意范围，应当重新征得个人信息主体的同意。
爬取商业数据的额外要求
如果爬虫抓取的数据类别属于网站运营者的商业经营数据，在对该等数据的获取、利用上应当着重考察是否存在搭便车等不当行为，避免被认定为构成不正当竞争。在具体应用场景下，可以首先考虑与被爬网站之间是否存在竞争关系，获取利用被爬网站数据的行为是否存在分流被爬网站用户、降低被爬网站竞争优势的可能。如果存在该可能的，应当谨慎使用爬虫获取被爬网站的数据。
本篇介绍：爬虫使用合规
本篇为第8篇/共9篇 上一篇： 下一篇：转载地址：http://fgeaf.baihongyu.com/