引言

数据抓取是企业获取数据资源的一种重要手段，它可以促进数据流动和共享，提升数据要素价值，助力数字经济发展。收集“第一手”数据的企业作为数据拥有方，在获取原始数据的同时付出了经济和时间成本，若数据抓取方企业“不劳而获”抓取此类数据，则侵犯了数据拥有方企业的数据权益，进而危害互联网行业的发展。此类数据抓取行为因具有竞争属性，可通过《反不正当竞争法》予以规制。适用《反不正当竞争法》对数据抓取行为是否构成不正当竞争进行认定并加以规制的方法有两种：一是利用商业秘密条款（《反不正当竞争法》第九条），二是通过一般条款（《反不正当竞争法》第二条）。但因法律的滞后性与模糊性，运用上述两种方法规制数据抓取行为尚不尽人意。

一、  适用商业秘密条款规制数据抓取行为

商业秘密条款可以适用于数据抓取行为，这在一些司法案例中已经得到确认。对数据是否构成商业秘密，要对数据的秘密性、保密性和经济性等要件进行分析。企业数据符合商业秘密构成要件的，数据抓取行为才会构成侵犯商业秘密的不正当竞争。

（一）  商业秘密条款对数据抓取行为的可适用性

数据在某些条件下可以被认定为商业秘密。在实践中，对于竞争对手的数据抓取行为，企业有时会以《反不正当竞争法》的商业秘密条款提起诉讼。比如在微博诉脉脉案中^①，原告北京微梦创科网络技术有限公司在合作的《开发者协议》中约定，用户数据属于微博的商业秘密，因而在一审起诉书中，微梦公司就以侵犯商业秘密为由，对北京淘友天下技术有限公司、北京淘友天下科技发展有限公司提起诉讼。以微博平台为例，微博以社交功能为基础，企业的数据尤其是用户数据已成为此类社交软件的核心竞争力所在，主打用户社交功能的企业通常会声称用户数据是辛苦运营得到的，整体上尚未公开因而应视作企业的商业秘密。

《反不正当竞争法》所称的商业秘密包括技术信息、经营信息等，范围非常广泛，辅之以数字化手段，现在企业的大部分技术、经营信息都是以电子化的形式存储在存储器中，非常容易被竞争对手通过技术手段攻破保护防线，夺取商业秘密。因而在大趋势下，如果数据抓取的对象数据符合商业秘密的构成要件，则可通过《反不正当竞争法》的商业秘密条款予以规制。

（二）  数据抓取行为违反商业秘密条款的认定

符合商业秘密构成要件的数据，可以通过《反不正当竞争法》的商业秘密条款对其加以保护。但前提是数据构成商业秘密，所以需要对数据的秘密性、保密性和经济性进行分析。数据抓取行为是否侵犯商业秘密，则需要利用“实质性相似+接触–合法性来源”规则加以综合判断。

商业秘密至少应该具有以下三个特征：秘密性、保密性和经济性。数据是否构成商业秘密，重点就在于认定数据的秘密性和保密性。认定秘密性的关键点是该商业秘密是否为公众所知悉，根据司法解释，此处的公众进行范围限缩，指所属领域的相关人员^②。至于爬虫抓取的数据是否属于商业秘密则应该分类讨论，要结合司法解释第三条中的“普遍知悉和容易获得”进行认定。不能被容易获得，说明该商业秘密是经过权利人辛苦劳动或付出一定代价后才能得到的劳动成果，所以才受到法律保护。结合实践，如果被爬取的数据可以通过其他手段轻松获得或者被爬取的数据本身就是通过简单爬虫获得，那么该数据就不符合秘密性要件。比如网络上开放的数据，很多网站可以免费访问，爬虫在访问此类免费开放的网站所抓取的数据不具有秘密性；个人用户在网站平台发布个人信息、作品等行为，也应当被视作公开。

“秘密性”是因为权利人对信息实施了具体保密措施，这种经保密的而实现的秘密状态才是商业秘密权利的保护目的所在，但秘密又不可能做到绝对保密，因此保密措施产生的结果是一个存在区间值的“秘密性”^[1]。故反不正当竞争法所认定的保密措施要结合商业秘密的载体性质、价值、保密措施与秘密的对应程度、秘密的可识别性等综合进行识别，即将保密的主观意识通过行为予以客观化再加以判断。在数据抓取过程中，被抓取方为证明商业秘密被侵犯，必须就自己对数据的保密措施进行证明。比如不开放的数据，不开放是因为数据拥有者采取相应技术手段对数据进行了防护，这就符合保密性特征。比如某些后台数据，只有网站有管理员通过密码登录的形式才能看到，这种密码登录的形式也属于保密措施的一种。再如，技术企业为保障数据安全，会采用数据库防火墙技术、数据存储加密技术等，这也是企业通常采用的保密措施。因而保密性的区间要结合具体的保密措施进行判断。

数据在构成商业秘密的前提下，才能够进一步论证数据抓取行为是否构成不正当竞争。《反不正当竞争法》第九条第一款新增了“电子侵入”手段，国家工商行政管理局于1995年提出了侵犯商业秘密的判断标准^③，简单概括就是“实质性相似+接触–合法性来源”。结合二者规定，权利人只要能证明数据抓取方的行为构成“电子侵入”和其所使用的信息达到实质性相似即可，侵入行为本身就隐含着接触之意思，也意味着非法。当然，在实际认定过程中，“接触”的证据提供比较困难。互联网背景下，技术高手能够通过隐藏IP地址、利用免费代理服务器IP等方式隐藏身份，因而数据被抓取方有时难以捕捉到抓取方痕迹。对实质性相似的认定则需要具体情况具体分析，特别是数据相似的认定，专业性较强，需要提交专门鉴定机构进行技术鉴定相似、相同的程度^[2]。 虽然司法界对“实质性相似”没有特别明晰的定义，但可以明确的是，实质性相似排除了其他可能性，即除了接触或者抄袭没有其他解释的可能。

二、  适用一般条款规制数据抓取行为

《反不正当竞争法》一般条款的灵活性和原则性使其成为兜底条款，适合于规制新型不正当竞争行为。数据抓取行为是否违反一般条款，需要考虑数据抓取是否经过被抓取方的授权、是否违反商业道德以及数据的后续使用是否合法。

（一）  一般条款对数据抓取行为的可适用性

一般条款的适用弹性较大，当穷尽《反不正当竞争法》其他条款无法规制数据抓取行为时，可通过一般条款对其予以规制。一般条款更具灵活性，这种灵活性就体现在法官能够结合案件情况，综合个案判断数据抓取行为是否构成不正当竞争。数据抓取行为尚未被法律类型化，对数据抓取行为的认定还比较模糊，无论是在构成要件还是行为界限方面，法律都还没有明确规定。这种情况下，个案判断无疑是一种兼具灵活性和专业性的方式。加之数据抓取本质上是为了提高信息获取的效率，使主体能够在繁杂的网络信息海中获得所需数据，因而不能一概否定。对于新生技术，在法律规制的同时需要对其加以包容，以一定方式促进其发展，而能够个案判断的《反不正当竞争法》就可以做到规制与促进创新的平衡。

学界对《反不正当竞争法》第二条能否构成一般条款存在争议。有学者认为需要依法规制的不正当竞争行为仅限于该法第二章所罗列的行为，其他不正当竞争的行为需要另有法律认定^[3]。 但随着社会发展，市场交易情况日新月异，许多新发不正当竞争行为不能被《反不正竞争法》所涵盖。为了适应社会新形势，各级法院都对第二条进行扩张解释，从历年来各法院运用第二条的案件数量就可见一斑^[4]，因而通过一般条款对数据抓取行为加以规制具有实践先行性。

（二）  数据抓取行为违反一般条款的认定

首先，抓取行为未经数据被抓取方的授权可能构成不正当竞争。在数据定位和数据权属并不明确的情况下，我国法院在实践中开创了一些审判原则，对分配实务中的数据权益作出了尝试。如在微博诉脉脉案中，法院就提出了三重授权原则。针对Open API的开发合作模式，法院认为第三方通过Open API通道获取用户信息时，要遵循“用户授权+平台授权+用户授权”三重授权模式，第三方平台获取数据控制方的用户数据时（数据控制方获得用户数据的前提是已经得到用户同意），不仅要得到数据控制平台的授权，同时也要得到用户的授权同意。用户能够拥有对数据的权益，是因为个人数据具有人身属性，对个人数据的任意抓取可能侵犯隐私。三重授权原则缓解了数据权益分配的矛盾，却没有从根本上解决问题。2017年，新浪微博起诉今日头条，诉称今日头条在其“微头条”业务中自动同步微博用户发布的内容信息，涉嫌不正当抓取用户信息^[5]。 此案中，今日头条同步的是微博用户的发言信息，并没有抓取用户的注册信息，而用户的发言内容明确属于用户。此外，今日头条在同步用户发布的内容时明确经过了用户同意，这点与微博诉脉脉案不同^[6]。 三重授权原则旨在实现企业竞争利益和用户隐私的双重保护目的，但在用户明确同意第三方获取的前提下，数据控制平台是否有权禁止第三方获取用户信息呢？三重授权原则适用的类案化范围界限又如何划定？审判实践只是粗略地提出了一个数据授权使用的框架，三重授权原则尚需要细化适用规则。

其次，违反Robots协议的数据抓取行为并不一定违法^④。 现今各大网站通常都会在站点根目录下设置Robots协议来指引爬虫行为。在我国，有关Robots协议最著名的案例当属百度公司诉奇虎公司不正当竞争案^⑤。该案所引申讨论热点——公认的行业惯例或行业准则能否体现商业道德，进而利用行业惯例分析竞争行为的正当性。一审法院认为Robots协议已然构成行业惯例，搜索引擎在抓取内容时都约定俗成遵守协议，然而并不能据此就认为Robots协议体现商业道德。法院认为设立Robots协议的初衷是为了更好地促进信息交流和共享，主要发挥“善意的指引”之作用。Robots协议的创始人Martijn Koster对Robots协议的定位也是如此，它绝不是用来阻止机器人访问特定内容，也不是为了保证访问的机器人将遵守robots.txt指令^[7]。 Martijn Koster曾向国际组织IETF（The Internet Engineering Task Force，互联网工程任务组）提交将Robots协议作为组织规范的申请，但被该组织拒绝，因为专家组担心大型搜索公司会为了维护其市场垄断地位而滥用Robots协议^[8]。 毫无疑问，Robots协议存在被滥用的可能性，所以不存在天然正当性。百度公司无正当理由将奇虎公司的搜索引擎排除在Robots协议外，是一场发动自身优势地位而进行的商业打击。因而二审法院在终审判决中结合《互联网搜索引擎服务自律公约》第八条对百度Robots协议内容加以评价^⑥，认为百度公司限制奇虎公司数据抓取的行为不具备正当理由。判决还对正当理由进行了列举：如保护用户隐私、维护网站正常运行、保护社会公共利益等^⑤。设置Robots协议已然成为行业惯例，但是协议的内容必须遵守公平、开放、促进信息流动等原则，符合这些要求的协议内容才能够成为商业道德的认定要素。

对行业惯例能否体现商业道德，学界也有过讨论。大多数学者都赞同将行业惯例作为商业道德认定的一种参考因素而非决定因素。行业惯例约定俗成，可行业惯例并不一定就是“善”的，如酒店“禁止自带酒水”的这种惯例本身就不正当^[9]。类似情况下，行业惯例可能是行业具有优势的一方为维持自身优势地位而制造的准则。行业中的弱势一方不具备与强势者谈判的能力，只能被迫接受这种“惯例”，“惯例”实质上可能是一种垄断。因而“惯例”只能体现行为的数量和行业的倾向性，普遍存在并不能成为合理化的理由^[10]。行业惯例有好有坏，坏的行业惯例不能被作为具体化的商业道德。但要判断行业惯例是否为“善”，无疑是在一个价值判断之中纳入另一个价值判断。这种惯例的好坏需要智识的判断和时间的检验，仍然具有难度。

再次，数据后续使用行为构成实质性替代可能构成不正当竞争。单就数据抓取行为看，数据抓取是前置行为，不包括后续的使用行为。除非数据抓取行为违反商业秘密条款，对抓取行为的合法性认定如果不联系后续的使用行为，在竞争法意义很难单独评价前置的数据抓取行为，因而对被抓取数据的后续使用也应包含在对数据抓取行为合法性认定的因素之中，目的在于评价行为主体是否存在主观恶意。通常情况下被抓取数据的后续使用行为会侵害数据被抓取方权益，夺取竞争优势，这也是被抓取方向法院起诉的重要原因。数据抓取的后续使用行为包括抓取竞争者数据用于开发同类产品^⑦、将抓取的数据内容发布在自身平台^⑧、抓取竞争者用户数据并夺取他人用户等^①。 判断数据抓取的后续使用行为是否正当，要进行数据使用的实质性替代判断。实质性替代是指数据抓取方抓取数据之后，对数据的不正当使用使得双方提供的服务和信息存在“实质替代”，这种实质替代主要体现在截流了数据被抓取方的消费者，使得对方的流量或者点击率减少^[11]。 在汉涛诉百度一案中，法院认为，百度虽然只抓取使用了大众点评网某商户评价下的几十或几百条信息，但是已经足以构成对大众点评网该商户评价的实质性替代，因为对大多数用户而言，十几条评论就能够满足了解需求^⑧。而通过阅读百度所提供的信息，用户不再需要去大众点评网站查看信息，因而百度实质上截流了大众点评网的用户和流量，攫取了大众点评的劳动果实。数据抓取方抓取数据的目的可能就在于推出和数据抓取方相同的服务，和被抓取方形成竞争关系，此时这种后续数据的利用行为就构成不正当竞争。

三、  反不正当竞争法规制数据抓取行为存在的困难

实践中已然出现利用反不正当竞争法规制数据抓取行为的案例，但相关法律适用依然存在困难。首先是在行为认定方面，部分数据可能不满足商业秘密构成要件；而利用一般条款规制数据抓取行为，又存在标准不统一、法官自由裁量过大的问题；再者，本应发挥作用的执法机构也存在监管不到位的情况。

（一）  商业秘密条款的适用条件较高

用商业秘密途径对数据抓取行为进行规制，最大的争议在于秘密性要件的认定，数据要达到什么程度才可以被认定为是一种秘密？商业秘密与其他权益最大的不同是“不为公众所知悉”，秘密性是其首要的构成要件。有学者认为互联网企业在运营过程中收集的数据，不一定具有秘密性。以新浪微博为例，有人认为新浪微博的用户头像、昵称和身份信息等，基于微博的社交属性，用户的个人信息是部分公开的，在此层面上，很难说该部分的用户数据具有秘密性^[12] 。 但也有学者持不同意见，认为尽管单个用户的信息具有公开性，但海量用户信息的汇集结果不是其他企业能够轻易得到的，换言之，用户数据的汇集也经过了创造性的劳动^[13]。 故而对于企业在经营过程中收集到的数据，其秘密性存在争议。目前学界尚无法达成统一意见，司法实践对这一部分数据的性质认定也较为模糊。在新浪微博诉脉脉案中，微博也提出了侵犯商业秘密的诉讼请求，但法院最后还是依照《反不正当竞争法》一般条款进行判决，由此可见，利用商业秘密条款仍存在一定争议。

即使将数据是否具有秘密性的争议搁置一旁，利用商业秘密途径对数据进行保护仍然存在其他问题。首先，商业秘密存在侵权取证困难的问题。根据“实质性相似+接触–合法性来源”的取证认定标准，对数据构成商业秘密的接触认定，相较于传统商业秘密的接触认定，难度更大^[14]。 互联网行业的技术性较强，占据技术优势的一方很容易通过技术手段抹除侵权痕迹，给权利人的证据收集带来困难；其次，如若在证据方面不能构成对侵权人的压倒性优势，权利人不仅要承担败诉的风险，更重要的是将失去市场竞争优势；最后，就数据本身特性而言，数据存在流动的特性，将数据“秘密化”可能导致信息封闭，进而使得各数据寡头根据自身优势进行数据垄断，这对互联网数据市场的发展可能产生不利影响。

（二）  一般条款缺乏细化标准

一方面，《反不正当竞争法》一般条款的抽象性增强了其对新型不正当竞争案件的容纳程度，使得该法更具有弹性和灵活性，当某一类案件新出时，一般条款的兜底作用发挥明显。但另一方面，一般条款适用标准的缺乏极易导致法官自由裁量的滥用。当这一类案件数量激增，法律却没办法提供案件裁判的具体标准，那么裁判标准只能由法官自己提供，出现“一万个哈姆雷特”的情况。

由于缺乏具体的认定标准，从一般条款出发对数据抓取行为加以规制，通常论证抓取行为是否违反诚实信用原则或商业道德，而诚实信用原则和商业道德往往是一体两面。互联网商业道德的认定比较困难。首先，与传统行业相比，互联网行业技术更迭快，技术快速更迭促进互联网行业规则更迭。中国互联网发展的时间尚短，互联网市场中的行业规则尚在形成的过程中，新产生的行业准则也正处在变动期，这些新兴的行业准则能否表现商业道德有待商榷。其次，传统商业道德具有强烈的地域特性，它的精神内核是由地域范围内的利益群体决定，因而从生成到发展都具有特定的“地方情境”，但互联网的诞生突破了这种地域性^[15]。互联网将全球连结在一起，个人之间、企业之间可以跨国进行交流，这使得社会道德的内涵交叉融合，不同国家间竞争行为标准的交流也间接促使了商业道德的内涵变化。如2004年之前的《德国反不正当竞争法》将是否遵守“善良风俗”作为竞争行为评价标准，匈牙利《竞争法》中行为的正当性被解释为“竞争者群体中的‘良好风尚’”，而意大利《民法典》一般条款中的“正当”被解释为那些有关适合调整市场竞争的道德规范^[16]。不同国家商业道德的内涵不同，特别是在涉外不正当竞争的案件中，不同商业道德相互冲突时，这种地域性就会体现得更加强烈。

再者，用商业道德来评价竞争行为需要有论证和具体化的过程。从抽象到具体的过程中，法官究竟如何具体化商业道德也是一个问题。商业道德不像法律规范以明文的形式存在，它就像社会道德规范一样存在于市场主体的日常交易行为之中。审判机关游离于日常市场交易之外，作为默示行为规范的商业道德如何能够进入法官视野，又以何种方式被法官发现呢？到了法律具体应用阶段，司法创设具体规则的方式得到实务界青睐，“三重授权原则”就是司法创设具体规则的典型例子。但部分学者对“三重授权原则”表示质疑，反对者主要从限制竞争和阻碍数据流通方面批评该原则。如有人认为，互联网具有很强的外部性和锁定效应，用户如果想要更换产品需要付出很高的学习成本，因此互联网产品的“先发性”十分重要，提供同质产品的后发企业无法取代原先企业^[17] 。并且如果让先发企业拥有信息流动的决策权，则后发企业进入相关领域的难度将变大，这可能会导致数据行业垄断。还有学者从效益决策模型出发，认为“三重授权原则”并不高效，而且法院在审理过程中过分注重双方签订的《开发者协议》，这种私法协议有可能成为技术壁垒，存在阻碍技术创新的风险^[18]。 反对意见大部分忧虑于数据控制平台在拥有数据流通的决定权后，会反过来阻碍数据流通，这并非空穴来风。因而从实践效果看，司法创设的规则在学界可能会引起比较大的争议，这些规则的实施效果也还有待观察。

（三）  反不正当竞争执法机构监管不到位

从监管层面来说，反不正当竞争执法机构的监管不充分。《反不正当竞争法》第四条规定，不正当竞争行为的监管机构为县级以上人民政府履行工商行政管理职责的一般监管部门（即各地市场监督管理局）或其他法律、行政法规规定的特殊监管部门。该条引发了对反不正当竞争执法管辖权的争议。对“法律、行政法规规定”的例外授权观点，分为“具体授权论”“概括授权论”和“双重授权论”^[19]。 “具体授权论”认为只有法律法规明确授予有关部门执法管辖权时才能排除市场监督部门的管辖。而“概括授权论”则认为，法律法规只要概括性地授予主管部门对不正当竞争行为的查处权就能排除市场监督管理局的管辖。“双重授权论”则认为市场监督管理局和主管机关都有执法权，由首先实施执法行为的机关获得执法权。互联网企业所涉行业众多，牵涉面广，加之竞争关系认定的广义理解，数据抓取行为所牵涉的双方或者多方极有可能处于不同行业，继而导致不同主管机关都有执法管辖权，产生多头执法的情况。如此，执法机构之间容易出现职能交叉、权责不明、相互推诿的情形，例如不同监管主体执法依据不同的法律，导致同一违法行为因为适用不同法律而有不同处罚结果。加之数据抓取行为隐蔽性较强，发生时间较短，执法机关难以及时发现并进行监管。这些监管上的不足显然使得对数据抓取行为的行政规制无法达到理想要求。

四、  反不正当竞争法规制数据抓取行为的完善建议

数据抓取行为有关案例较多、典型案例影响较大，已经初步具备“类案”的规模，因而应将其纳入“互联网专条”规制范围，再结合商业秘密条款、“互联网专条”和《反不正当竞争法》一般条款分层次地规制数据抓取行为，多因素综合判断数据抓取行为合法性。同时还要加强反不正当执法机构的监管，提升执法能力。

（一）  将数据抓取行为纳入“互联网专条”的规制范围

从实践效果看，现《反不正当竞争法》第十二条即“互联网专条”没能完全涵盖互联网新型不正当竞争行为。该条以“总括+示例+兜底”的形式规定了互联网不正当竞争行为。互联网专条列举的插入链接、强制跳转等行为，因其在市场竞争过程中频发，已经形成“类案”，比较具有典型性、代表性。除去列举的行为，其他不正当竞争行为则应该通过兜底条款加以规制。问题在于兜底条款仅以妨碍、破坏其他经营者的正常经营活动为标准，其要素过于简单^[20]。 实践中该兜底条款要么被不当扩大适用，要么就是无法囊括新型不正当竞争行为。妨碍、破坏需要进行界定，对竞争对手的干涉达到何种程度才算妨碍、破坏缺少具体标准，显得过于抽象。且妨碍、破坏是在技术层面对行为界定，较少关注对行为正当性的界定，缺少行为认定的要件^[21]。 比如数据抓取行为不一定会造成破坏或妨碍其他经营者正常经营的结果，但是却又可能夺取其他经营者的竞争优势，对其权益造成损害。所以，为规制互联网不正当行为的“互联网专条”实际上在数据抓取领域是缺位的，没有发挥其应有的作用。

就主体而言，数据抓取行为的主体涉及网络用户、网络平台和网络经营者；就技术而言，数据抓取行为是依托互联网技术进行；就行为空间而言，数据抓取行为寄生于互联网空间^[21]。 从各个角度来看，数据抓取行为都应该被纳入“互联网专条”的规制范围。因而可以明确数据抓取行为构成要件，在“互联网专条”中增加规制数据抓取行为条款。

（二）  多条款联合规制数据抓取行为

将数据抓取行为纳入“互联网专条”之后，联合商业秘密条款能够更好规制数据抓取行为，两个条款分别规制数据抓取的不同阶段。商业秘密条款主要规制数据的获取阶段，数据抓取主体的“侵入”行为可能构成对商业秘密的侵犯。而“互联网专条”则更多对应数据后续利用阶段，也许数据主体抓取数据的行为并没有损害被抓取方的竞争利益，但是数据的使用行为可能构成对受众用户或者其他竞争利益的争夺。

从适用的逻辑性而言，商业秘密条款优先适用。当部分数据可能不符合商业秘密构成要件，或者从商业秘密路径论证侵权存在困难时，数据被抓取方可以转向互联网专条寻求救济。只有当商业秘密条款和“互联网专条”都无法规制时，最后才转向《反不正当竞争法》一般条款寻求救济，这也是一般条款谦抑性的体现。

（三）  多因素综合判断数据抓取行为合法性

“互联网专条”新增的数据抓取行为，司法解释可以明列以下几个方面，作为判断其正当性的参考因素：

1. 数据是否公开。分为两种情况，一是网站数据是无差别公开的，不需要用户登陆或者通过网站的其他授权方式，那么数据抓取可能不构成不正当竞争。如果抓取数据后，数据的后续使用行为侵犯了其他竞争者的竞争利益，则可通过“互联网专条”中设想的数据抓取不正当竞争规定予以规制。二是数据是半公开或者不公开的，此种情况网站一般会设置一定的门户访问权限，如需要用户名和密码登陆，采取特定的技术手段对访问加以限制或完全禁止访问，如果爬虫未经允许抓取此类数据也可能侵犯商业秘密。美国hiQ公司诉LinkedIn公司案中^⑨，加州法院将网络上的开放空间与封闭区间进行了划分，认为爬取公开信息是合法的，如果某个网站允许公众对其进行访问，那么访问这些公开可得的数据不会构成“未经授权”的行为。

2. 确认抓取行为是否经过授权或是否超越授权。抓取行为是否经过授权是证明行为正当性的重要参考因素之一，这也是从技术层面对抓取行为的定性。美国部分法院将“授权”与身份验证系统（如密码保护）挂钩，只有当通过绕过身份验证要求获得访问权限时，才应视为跨越授权行为^[9]。“授权”可以通过双方之间的合同（授权委托书）、账号密码的授予等予以明证。实际上数据公开和数据授权是一体两面，不公开或半公开的数据一般要授权，而无差别公开的数据一般不需要经过授权就能抓取。至于Robots协议，目前来说仅能作为判断数据抓取行为正当性的一个参考因素，毕竟Robots协议诞生的初衷就是为了缓解网站访问的压力，其目的并不在于阻止访问。因而对网站的Robots协议和声明，还要结合网站行为进行综合判断，以防止出现网站所有者无正当理由限制竞争的情形。

3. 数据后续使用是否构成实质性替代。实质性替代的判断是审查数据抓取行为不正当性的关键点。实质性替代最初应用于版权领域^⑩，但在数据抓取领域也可以借鉴该标准，即抓取数据后的后续使用减少了被抓取方的用户浏览量，而这部分用户或流量则被实施数据抓取行为一方所占有，这就可能构成替代。“实质性替代”是一种客观事实，不以相似度为判断标准，因而要从用户角度出发，结合用户的信息获取和使用习惯综合考虑。

4. 对数据权益进行利益分配。企业的数据权益分为两类：一类是与他者无关，直接由企业自行产生的数据，包括企业的经营数据、产品信息、商业秘密等；另一类是与他者有联系，但企业参与了数据的收集和加工（如用户数据）。第一类数据，企业可以完全支配其占有、处分、收益等权益。涉及用户数据时，将可识别的原生用户数据权益主要分配给用户，除此外还存在可识别的衍生数据、不可识别的原生数据和不可识别的衍生数据。可识别衍生数据因为可能存在侵犯用户可能，需经用户同意，同时因为衍生数据的缘故，企业付出了较大劳动，也需要经过企业允许才可抓取。不可识别的原生数据和不可识别的衍生数据，因为其不可识别性，所以并不会侵害用户隐私，因而将此类数据的权益主要分配给企业。

（四）  加强反不正当竞争执法机构监管

发挥反不正当竞争部际联席会议的作用。各行业都可能存在数据抓取行为，而“概括授权论”所主张的管辖势必加剧各主管机关之间的监管乱象。目前，国务院已同意由市场监督总局牵头建立反不正当竞争部际联席会议制度^⑪，故应发挥市场监督管理总局的总体领导与协调作用，在其统一指导下，协同部门一起治理数据抓取行为。市场监督总局可定期召开部际联席会议，确定数据抓取行为合法与违法界限，开展针对数据抓取行为的专题整治活动。通过统一协调各部门对数据抓取行为的监管职权，确定各部门监管职责，有效减少因职权不明或职权重合而引发的部门工作冲突问题。

创新对数据抓取不正当竞争行为的监管方式。首先，促进线上线下联合监管。数据抓取行为以互联网平台作为发生场所，因其行为特性，监管机构可利用大数据、人工智能等手段，及时对违法行为进行分析预测。其次，反不正当竞争执法部门要及时更新执法设施，引进网络监测和电子取证设备以应对发现难、取证难等问题^[22]。 通过装备和技术升级，及时保留电子证据，实现监管和执法能力的升级。最后，可创建重点监测企业名单，把曾实施过数据抓取不正当竞争行为的企业主体作为监管机构的重点监测对象。

此外监管机构还可以引入新兴处罚手段。鉴于反不正当竞争执法的事后救济的手段过于单一，不能够有效弥补数据被抓取方所受损失，有学者提出行为罚和声望罚两种新的处罚手段。前者是限制一段时间内主体的数据开发使用行为，从而冲抵因不当竞争行为所建立的优势；而后者则是对不正当竞争行为进行公示，起到降低企业形象作用^[23]。这两种处罚相对一般处罚手段而言，可以有效填补数据被抓取方所失去的竞争优势，对数据抓取不正当竞争行为更具针对性也更有效。

五、  结语

针对数据抓取行为，可以依据《反不正当竞争法》商业秘密条款和一般条款予以规制，但尚不充分。对此，运用《反不正当竞争法》规制数据抓取行为的路径可以完善为：先尝试利用商业秘密条款对数据抓取行为进行规制；若涉案数据不符合商业秘密构成要件，但存在数据的后续使用行为，则诉诸“互联网专条”；只有当以上两个条款均不达时，才选择适用一般条款。在监管方面，则要加强反不正当竞争执法机关作用，明确监管主体和监管职责，发挥反不正当竞争部际联席会议的作用，创新监管方式，引入行为罚和声望罚等处罚手段，提升执法能力。

注释

① （2016）京73民终588号。该案中，新浪微博和脉脉公司签订了基于新浪微博开放平台的《开发者协议》，通过微博平台开放应用编程接口（Open API）展开合作。微博认为在合作期间，脉脉违反了《开发者协议》，违法抓取新浪用户的职业和教育信息，且在合作终止后脉脉软件仍大量使用非脉脉用户的微博用户信息，构成不正当竞争。

② 《最高人民法院关于审理不正当竞争民事案件应用法律若干问题的解释》第九条。

③ 《关于禁止侵犯商业秘密行为的若干规定》第五条第三款：权利人能证明被申请人所使用的信息与自己的商业秘密具有一致性或者相同性，同时能证明被申请人有获取其商业秘密的条件，而被申请人不能提供或者拒不提供其所使用的信息是合法获得或者使用的证据的，工商行政管理机关可以根据有关证据，认定被申请人有侵权行为。

④ 数据抓取行为中，Robots协议是一个重要概念。Robots协议又被称为机器人协议、爬虫协议，它是网站和搜索引擎交互的一种方式，将Robots协议放置于站点根目录后，爬虫在就会按照文件的内容确定访问范围。

⑤ （2017）京民终487号。该案中奇虎诉称，百度自2012年以来一直在其相关网站的Robots协议中排除360搜索引擎爬虫，导致360无法抓取这些网站的内容，因而奇虎公司认为百度公司的行为是在限制竞争。

⑥ 《互联网搜索引擎服务自律公约》第八条：互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。

⑦ 如在“酷米客”诉“车来了”案中，“车来了”抓取“酷米客”的实时公交数据，向用户提供公交的实时位置信息。详见（2017）粤03民初822号。

⑧ 如汉涛诉百度案，详见（2015）浦民三（知）初字第528号。

⑨ 该案中，hiQ通过抓取Linkedin上的用户公开数据进行数据分析，进而为企业提供员工信息（告诉雇主录用哪些雇员风险较大和提供单个员工的技能分析），帮助企业在就业市场上挑选员工。Linkedin公司5年里一直没有反对hiQ的抓取行为，直到2017年，Linkedin希望利用自身数据资源提供与hiQ类似的服务，因而向hiQ公司发出声明要求停止数据抓取行为。

⑩ 最高法院在2012年发布的《关于审理信息网络传播权民事纠纷案件适用法律若干问题的规定》第五条中规定：“网络服务提供者以提供网页快照、缩略图等方式实质性替代其他网络服务提供者向公众提供相关作品的，人民法院应当认定其构成提供行为。”

⑪ 《国务院办公厅关于同意建立反不正当竞争部际联席会议制度的函》，国办函〔2020〕107号。