我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K 哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。
案情介绍
2011年1月微信问世，腾讯公司经过持续投入，构建起包括微信平台、微信个人用户、开放平台、微信支付、小程序等产品功能和服务，构建起包括微信平台、微信个人用户、公众号运营者、第三方服务商等多角色主体共同参与的微信生态系统。为了保障微信生态系统的健康发展，维护包括微信公众平台在内的运营秩序和用户信息安全，保证良好的用户体验，腾讯公司作为平台经营者和管理者，通过在微信公众平台官网（https://mp.weixin.qq.com）设置 robots 协议，禁止任何第三方通过爬虫技术抓取微信公众号平台信息内容及数据，制定并公示了各种微信平台规则对微信公众平台信息内容及数据资源安全进行保护。
被告系“极致了”（www.jzl.com）产品的经营者斯氏（杭州）新媒体科技有限公司，未经腾讯公司许可利用爬虫技术非法抓取微信公众平台信息内容及数据，并对外提供公众号及其文章的搜索、公众号导航及排行、公众号数据抓取、公众号数据分析等微信公众号数据服务。
原告认为，被告的行为系利用非法抓取的微信公众号源网页信息内容和数据，通过简单的统计和分析后对外提供微信公众号数据服务的寄生经营行为，重构了微信公众号的数据评价体系，违背了微信公众平台产品设计逻辑和运营原则，损害了微信平台生态系统的健康，损害了原告的商业利益，具有不正当性。
法院观点
原告腾讯公司和腾讯科技公司系微信公众平台的经营者和管理者，被告斯氏公司是“极致了”网站经营者。原告在微信公众平台官网设置了 robots 协议，禁止任何第三方通过爬虫技术爬取微信公众号平台信息内容及数据，制定并公示了各种微信平台规则对微信公众平台信息内容及数据资源安全进行保护。但“极致了”网站利用爬虫技术，绕开、突破了“微信登录限制”和“IP访问限制”，爬取微信公众平台信息内容及数据，并通过网站对外提供公众号搜索、导航及排行等数据服务。
法院经审理认定，“极致了”网站突破IP访问限制和封禁措施，破坏了微信产品登录访问服务运行，同时“爬虫”行为会对微信服务器造成负担，构成对微信公众号正常运行的妨碍。此外，被控行为也妨碍了微信产品的正常运行机制。“极致了”提供微信公众号及文章搜索、展示等服务，构成了对微信公众号部分数据内容服务的实质性替代，进而损害两原告通过对外授权可获取的合作利益等商业利益，构成不正当竞争。
判决情况
根据《中华人民共和国民法典》第一百二十七条、第一千一百六十七条、《中华人民共和国反不正当竞争法》第二条、第十二条第二款第四项、第十七条、《最高人民法院关于审理不正当竞争民事案件应用法律若干问题的解释》第十七条、《中华人民共和国民事诉讼法》第六十四条第一款之规定，判决如下：
一、被告斯氏（杭州）新媒体科技有限公司立即停止涉案不正当竞争行为，即立即停止非法抓取微信公众号（http://mp.weixin.qq.com）信息内容及数据、停止对外提供微信公众号及其文章搜索、公众号排行及推荐、公众号数据抓取等涉案相关数据服务，并删除已经存储的前述数据；
二、被告斯氏（杭州）新媒体科技有限公司于本判决生效之日起十日内赔偿原告深圳市腾讯计算机系统有限公司、腾讯科技（深圳）有限公司经济损失及为制止不正当竞争行为所支付的合理费用共计60万元；
三、被告斯氏（杭州）新媒体科技有限公司于本判决生效之日起七日内，在极致了网站（www.jzl.com）连续七日刊登声明为原告深圳市腾讯计算机系统有限公司、腾讯科技（深圳）有限公司消除影响（声明内容需经法院审核，逾期不履行，由法院登报公开判决主要内容，登报费用由被告斯氏（杭州）新媒体科技有限公司负担）；
关于赔偿数额，两原告主张以被告因侵权行为的获利作为赔偿的依据，一是以每月付费会员收费为计算维度，（2020）厦鹭证内字第102658号公证书载明被控网站截止原告公证时付费用户会员为8197人，付费会员分为三个等级（高级会员为89元每月，豪华会员为149元每月，超级会员为299元每月），仅以每月89元为计算基数，则“极致了”网站每月收取的会员费用为8197人＊89元每月＝729533元。根据两原告提交的就“极致了”网站对付费会员提供服务情况等进行的公证，即“极致了”网站对网站会员进行收费截止2021年8月至少已经10个月，考虑付费会员可能在不断增长变化的前提下，暂以729533元的50%为基数，“极致了”网站仅仅在10个月就付费会员获利为：729533元每月＊50%＊10个月=3647665元。此外，综合“极致了”网站实际收费会员制度运行时间远远早于2020年9月，故“极致了”网站实际获利情况远远不止于此。二是以单次监控／采集收集为计算维度，“极致了”网站最低一级的付费会员费用为每月89元，含300次阅读数监控和300次数据回采，即平均每次监控／回采收益约为0.15元。（2020）厦鹭证内字第102658号公证书载明被控网站截止原告公证时“极致了”网站已回采超过6亿公众号文章，即仅数据回采部分获利为6亿＊0.15元=9000000元，考虑“极致了”网站还提供阅读数监控等其他服务，“极致了”网站实际获利不止于该金额。综上，原告主张被告赔偿经济损失及合理支出共计300万元。被告抗辩其经营的“极致了”网站获利较少，但未提交客观证据予以证明。
法院注意到如下事实：
1.被告在庭审中自认“极致了”网站于2020年5月上线，其中下线四个月后又重新上线直至2021年8月，被告在明知“极致了”网站涉嫌侵权的情况下仍然重新上线“极致了”网站，说明侵权主观恶意较大；
2.微信在社交产品市场中拥有极高的市场占有率,享有极高的知名度,商业价值十分可观。微信公众号拥有众多用户，具有较高的市场价值，能够给两原告带来可观的市场收益，同时微信公众号能够稳定地吸引海量用户数据，具有较大的数据衍生产品开发空间，能给两原告带来可观的增值利润；
3.被控“极致了”网站通过多个不同网址以及多个公众号进行宣传、服务，每日爬取的公众号及文章数量较大；
4.结合“极致了”网站不同产品、不同服务的报价等情节予以酌情考量其销售利润；
5.被控行为虽然造成了微信用户对微信公众号数据部分流量的流失，两者之间只是具有或然性关联关系；
6.“极致了”网站提供微信公众号文章搜索服务中，点击文章标题查看微信公众号文章内容仍需跳转回微信公众号进行展示；
7.两原告为本案诉讼采取了多次公证证据保全措施，并委托律师参与诉讼，需要支付合理维权费用。
综合考量上述因素，法院酌定被告连带赔偿两原告经济损失及为制止不正当竞争行为所支付的合理费用共计60万元。
判决文书
杭州铁路运输法院（2021）浙8601民初309号民事判决书
案例分析
本案的重点有两处，一是“极致了”网站使得网络用户无需登录微信账号、订阅微信公众号即可在“极致了”网站查看除了微信公众号文章以外的相关阅读数、点赞数等相关数据内容，影响微信用户协议的履行，破坏微信公众号数据的展示规则，对微信公众号点赞数、阅读数、公众号主体信息等部分数据内容构成实质性替代，分流了微信产品的部分潜在用户；二是微信客户端不仅向网络用户提供可以直接访问微信公众号及文章的搜索链接，还可以向搜狗搜索提供引擎独家授权、允许搜狗提供公众号及文章搜索。“极致了”官网提供微信公众号及文章搜索、展示等服务，已经构成对微信公众号部分数据内容服务的实质性替代，进而损害两原告通过对外授权可获取的合作利益等商业利益，构成不正当竞争。
目前市面上有不少类似于本案的产品，通过抓取各种内容平台数据，进行数据整理、加工处理后推出相关产品，长久做下去的必然是和官方有合作的，单单依靠爬虫进行数据采集的话，只要被平台方发现，告上法庭，必然会构成不正当竞争的，搞不好还有破坏计算机系统罪，广大爬虫工程师们如果公司正在研发此类产品，一定要确认是否与官方有合作，多多关注业务的合法合规性，避免走上违法犯罪的道路。