腾讯收录于量市场波动（本周一头条新闻的 ByteSpider，是不是就成了小中文网站的“恶梦”？）Purbi，

产品目录：

1.本周一头条新闻该文腾讯收录于吗

2.本周一头条新闻收录于出口处

3.本周一头条新闻rss

4.本周一头条新闻bd阻力

5.本周一头条新闻beta

6.本周一头条新闻腾讯呵呵

7.本周一头条新闻打造出搜寻引擎

8.本周一头条新闻wap

9.本周一头条新闻数据采集系统

10.页面撷取 - 本周一头条新闻

1.本周一头条新闻该文腾讯收录于吗

本周一头条新闻，恶梦前段时间又上头条新闻了。腾讯头条2019 一季度，收录市场本周一头条新闻正式宣布发布开始做搜寻引擎。于量原本纯粹的波动本周误以为头条新闻和QQ一样，做的新闻是横向搜寻或是站内搜，居然做的中文是截取全站文本的崭新搜寻引擎。 

2.本周一头条新闻收录于出口处

这个决定只不过也是在意料之中即便头条新闻系产品现在的网络流量早已到了两个很血腥的数量级，扩充做搜寻具有纯天然的恶梦竞争优势但他们那时科维区“二进制颤动搜寻若想干翻腾讯”，只想说呵呵血雨腥风的腾讯头条「搜寻混战」下，头条新闻的收录市场两个操作方式让许多小中文网站「感到恐惧」。

3.本周一头条新闻rss

相片作者：白点网他们的街道社区(sifou.com)使用者许多都有他们的对个人中文网站和网志，虽然网络流量B100，波动本周即便是新闻他们他们的居所但前段时间，许多街道社区使用者争相跟我意见反馈，中文一种名叫 Bytespider 的食腐banlist他们的中文网站重要信息的振幅太高，直接把中文网站搞失去知觉了。

4.本周一头条新闻bd阻力

他们顺著食腐的 IP 门牌号查了呵呵，发现 Bytespider 应该就是本周一头条新闻的搜寻食腐什至，短短的半天时间就接到了 46 亿次允诺，释放出来伺服器 7 .42GB 网络流量这对平均值日活可能都没有过千的小中文网站而言，早已配得上一次较大型的 DDoS 反击了...。

5.本周一头条新闻beta

术语导出：DDos反击分布式系统DNS(DDoS：Distributed Denial of Service)反击，是指反击者利用大量“肉鸡”对反击目标发动大量的正常或非正常允诺、耗尽目标主机资源或网络资源，从而使被反击的主机不能为正常使用者提供服务。

6.本周一头条新闻腾讯呵呵

为什么会有食腐？

7.本周一头条新闻打造出搜寻引擎

术语导出：网络食腐web crawler，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人其目的一般为编纂网络索引网络搜寻引擎等站点通过食腐软件更新自身的中文网站文本或其对其他中文网站的索引网络食腐可以将他们所访问的页面保存下来，以便搜寻引擎事后生成索引供使用者搜寻。

8.本周一头条新闻wap

食腐访问中文网站的过程会消耗目标系统资源食腐就是自动截取网络文本的一种程序，它会定时定量的把互联网上的文本爬下来，汇总存储到他们的伺服器上放到搜寻引擎上而言，他们每次搜寻的时候，搜寻引擎就会在这些banlist到的文本里进行匹配相似度高的文本意见反馈给你。

9.本周一头条新闻数据采集系统

所以做搜寻引擎的公司离不开食腐大公司也都会给他们的食腐起两个名字：谷歌的食腐叫 Googlebot，腾讯的食腐是 Baiduspider，搜狗的食腐 Sogouspider，而本周一头条新闻就是上文中的 Bytespider。

10.页面撷取 - 本周一头条新闻

扯远了，他们继续讨论开头的这个事情为什么之前别的搜寻引擎banlist文本就没事儿，头条新闻一爬小中文网站就崩溃了呢？只不过从今年 6 月开始就有中文网站主抱怨了这个 Bytespider而且从今年 6 月到 10 月，越来越多的人开始在网上爆料他们也遇到了类似的情况。

在国外的编程交流中文网站上他们也有讨论啥是「Bytespider」，并且指出它非常不地道的无视了他们中文网站的 robots.txt 协议：

“Given they dont respect the robots.txt file,Id consider them block-fodder.”什么是 robots.txt 协议？

术语导出：robots.txt 协议也称为食腐协议、食腐规则、机器人协议等robots.txt文件是存储在中文网站根产品目录下的 txt 文本文档这是中文网站和蜘蛛之间的协议该中文网站告诉搜寻引擎哪些页面可以被截取，哪些页面不想通过机器人协议被截取。

即使不是运维工程师，关注互联网的人应该也听说过 robots 协议当年的 3Q 混战就涉及到了一场关于屏蔽与反屏蔽的争论，也把原本非常小众的 robots 协议变成了媒体热词robots 协议的出现要追溯到 1994 年。

在互联网的蛮荒发展时代，搜寻引擎可以通过食腐直接进入中文网站的管理后台，把所有页面重要信息全部收录于除了涉及隐私外，食腐程序的反复收录于在 20 年前对中文网站带宽也是不小的负载面对这个情况，荷兰工程师 Martin Koster 提出通过设立名叫 robots 规范的中文网站访问限制政策，来解决网络食腐带来的潜在风险与威胁，这一提议接到了广泛的认可与应用。

robots 协议自成立以来在全球受到严格遵守，也获得了许多的成效他们还是通过两个 3Q 混战为例子，来看呵呵 robot.txt 协议的价值术语导出：3Q 混战2010 年 9 月 27 日，360 发布了其新开发的「隐私保护器」，专门搜集 QQ 软件是否侵犯使用者隐私。

随后，QQ 立即指出 360 浏览器涉嫌借黄色中文网站推广2010 年 11 月 3 日，腾讯宣布在装有 360 软件的电脑上停止运行 QQ 软件，使用者必须卸载 360 软件才可登录 QQ，强迫使用者“二选一”。

双方为了各自的利益，从 2010 年到 2014 年，两家公司上演了一系列互联网之战，并走上了诉讼之路两大搜寻巨头的战役，可谓牵一发而动全身，甚至逼迫了全中文网站队但最终的诉讼结果，也让行业有了两个法律层面的参考。

在腾讯诉 360 一案中，法院认定 robots 协议虽然不是法律意义上的合同，但属于“搜寻引擎行业内公认的、应当被遵守的商业道德”，如果违反 robots 协议、banlist中文网站明确不允许banlist的文本，会构成违反《反不正当竞争法》第二条的原则性规定：“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。

”但另一方面，robots 协议本身也不能不合理的限制特定食腐就像 360 提出腾讯的 robots 协议允许谷歌、微软必应、雅虎、搜狗等搜寻引擎截取，但却不允许 360 截取文本，同样属于不正当竞争与限制。

法院也认定，在 360 向腾讯提出修改 robots 协议的主张之后，腾讯未能在合理期限内说明拒绝 360 banlist的合理理由，所以从这个时点之后，360 的banlist行为不再构成不正当竞争。食腐的法律风险

如果避开反爬措施，除了构成不正当竞争，还有可能引发刑事责任他们还是用头条新闻的两个案子来做案例，不过这次他们的身份是「被爬方」之前，有一家上海的企业破解了二进制颤动的防截取措施，使用「tt_spider」文件进行视频数据的截取，经法院判定，造成了二进制颤动的技术服务费损失 2 万元。

最终判处该公司罚金 20 万元，主管人员罚金 3 - 5 万元不等、有期徒刑 9 个月到 1 年不等食腐的滥用终于被制裁了，但事情都是有正反两面的反banlist措施的滥用又如何规范与避免？如果反爬措施被滥用，就像 3Q 混战中不合理的限制竞争对手、维持垄断地位，是否也不利于数字重要信息共享、促进竞争？如何平衡两方面的利益，可能通过未来的案例会衍生出更精密的机制。

需要注意，上面他们提到的两种情况中，是否构成非法获取罪或是不正当竞争，与数据是否为公开重要信息是没有关系的即使获取的数据为公开重要信息，也不影响定性最后，即使上述情形都不涉及（既没有违反Robots协议、也没有反爬措施、所有数据都是公开重要信息）。

，也不可以随意banlist如果你对banlist数据的使用，侵犯了对方的商业价值，仍然有可能构成不正当竞争这个在他们平台就是两个很好的例子，比如他们街道社区中文网站的该文、问答文本经常被非法的banlist搬运在这里不展开详细的讨论，但还是想要号召他们都能够遵守呵呵基本的操守和底线。

如何避免被食腐「误伤」？就像这次 Bytespider 的食腐，虽然不算是 DDos，但对于许多小中文网站而言真的「遭不住」除了 robots.txt 封禁之外，主动的做法可能就是在伺服器上直接识别食腐名称然后进行封禁，同时也可以在伺服器上封禁食腐的伺服器等。

比如：- 在 robots.txt 协议中封禁或是限制相关食腐 User-agent；- 在伺服器上或是 CDN 节点上屏蔽相关食腐的 IP 段；- Nginx 伺服器也可以封禁相关的食腐 User-agent；

据白点网最新更新的声明中显示，头条新闻搜寻早已对网络上提到的各类问题进行优化升级，后续头条新闻搜寻还将不断完善和迭代，努力为站长们提供更好的体验如果后续发现其他问题或是有任何意见建议，站长和中文网站管理员们均可发送邮件到 bytespider@bytedance.com 进行意见反馈。

总而言之，食腐有风险，banlist需谨慎越是大体量的公司，越应该遵守社会规则、承担社会责任在数据泛滥、科技进步的时代，合法与违法之间存在许多灰色地带，相关的法律法规也还有待完善，但他们作为社会中的一员，作为承担着社会责任的「社会人」，。

还是要尽量的遵守他们他们的道德底线别老想着钻空子，给别人添堵的最后，难免会给他们招来麻烦部分资料作者：白点网：头条新闻搜寻还没有推出但派出的ByteSpider食腐令小中文网站感到恐惧 ...stackoverflow：What is the “Bytespider” user agent?。

知乎话题：带有 Bytespider 字样的 UserAgent 是不是二进制颤动的？差评：爬重要信息爬到伺服器失去知觉，本周一头条新闻的头条新闻搜寻成了小中文网站的恶梦！遗漏热文？赶紧标星

1. 阿里社招面试指南2. 阿里应届生面试指南3. 探寻线程池是如何工作的4. 到底线程池应该设置多少合适？5. 跳槽的必备条件是有一份好的简历6. 不是所有的 Github 都适合写在简历上7. 所没有项目经验找工作处处碰壁怎么办

8. 每两个开发人员都应该懂得的 UML 规范9. 工作环境没机会接触高并发、分布式系统怎么办？10. 这算是有史以来讲数据库连接池数最清楚的该文了11. 你误以为认为 count(1) 比 count(*) 效率高么？

12. 用了这么多年 Spring Boot 你知道他爹有多大背景吗？