前阵子帮一个找老港漫的朋友翻早年的个人站，点进去所有漫画图全是裂的。
找站长发消息问，对方回得特别干脆：早把图片目录锁了，之前被爬虫爬崩三次服务器，现在谁来都不让进。
朋友愣了，说我从搜索引擎里点进来的链接啊，怎么还锁？
站长笑，说我在robots协议里写得明明白白，不让爬图片，搜索引擎当初抓了首页链接就算了，真敢爬图片我直接把爬虫IP拉进黑名单。
就是从这个对话，我才想起来，这东西是99%普通网民一辈子都不会主动碰，但偏偏在整个互联网的底层，悄悄维持了二十多年的小规矩。
它根本不是什么法律，就是网站贴在门口的一张便签
说真的，我第一次知道robots协议的本质时，差点笑出声。
合着从互联网刚有爬虫的年代开始，网站和爬虫之间，从来没有什么强制的法律条文说“你不许爬我什么内容”，所有的规则，就是网站在自己域名的根目录下，放一个名叫robots.txt的纯文本文件，上面写清楚我哪些路径不让你爬，哪些欢迎你来。
就像你住老小区，单元楼门口贴个便签：“本楼3层以上是私人住户，外来访客请先联系业主，请勿随意敲门”。
你要是自觉，就真的不上去敲。你要是不自觉，硬要往上闯，物业不会拿电棍把你拦下来——这东西从诞生那天起，就没有强制约束力。
对，就是这么个没强制力的东西，撑了互联网快三十年的内容边界。你说它有用吧，碰到没底线的爬虫，它真的拦不住。你说它没用吧，但凡有点基本职业操守的爬虫开发者，上线之前第一件事，就是先去目标网站的根目录读一遍这个txt文件，别爬人家明确不让爬的东西。
别拿“这东西没法律效力”当借口乱爬。
真要较起真来，你明知道人家贴了不让进的条子，还硬闯进去把人家里的东西搬出来，哪怕当初的便签没写“闯进来的要判刑”，法院也不会因为你没看到条子，就判你偷东西没毛病。
别觉得你绕开路径就万事大吉，人家的提醒从来不是给爬虫看的
我见过太多做爬虫的人，抱着一种“只要我没爬写了Disallow的路径，我就完全合规”的心态。
这就离谱。
举个最简单的例子，你去朋友家做客，朋友开门第一句话就说“今天家里有点乱，书房的东西还没整理，你别进去翻哈”。
你嘴上答应得好好的，转头趁朋友去厨房切水果，溜进书房把人家没整理的草稿、压在键盘下的私人信件全翻了一遍，转头还跟朋友说“我刚才特意绕开了你说的那个堆着杂物的抽屉，我啥违规的都没碰”。
你说朋友听到这话，是会夸你守规矩，还是会直接把你送出门？
之前有个写悬疑小说的独立博主，跟我吐槽过一件事：某大内容平台的爬虫，绕开了他在robots协议里明确禁止的“/draft”草稿目录路径，从网站的后台接口把他还没写完的三万字稿子全爬走了。
等他发现的时候，人家平台已经把稿子拆成十几条短内容，发在自己的信息流里，配的作者名还是个完全陌生的账号。
对方找过来沟通的时候，运营还振振有词：“我们的技术查过了，你禁止的是/draft路径，我们是从/api接口爬的，没违反你的协议啊。”
你说这叫什么事？
人家从一开始的提醒，就不是给路径写的，是给所有来抓内容的人提个醒：“我还没准备好公开的东西，你别拿。”
你非要抠路径的字眼钻空子，本质上跟那种在小区里钻消防通道进单元楼，还说自己没走正门所以不算闯门禁的人，没任何区别。
你每天刷的网页，其实早就被这张便签悄悄影响了
很多人觉得robots协议是搞技术的人、做网站的人才需要关心的东西，跟普通网民半毛钱关系没有。
错得离谱。
你现在打开搜索引擎搜一个独立博客，经常会发现点进去的链接只有首页，点进去之后翻半天找不到人家最精华的那几篇文章。
为啥？
大概率是人家直接在robots协议里把搜索引擎的爬虫全禁了。
别觉得人家是装清高。
我常逛的那个写老掌机攻略的独立站，去年站长在公告里写了一段特别实在的话：之前一个月，搜索引擎的爬虫占了他服务器60%的流量，一个月算下来带宽超了120G，多交了800块钱的服务费，他整个站一个月读者的打赏才刚够500。
换你你乐意？
干脆把爬虫全禁了。反正老读者都是直接输域名进来，根本不需要靠搜索引擎找路。
你看，这就是最真实的选择。
真的闹心。
我上次帮一个做手工皮具的朋友查他网站的访问日志，发现有个不知名的爬虫，三天爬了他服务器里存的200多张未公开的产品设计草稿。那些都是他琢磨了大半年的新款版型，爬完转头就被电商平台上的仿款店抄走了，他当时气得连着三天没睡好。
就因为他当初上线网站的时候，根本不知道要在根目录放个robots.txt文件，等于自己家大门敞着，连个“私人区域请勿进入”的纸条都没贴。
很多人对robots协议还有个天大的误会：觉得这东西是用来防黑客的。
可拉倒吧。
黑客根本不会管你贴了什么便签。人家是来撬锁的，你贴个“请勿撬锁”的条子，人家就不撬了？不可能的。
robots协议防的从来不是揣着坏心思的人，是那些没边界感的、没打招呼就随便闯的爬虫——比如你刚上线一个个人站，还没把测试文件清干净，就被爬虫把你存在网站目录里的私人照片备份、还没排版的草稿、甚至当初写代码时留的数据库密码文件，全爬走了。
这才是这张便签存在的真正意义：我把哪些地方是私人的、哪些地方是欢迎你来看的，明明白白写在门口，你进来之前先看一眼，别乱碰不该碰的东西。
说穿了，互联网从一开始就不是什么无边界的法外之地。
它跟我们现实里住的小区、逛的公园、去的朋友家没有任何区别。
所有的规矩，说到底都是“互相给个边界”。
你不随便乱爬人家没准备好公开的内容，人家也不会随便把你服务器爬崩。
就这么简单。