文:一介布衣
你还记得你第一次上网是什么时候,是做什么的吗?
相信很多人都已经忘记了,也许有人会说是打游戏、聊天、找资料。
没有经历过电话线拨号上网无法想象在那个时代上网是个什么样的体验。
2000年以前,我们要找资料什么的只能靠记住网址去对应的网站查找。2000年以后百度出现改变一切。
1999年,身在美国的李彦宏亲眼目睹雅虎作为一个搜索引起起家的公司市值超过千亿美金,而当时国内的互联网搜索引擎还是一片空白,当时李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力,所以他毅然辞掉硅谷的高薪工作,当时回国筹备自己的项目,并于 2000年1月1日在北京中关村正式成立了百度公司。
至此,“百度一下-你就知道了” 可以说影响了中国的PC互联网时代。百度搜索查找内容资料成为了当时大部分的使用习惯,甚至到至今,当我们遇到什么问题需要检索的时候还是习惯打开百度一下看看有没有相关信息。
但是互联网没有真正的“自由”,2008年,已经壮大的淘宝突然通过robots协议屏蔽了百度搜索引擎的爬虫访问,第一次互联网“隔离”开始诞生。
随着移动互联网时代的到来,这种屏蔽隔离开始变本加厉。所谓的互联网自由变成了划地为牢,各大互联网公司都建起了围墙各自经营。别说通过搜索找到对方信息,连知道网址打开对方网址都不允许。最终造成了就是我们现在手机安装的软件越来越多。
但随着工信部要求各大互联网公司开放搜索壁垒——即允许用户在本平台上搜索并访问其他平台的内容。这消息一出,引起了人们的关注,也可能让APP各自为营走到终点。
这其中一条就是,工信部希望可以通过百度等搜索引擎,让用户直接可以获取到微信上的文章与抖音的短视频。如果政策实施,在任何一家互联网企业的平台,都可以直接搜索、查看其它平台的信息、视频等内容数据。这将是互联网反垄断的又一巨大举措。
当然,这个措施还是讨论当中,相关部门“正在与相应的互联网科技企业征求反馈意见”,能不能落实现在还为时已早。
其实在移动互联网时代,孤岛似乎是常态的发展模式,各自都掌控着自己的用户和内容。突然要对搜索引擎开放内容,这个对目前互联网企业来说是一个难以接受的选择。
在这个派系林立的移动互联网时代,开放内容给搜索引擎,无疑是要了他们的“命”。
毕竟内部搜索和外部搜索是两种不同的概念,而作为搜索引擎起家的百度在这个方面有着天然的技术优势。当所有网站都向搜索引擎开放的时候,百度将迎来机遇,将成为大赢家。
表面看似这样,但实际情况远比想象中复杂得多。
无可否认,如果抖音、微信等内容都向搜索引擎开放,百度无疑是受益者。这一开放无疑补充了百度现有搜索内容的缺乏。
但这样的开放反而让百度会更加“内卷”,百度本身也存在与其他互联网公司高度重合的项目,而所谓的开放背后将会让百度更加注重自己项目的优先权。虽然百度内容在抓取其他平台以后有了充足的补充,但这些内容的展示不会因为多而优先展现出现,毕竟百度不想百自己的用户导向了其他平台,反而会通过人工干预更加优先展现自己平台下的内容。
同理,其他的各大互联网平台也是同样的操作,看似充足的内容载量,但给用户展示出来的是更加“内卷”,谁也不想再自己平台的用户流向第三方,只会更加通过技术手段留下用户。
现在我们再说说神奇 robots协议
robots协议是在还没有谷歌、百度以前就已经有的一个协定。它不是法律,但是它一份行业规范。它的出现就是为了防止搜索引擎抓取敏感信息而设置,而且世界上所有的搜索引擎都严格遵守这份协议,它甚至变成了互联网最后隐私安全底线。
所以目前各大网站通过robots协议屏蔽搜索引擎爬出抓取只是一种遵守行业规则的正常行为。所以要人为地去“破坏”这份规则,那么可能会引起整个互联网隐私安全的灾难。
搜索引擎本身不会去突破这个协议,所以在淘宝屏蔽百度爬虫抓取淘宝内容以后,百度停止对淘宝内容的抓取。同样,京东、苏宁、当当网等也屏蔽了阿里旗下一淘搜索的爬虫也一样如此。
当然也不是没有搜索引擎违反robots协议去抓取内容,不管是国内还是国外,都有相关案例,但他们都被告上法庭,最终以败诉告终。
所以哪怕是强制要求他们开放给搜索引擎抓取内容,他们同样也可以通过robots协议选择选哪个给搜索引擎提供“垃圾内容”。他们也可以用隐私安全做借口选择性屏蔽数据。因为不可能要求企业无底线去“完全开放他们的数据”。
就目前来看,开放链接访问已经是一项重大的进步,但开放搜索,只能说理想很丰满,现实很残酷。
如若转载,请注明出处:https://www.sumedu.com/faq/268790.html