搜索引擎工作原理-百度蜘蛛抓取涉及的网络协议

[db:摘要]

百度蜘蛛的http协议
看下截图中的这段文字,说的是关于百度蜘蛛在抓取中涉及的网络协议。大家看着段文字的时候感觉没什么。但是其中有两点需要注意的

http协议与https协议解读

http协议是指超文本传输协议,https是加密版http,然而我们网站在刚刚建设好一般用的是前者的协议。然而加密传输的方式对于百度来说还没有完全支持这一类的抓取,对谷歌来说加密传输的抓取技术已经成熟。所以你要是做百度SEO的就使用前者,要是做谷歌的就使用后者。很多网站为了追求安全就使用了https方式,导致百度收录急剧减少就是这个原因,目前百度也在鼓励站长们使用https,这种协议也是未来的一种趋势。但是目前百度的抓取的技术还不够成熟!所以SEOer们可以根据自己的需要进行选择!

robots协议的重要性

很多的网站没有robots文件,然而在蜘蛛来到我们网站第一眼要看的是什么大家知道吗?就是robots文件,robots里面包含着一些抓取规则,如果没有这个文件蜘蛛会对网站的一些无关紧要的地方也会进行抓取,浪费资源。有些时候就会导致网站一些应该收录的都没收录,不该收录的反而有的被收录了。关于robots的写法可以到百度站长学院里面去看。

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.sumedu.com/faq/1388.html

发表评论

邮箱地址不会被公开。 必填项已用*标注