搜索引擎和搜索引擎的蜘蛛是什么?
浏览:70 时间:2022-11-18

什么是搜索引擎和搜索引擎蜘蛛?

在实操第一课讲搜索引擎的基本工作原理的时候,我会告诉新人什么是搜索引擎,然后我会讲什么是搜索引擎蜘蛛。那么,让我们在这里再谈一次。主要类别如下:

1、根据国内外分

国内:百度, 搜狗, 360、神马(UC)、头条等。国外:谷歌、必应、雅虎、Yandex (俄罗斯)等。

2.按pC和移动终端划分

个人电脑:谷歌、必应、雅虎、百度、搜狗、360

手机:神马,头条

个人电脑移动有:谷歌,必应,雅虎,百度, 搜狗

当然,除了上述的一般搜索引擎,其实还有一些垂直搜索引擎。比如搜索图书馆的斗鼎网,搜索工作的专业朋友集等等。

什么是搜索引擎蜘蛛?

这里的[蜘蛛]不是现实生活中的蜘蛛。我们只是使用搜索引擎来抓取每个网页的内容。我们称它为蜘蛛。

如何识别百度搜索引擎蜘蛛?

事实上,很多新SEO的学生很少接触到搜索引擎蜘蛛,甚至连百度蜘蛛也未必能接触到他们。即使接触到,也不知道是不是。为什么呢?因为很多SEO新人没有分析网站日志,所以没有看到。

如果你分析过网站日志,你应该见过百度拜杜斯皮德。

目前,百度的UA(简称用户代理)分为三种应用场景:移动、pC和小程序。这三个渠道UA如下:

移动普遍获得:

Mozilla/5.0(Linux;u;andro id 4 . 2 . 2;zh-cn;)applebwebkit/534.46(KHTML,likeGecko)版本/5.1MobileSafari/10600.6.3

(兼容;baiduspider/2.0;

/search/spider.html)

或者

Mozilla/5.0(iphone;CpUiphoneOS9 _ 1 likemacosx)applebwebkit/601 . 1 . 46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;/search/spider.html)

pCUA:

Mozilla/5.0(兼容;baiduspider/2.0;

/search/spider.html)

或者

Mozilla/5.0(兼容;baiduspider-render/2.0;

/search/spider.html)

微件UA:

Mozilla/5.0(iphone;CpUiphoneOS9 _ 1 likemacosx)applebwebkit/601 . 1 . 46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;Smartapp/search/spider.html)

如果UA信息不正确,可以直接判断为百度没有搜索到的蜘蛛,对于日志分析,可以在文末看到相关推荐文章。

网站的HTTp状态码是什么意思?有什么?

网站的HTTp状态代码是一个3位数的代码,用于指示web服务器的超文本传输协议的响应状态。

文章来源:白杨seo

来源地址:/blog/189.html