国内外搜索引擎蜘蛛名称分享 帮助您分析网站日志

作为一名合格的网站长，我们要学会分析网站日志，网站日志里面包含了所有访问者的来访记录，本文将分享国内外搜索引擎蜘蛛名称，让大家在分析网站日志的时候能知道来访搜索引擎蜘蛛对应的名称，了解我们的网站被哪些搜索引擎在抓取，这也是SEO必须要做的一件事情。百度蜘蛛最新名称为Baiduspider，日志中还发现了Baiduspider-image这个百度旗下蜘蛛，我们直接看名字就可以知道它是干嘛的，是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。谷歌：googlebot这个争议较少，但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”，除此还发现了Googlebot-Mobile，看名字显然是抓取wap内容的。搜搜：sosospider必应：bingbot雅虎：Yahoo! Slurp“Yahoo! Slurp China”或者Yahoo，名称中带“Slurp”和空格。搜狗：Sogou web spider 其名称为，Sogou News Spider。搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou来简单概括）。看看最权威的百度的robots.txt ，http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节，占了一大块地方。“Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前主要有这么6个，名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″，可以为它颁个“占名为王”奖。360搜索：360Spider有道：YoudaoBot神马：YisouSpider头条：BytespiderMJ12bot：MJ12botyandex：YandexBot宜搜：EasouSpider瑞典：Speedy Spider华为赛门铁克蜘蛛：HuaweiSymantecSpiderMSN：msnbot俄罗斯LinkpadBot：LinkpadBotAhrefsBot：AhrefsBot华为花瓣蜘蛛：petalbotSemrushBot：SemrushBot360好搜蜘蛛：HaoSouSpider以上搜索引擎蜘蛛，现在需要重点关注：百度：baiduspider、谷歌：googlebot、必应：bingbot、搜狗：Sogou web spider、360搜索：360Spider 或 360好搜蜘蛛：HaoSouSpider、神马：YisouSpider、头条：Bytespider，因为它们的市场份额较大所以：作为一名站长非常有必要学会和养成分析IIS日志的良好习惯，在日志里我们可以一目了然的看到，哪些搜索引擎蜘蛛（机器人）访问了我们的网站，具体抓取了哪些页面，以及返回来的状态码如何（比如200表示访问正常、304代表自从上次请求后所请求的网页未修改过、404则代表服务器找不到请求的网页）等多方面的情况。只有当我们对这些充分了解了之后，才能有的放矢加以改进和完善，对于增加我们网站关键词的排名是非常有裨益的。