当前位置:99696大富豪棋牌 > 99696大富豪棋牌 > 99696大富豪棋牌爬取反应出来的HTTP状态码,  

99696大富豪棋牌爬取反应出来的HTTP状态码,  

文章作者:99696大富豪棋牌 上传时间:2019-11-03

其实我们做seo网站优化的一般来说都是一个全知全能的职位,因为做优化做排名影响的因素太多了,就比如我们今天要讲的课题,日志的分析如果不会分析看不懂蜘蛛的爬行轨迹,那么在优化的过程中出现问题,就很有可能思路是错的而不自知。

如果你的博客或网站是搭建在付费主机上,如果你是博客或网站的站长,如果你连原始访问日志是 什么都不知道,或者对其根本不屑一顾,我只能说你是一个不称职的网站站长,一旦网站出问题,必定是束手无策!相信大家都在自己的网站上安装了网站统计的代 码,如Google analytics、量子统计、百度统计、cnzz、51.la等,这些工具可以统计网站的流量,也就是网站上访客可以看到的所有页面的访问量,但是这些 统计工具都不能统计你主机上资源的原始访问信息,例如某个图片被谁下载了,也不能统计到那些没有添加统计代码的地方,比如后台操作页面。

如何看IIS日志代码,打开IIS日志后,你会看见里面有很多访问记录。baiduspider,Googlebot等就是蜘蛛了。蜘蛛爬过后都会留下记录的,状态代码列在下面:
  100 - 表示已收到请求的一部分,正在继续发送余下部分。
  101 - 切换协议。
  200 - 确定。客户端请求已成功。
  2XX - 成功 服务器成功地接受了客户端请求。 (只要是2XX的状态,都表示成功)
  200 - 确定。客户端请求已成功。
  201 - 已创建。
  202 - 已接受。
  203 - 非权威性信息。
  204 - 无内容。
  205 - 重置内容。
  206 - 部分内容。
  300 - 针对收到请求,服务器可执行多种操作。
  301 - 永久移动转移,请求的内容已永久移动其他新位置。
  302 - 临时移动转移,请求的内容已临时移动新的位置
  304 - 未修改。自从上次请求后,请求的内容未修改过。
  307 - 临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。
  400 - 错误的请求。
  401 - 访问被拒绝。IIS 定义了许多不同的 401 错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在 IIS 日志中显示:
  401.1 - 登录失败。
  401.2 - 服务器配置导致登录失败。
  401.3 - 由于 ACL 对资源的限制而未获得授权。
  401.4 - 筛选器授权失败。
  401.5 - ISAPI/CGI 应用程序授权失败。
  401.7 - 访问被 Web 服务器上的 URL 授权策略拒绝。这个错误代码为 IIS 6.0 所专用。
  403 - 禁止访问:IIS 定义了许多不同的 403 错误,它们指明更为具体的错误原因:
  403.1 - 执行访问被禁止。
  403.2 - 读访问被禁止。
  403.3 - 写访问被禁止。
  403.4 - 要求 SSL.
  403.5 - 要求 SSL 128.
  403.6 - IP 地址被拒绝。
  403.7 - 要求客户端证书。
  403.8 - 站点访问被拒绝。
  403.9 - 用户数过多。
  403.10 - 配置无效。
  403.11 - 密码更改。
  403.12 - 拒绝访问映射表。
  403.13 - 客户端证书被吊销。
  403.14 - 拒绝目录列表。
  403.15 - 超出客户端访问许可。
  403.16 - 客户端证书不受信任或无效。
  403.17 - 客户端证书已过期或尚未生效。
  403.18 - 在当前的应用程序池中不能执行所请求的 URL.这个错误代码为 IIS 6.0 所专用。
  403.19 - 不能为这个应用程序池中的客户端执行 CGI.这个错误代码为 IIS 6.0 所专用。
  403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。
  404 - 未找到请求的内容。
  404.0 - 未找到文件或目录。
  404.1 - 无法在所请求的端口上访问 Web站点。
  404.2 - Web 服务扩展锁定策略阻止本请求。
  404.3 - MIME 映射策略阻止本请求。
  405 - 用来访问本页面的 HTTP 谓词不被允许(方法不被允许)
  406 - 客户端浏览器不接受所请求页面的 MIME 类型。
  407 - 要求进行代理身份验证。
  412 - 前提条件失败。
  413 - 请求实体太大。
  414 - 请求 URI 太长。
  415 - 不支持的媒体类型。
  416 - 所请求的范围无法满足。
  417 - 执行失败。
  423 - 锁定的错误。
  500 - 服务器内部错误。
  500.12 - 应用程序正忙于在 Web 服务器上重新启动。
  500.13 - Web 服务器太忙。
  500.15 - 不允许直接请求 Global.asa.
  500.16 - UNC 授权凭据不正确。这个错误代码为 IIS 6.0 所专用。
  500.18 - URL 授权存储不能打开。这个错误代码为 IIS 6.0 所专用。
  500.100 - 内部 ASP 错误。
  501 - 服务器无法完成请求的功能。
  502 - 服务器用作网关或代理服务器时收到了无效响应。
  502.1 - CGI 应用程序超时。
  502.2 - CGI 应用程序出错。
  503 - 服务不可用。这个错误代码为 IIS 6.0 所专用。
  504 - 网关超时。
  505 - HTTP 版本不受支持。

好了,今天我们就给大家讲讲日志的分析与http 返回状态码的意义。

绝 大多数收费主机都提供原始访问日志,网站服务器会把每一个访客来访时的一些信息自动记录下来,保存在原始访问日志文件中,如果你的主机不提供日志功能,建 议你到期后还是换主机吧。日志中记录了网站上所有资源的访问信息,包括图片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源, 同时记录了这些资源都被谁访问了、用什么来访问以及访问的结果是什么等等,可以说原始访问日志记录了主机的所有资源使用情况。

END

99696大富豪棋牌 1

 

IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

分析网站日志有什么作用?

一、各大搜索引擎的蜘蛛名称:

1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数,可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主,会增加我们服务器的开销)点此识别Baiduspider真伪 ;

百度爬虫名称(Baiduspider)

2、通过分析网站日志,我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短,我们可以依次有针对性的对我们的网站进行微调 ;

谷歌爬虫名称(Googlebot)

3、http返回状态码,搜索引擎蜘蛛以及用户每访问我们的网站一次,服务器端都会产生类似301,404,200的状态吗,我们可以参照此类信息,对我们出现问题的网站进行简单的诊断,及时处理问题。

雅虎爬虫名称(Yahoo Slurp)

 

有道蜘蛛名称

网站日志文件存放在什么地方?

搜狗蜘蛛名称(sogou spider)

一般的虚拟主机都提供日志文件,但是不同的虚拟主机系统会提供不同的LOG文件存储文件名,笔者使用的是万网的虚拟主机,日志文件存储在wwwlogs文件夹下。

MSN的蜘蛛名称:msnbot

99696大富豪棋牌 2

二、IIS分析:

 

案例日志:61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider(+http:-www-baidu-com/search/spider.htm)"

网站日志文件里面的记录怎么看?

分析:

原始访问日志每一行就是类似以下的记录:

1、61.135.168.22 是访问了是服务器IP为这个的网站.

 

2、11/Jan/2009:04:02:45 表示蜘蛛爬行时间

116.231.220.179 - - [25/Mar/2015:11:21:15 +0800] "GET /blog/article/10.html HTTP/1.1" 200 8671 "http://www.weiaipin.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"

3、GET /thread-7303-1-1.html HTTP,表示蜘蛛抓取了这个页面。

 

4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。

下面我们来说说这一行记录的意思:

5、8450 表示此次抓取了8450个字节

 

6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称

116.231.220.179

三、基本状态码:

这是访客(也可能是机器人)的IP

200:请求已经完成,蜘蛛访问页面正常

 

301:已经移动,永久重定向

[25/Mar/2015:11:21:15 +0800]

302:临时重定向

这是访客访问该资源的时间(Date),+0800是该时间所对应的时区,即与格林威治时间相差+8个小时

304:蜘蛛爬取后发现,页面没有修改

 

305:使用代理

"GET /blog/article/10.html HTTP/1.1"

400:请求错误

请求信息,包括请求方式、所请求的资源以及所使用的协议,该语句的意思就是以GET方式,按照HTTP/1.1协议获取网页/blog/article/10.html,10html为网站上的某个页面。

404:找不到页面

 

四、IIS详细状态码含义:

200 8671

100 - 表示已收到请求的一部分,正在继续发送余下部分。

200为该请求返回的状态码(Http Code),不同的状态码代表不同的意思,具体请阅读 HTTP 状态代码;8671为此次请求所耗费的流量(Size in Bytes),单位为byte

101 - 切换协议。

 

2XX - 成功 服务器成功地接受了客户端请求。 (只要是2XX的状态,都表示成功)

""

200 - 确定。客户端请求已成功。

为访客来源(Referer)。这一段是告诉我们访客是从哪里来到这一个网页。有可能是你的网站其他页,有可能是来自搜索引擎的搜索页等。通过这条来源信息,你可以揪出盗链者的网页。

201 - 已创建。

 

202 - 已接受。

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"

203 - 非权威性信息。

为访客所使用的浏览器类型(Agent),这里记录了用户使用的操作系统、浏览器型号等信息。

204 - 无内容。

 

205 - 重置内容。

如何分析网站日志中的内容?

206 - 部分内容。

1、注意那些被频繁访问的资源

300 - 针对收到请求,服务器可执行多种操作。

如 果在日志中,你发现某个资源(网页、图片和mp3等)被人频繁访问,那你应该注意该资源被用于何处了!如果这些请求的来源(Referer)不是你的网站 或者为空,且状态码(Http Code)为200,说明你的这些资源很可能被人盗链了,通过 Referer 你可以查出盗链者的网址,这可能就是你的网站流量暴增的原因,你应该做好防盗链了。请看下图,我网站上的japan.mp3这个文件就被人频繁的访问了, 下图还只是日志的一部分,这人极其险恶,由于我早已将该文件删除,它迟迟要不到japan.mp3,在短短一个小时内对japan.mp3发起了不下百次 的请求,见我设置了防盗链就伪造来源Referer和Agent,还不断地更换IP,很可惜它做得都是无用功,根本没有这个文件,请求的状态码Http Code都是403或者404。

301 - 永久移动转移,请求的内容已永久移动其他新位置。

 

302 - 临时移动转移,请求的内容已临时移动新的位置

2、注意那些你网站上不存在资源的请求

304 - 未修改。自从上次请求后,请求的内容未修改过。

如 果某些请求信息不是本站的资源,Http Code不是403就是404,但从名称分析,可能是保存数据库信息的文件,如果这些信息让别人拿走,那么攻击你的网站就轻松多了。发起这些请求的目的无 非就是扫描你的网站漏洞,通过漫无目的地扫描下载这些已知的漏洞文件,很可能会发现你的网站某个漏洞哦!通过观察,可以发现,这些请求所使用的Agent 差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常规的浏览器类型,以上我提供的日志格式化工具已经集成了 对这些请求的警报功能。我们可以通过禁止这些Agent的访问,来达到防止被扫描的目的,具体方法下面再介绍。

307 - 临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。

 

400 - 错误的请求。

3、观察搜索引擎蜘蛛的来访情况

401 - 访问被拒绝。IIS 定义了许多不同的 401 错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在 IIS 日志中显示:

通过观察日志中的信息,你可以看出你的网站被蜘蛛访问的频率,进而可以看出你的网站是否被搜索引擎青睐,这些都是SEO所关心的问题吧。日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下:

99696大富豪棋牌,401.1 - 登录失败。

Google蜘蛛 :Mozilla/5.0 (compatible; Googlebot/2.1; + 

401.2 - 服务器配置导致登录失败。

Baidu蜘蛛 :Baiduspider+(+ 

401.3 - 由于 ACL 对资源的限制而未获得授权。

Yahoo!蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp/3.0;  

401.4 - 筛选器授权失败。

Yahoo!中国蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp China;  

本文由99696大富豪棋牌发布于99696大富豪棋牌,转载请注明出处:99696大富豪棋牌爬取反应出来的HTTP状态码,  

关键词: