网站服务器日志记录了web服务器接收处理请求以及运行时错误等各种原始信息。通 过对日志进行统计、分析、综合,就能有效地掌握服务器的运行状况,发现和排除错误原 因、了解客户访问分布等,更好的加强系统的维护和管理。
对于自己有服务器的朋友或是有条件可以看到服务器日志文件的朋友来说,无疑是了 解搜索引擎工作原理和搜索引擎对网页抓取频率的最佳途径。
通过这个文件,您可以了解什么搜索引擎、什么时间、抓取了哪些页面,以及可以知 道是主搜索蜘蛛还是从搜索蜘蛛抓取了您的网站等的信息。
什么是IIS访问日志?
IIS日志,主要用于记录用户和搜索引擎蜘蛛对网站的访问行为。IIS日志中,包括客户端访问时间、访问来源、来源IP、客户端请求方式、请求端口、访问路径及参数、Http状态码状态、返回字节大小等信息。
如何查看IIS日志?
Windows2003环境中,IIS日志默认存储路径:C:\WINDOWS\system32\LogFiles\ ,在LogFiles文件夹下,存在多个IIS日志文件夹,每个IIS日志文件夹对应一个站点日志。当然IIS日志文件存储位置也可以根据自己的实际情况,在IIS管理器中重新设定。
要查看对应站点的IIS日志,只需要打开对应IIS日志文件夹找到相对应日志文件即可。也可借助IIS日志分析工具提供查看IIS日志的效率!
IIS日志文件存储格式:IIS日志是后缀名为log的文本文件。
IIS日志文件代码格式:
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2009-11-26 06:14:21
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2009-11-26 06:14:21 W3SVC692644773 125.67.67.* GET /index.html - 80 - 123.125.66.130 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64
2009-11-26 06:14:21 W3SVC692644773 125.67.67.* GET /index.html - 80 - 220.181.7.116 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64
IIS日志参数详解:
date:发出请求时候的日期。
time:发出请求时候的时间。注意:默认情况下这个时间是格林威治时间,比我们的北京时间晚8个小时,下面有说明。
c-ip:客户端IP地址。
cs-username:用户名,访问服务器的已经过验证用户的名称,匿名用户用连接符-表示。
s-sitename:服务名,记录当记录事件运行于客户端上的Internet服务的名称和实例的编号。
s-computername:服务器的名称。
s-ip:服务器的IP地址。
s-port:为服务配置的服务器端口号。
cs-method:请求中使用的HTTP方法,GET/POST。
cs-uri-stem:URI资源,记录做为操作目标的统一资源标识符(URI),即访问的页面文件。
cs-uri-query:URI查询,记录客户尝试执行的查询,只有动态页面需要URI查询,如果有则记录,没有则以连接符-表示。即访问网址的附带参数。
sc-status:协议状态,记录HTTP状态代码,200表示成功,403表示没有权限,404表示找不到该页面,具体说明在下面。
sc-substatus:协议子状态,记录HTTP子状态代码。
sc-win32-status:Win32状态,记录Windows状态代码。
sc-bytes:服务器发送的字节数。
cs-bytes:服务器接受的字节数。
time-taken:记录操作所花费的时间,单位是毫秒。
cs-version:记录客户端使用的协议版本,HTTP或者FTP。
cs-host:记录主机头名称,没有的话以连接符-表示。注意:为网站配置的主机名可能会以不同的方式出现在日志文件中,原因是HTTP.sys使用Punycode编码格式来记录主机名。
cs(User-Agent):用户代理,客户端浏览器、操作系统等情况。
cs(Cookie):记录发送或者接受的Cookies内容,没有的话则以连接符-表示。
cs(Referer):引用站点,即访问来源。
HTTP协议状态码的含义,协议状态sc-status,是服务器日记扩展属性的一项。下面是各状态码含义列表:
[li]"100" : Continue 客户必须继续发出请求[/li][li]"101" : witching Protocols 客户要求服务器根据请求转换HTTP协议版本 200交易成功[/li][li]"200" : OK 交易成功[/li][li]"201" : Created 提示知道新文件的URL[/li][li]"202" : Accepted 接受和处理、但处理未完成[/li][li]"203" : Non-Authoritative Information 返回信息不确定或不完整[/li][li]"204" : No Content 请求收到,但返回信息为空[/li][li]"205" : Reset Content 服务器完成了请求,用户代理必须复位当前已经浏览过的文件[/li][li]"206" : Partial Content 服务器已经完成了部分用户的GET请求[/li][li]"300" : Multiple Choices 请求的资源可在多处得到[/li][li]"301" : Moved Permanently 删除请求数据[/li][li]"302" : Found 在其他地址发现了请求数据[/li][li]"303" : See Other 建议客户访问其他URL或访问方式[/li][li]"304" : Not Modified 客户端已经执行了GET,但文件未变化[/li][li]"305" : Use Proxy 请求的资源必须从服务器指定的地址得到 [/li][li]"306" 前一版本HTTP中使用的代码,现行版本中不再使用[/li][li]"307" : Temporary Redirect 申明请求的资源临时性删除[/li][li]"400" : Bad Request 错误请求,如语法错误[/li][li]"401" : Unauthorized 请求授权失败[/li][li]"402" : Payment Required 保留有效ChargeTo头响应[/li][li]"403" : Forbidden 请求不答应[/li][li]"404" : Not Found 没有发现文件、查询或URl[/li][li]"405" : Method Not Allowed 用户在Request-Line字段定义的方法不答应[/li][li]"406" : Not Acceptable 根据用户发送的Accept拖,请求资源不可访问[/li][li]"407" : Proxy Authentication Required 类似401,用户必须首先在代理服务器上得到授权[/li][li]"408" : Request Time-out 客户端没有在用户指定的饿时间内完成请求[/li][li]"409" : Conflict 对当前资源状态,请求不能完成[/li][li]"410" : Gone 服务器上不再有此资源且无进一步的参考地址[/li][li]"411" : Length Required 服务器拒绝用户定义的Content-Length属性请求[/li][li]"412" : Precondition Failed 一个或多个请求头字段在当前请求中错误[/li][li]"413" : Request Entity Too Large 请求的资源大于服务器答应的大小[/li][li]"414" : Request-URI Too Large 请求的资源URL长于服务器答应的长度[/li][li]"415" : Unsupported Media Type 请求资源不支持请求项目格式 [/li][li]"416" : Requested range not satisfiable 请求中包含Range请求头字段,在当前请求资源范围内没有range指示值,请求也不包含If-Range请求头字段[/li][li]"417" : Expectation Failed 服务器不满足请求Expect头字段指定的期望值,假如是代理服务器,[/li][li]"500" : Internal Server Error 服务器产生内部错误[/li][li]"501" : Not Implemented 服务器不支持请求的函数[/li][li]"502" : Bad Gateway 服务器暂时不可用,有时是为了防止发生系统过载[/li][li]"503" : Service Unavailable 服务器过载或暂停维修[/li][li]"504" : Gateway Time-out 关口过载,服务器使用另一个关口或服务来响应用户,等待时间设定值较长[/li][li]"505" : HTTP Version not supported 服务器不支持或拒绝支请求头中指定的HTTP版本[/li]
访问原理
1、客户端(浏览器)和Web服务器建立TCP连接,连接建立以后,向Web服务器发出 访问请求(如:Get),根据HTTP协议该请求中包含了客户端的IP地址、浏览器类型、 请求的URL等一系列信息。
2、Web服务器收到请求后,将客户端要求的页面内容返回到客户端。如果出现错误,那么返回错误代码。
3、服务器端将访问信息和错误信息纪录到日志文件里。
查看服务器IIS服务器日志是在Windows文件夹.>>>>system32>>LogFiles>>W3SVC1下的.Log文件
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 03:56:30
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12 03:56:30 ************** 218.25.92.169 GET / - 80 - 220.181.18.98 Baiduspider+(+http://www.baidu.com/search/spider.htm) 403 14 5
/* 说明 */
上面定义了在2006年5月12日的3点56分30秒的时候,IP为220.181.18.98的百度蜘蛛通过80端口(HTTP)访问了IP为218.25.92.169的服务器的根目录,但被拒绝。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 10:18:39
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12 10:33:36 ************** 218.25.92.169 GET /***/index.htm - 80 - 10.2.57.6 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0
2006-05-12 10:33:36 ************** 218.25.92.169 GET /***/***/***.gif - 80 - 10.2.57.6 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0
/* 说明 */
上面定义了在2006年5月12日的10点33分36秒的时候,IP为10.2.57.6的用户正常访问了网站**************中***目录下的index.htm页和***/***下的***。gif图片。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 13:17:46
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12 13:17:46 ************** 218.25.92.169 GET /robots.txt - 80 - 66.249.66.72 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 404 0 2
2006-05-12 13:17:46 ************** 218.25.92.169 GET / - 80 - 66.249.66.72 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 403 14 5
/* 说明 */
上面定义了在2006年5月12日的13点17分46秒的时候,IP为66.249.66.72的Google蜘蛛访问了robots.txt文件,但没有找到此文件,有访问了此网站的根目 录,但被拒绝。
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes
日期时间 站点名 服务IP 访问方法 URI资源 URI查询 服务器端口 用户名 客户IP 用户代理 协议状态 协议子状态 Win32状态 发送的字节数
HTTP协议状态码的含义,协议状态sc-status,是服务器日记扩展属性的一项,下面是各状态码含义列表:
[li]"100" : Continue[/li][li]"101" : witching Protocols[/li][li]"200" : OK[/li][li]"201" : Created
"202" : Accepted[/li][li]"203" : Non-Authoritative Information
"204" : No Content
"205" : Reset Content
"206" : Partial Content [/li][li]"300" : Multiple Choices [/li][li]"301" : Moved Permanently
"302" : Found [/li][li]"303" : See Other
"304" : Not Modified . [/li][li]"305" : Use Proxy -[/li][li]"307" : Temporary Redirect [/li][li]"400" : Bad Request
"401" : Unauthorized [/li][li]"402" : Payment Required [/li][li]"403" : Forbidden [/li][li]"404" : Not Found [/li][li]"405" : Method Not Allowed [/li][li]"406" : Not Acceptable [/li][li]"407" : Proxy Authentication Required [/li][li]"408" : Request Time-out -[/li][li]"409" : Conflict
"410" : Gone
"411" : Length Required
"412" : Precondition Failed [/li][li]"413" : Request Entity Too Large
"414" : Request-URI Too Large [/li][li]"415" : Unsupported Media Type - [/li][li]"416" : Requested range not satisfiable - [/li][li]"417" : Expectation Failed [/li][li]"500" : Internal Server Error [/li][li]"501" : Not Implemented
"502" : Bad Gateway [/li][li]"503" : Service Unavailable [/li][li]"504" : Gateway Time-out[/li]
|