为了能更方便的了解Baidu蜘蛛来访的情况,
我们单独写了个只记录Baidu蜘蛛来访记录。
SetEnvIfNoCase User-Agent Baiduspider baidu_robot
LogFormat “%h %t \”%r\” %>s %b” robot
CustomLog “|/usr/local/apache2.2.0/bin/rotatelogs /usr/local/apache2.2.0/logs/liyunde.org_baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robot
这样在logs目录下,就会每天产生liyunde.org_baidu_年月日.txt的日志了,每条的记录和下面的类似:
220.181.38.90 [24/Dec/2008:23:59:33 +0800] “GET / HTTP/1.1″ 200 8427
方法很简单,如果你要只记录其他蜘蛛的记录也很容易,如法炮制就行了,可能做英文站的站长会有这种需要