正文:
之前我分享过一段 php
代码,可以将蜘蛛的统计结果以 txt
文件的形式展示出来,方便用户查看搜索引擎蜘蛛爬取的 url
链接,并且可以查询快照是否被收录。今年,很多人都在使用 360
快照秒收功能,因此将 360
蜘蛛抓取的 url
链接保存为 txt
文件变得尤为重要。我们可以将这些链接导入到 IIS7
中,通过一键查询来判断是否被收录以及收录的数量。
操作方法
在服务器根目录新建:
,代码如下:spider.php
<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, '360spider') !== false){
return '360Spider';
}
return false;
}
function nowtime(){
$date=gmdate("Y-n-j H:i:s",time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
$file="spiderlogs.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$url\n");
fclose($data);
}
?>
在泛目录的
的等相关蜘蛛会访问到的文件中插入:index.php
/404
.php/sitemapphp
include'spider.php';
查看蜘蛛统计的话,访问: 您的域名/spiderlogs.txt
转载请注明:汇站网 » 自用便于统计360蜘蛛的php代码