肖兴来SEO博客今天给大家介绍一款wordpress搜索引擎蜘蛛爬虫插件wp-log-robots。该插件就是记录各大搜索引擎爬虫抓取网站的记录，避免去看空间日志的麻烦，在蜘蛛访问过你的网站之后，会在网站的根目录出现robots_log.txt这个文件，它把蜘蛛访问的记录都记录到这个文件里面，我们只要在域名的后面加一个robots_log.txt就可以直接查看蜘蛛的来访记录了，非常的方便。不管你是做SEO的还是运营网站的，这款wordpress搜索引擎蜘蛛爬虫插件wp-log-robots都有必要，我们大多数网站空间并不支持记录蜘蛛抓取日志的功能，即使有这个功能我们也不是很容易看懂，他记录的东西很多，需要借助专业的工具进行分析才能看懂。一些新站没有收录总感觉百度坑人不收自己的，借助此插件看一看每天百度的蜘蛛是不是来过，心里多少有个底不是吗。
wp-log-robots
安装方法：
到插件处搜索 wp-log-robots 第一个便是，点击安装或下载此插件到电脑，在插件处选上传安装选择下载的插件安装即可。安装好后启用就 ok！了无需任何设置。
下载地址：
官网下载：http://wordpress.org/extend/plugins/wp-log-robots/
查看日志的方法很简单，直接在浏览器地址栏：你的域名/robots_log.txt 这样你就会看到蜘蛛抓取的记录了，刚安装很能不会马上生效需要等到蜘蛛抓取你网站的时候才会在你的空间根目录生成一个robots_log.txt。
演示：大家可以看一下我的SEO博客的抓取记录：https://www.xiaoxinglai.com/robots_log.txt