对于MJ12bot爬虫蜘蛛要看抓取次数是否很多，如果抓取次数很多，而且网站访问速度有所降低的话，就屏蔽掉，另外这种还有可能是其他采集软件伪装的搜索引擎制作，通过nslookup反查一下IP地址，如果是采集软件伪装的蜘蛛，立马封掉。
MJ12bot 是英国的一家老牌的搜索引擎营销网站 Majestic 的爬虫，他有专门的中文站，对外链查询等很多 SEO 数据查询提供数据支撑，做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数，不过很多公司看到日志里有这个 MJ12bot 蜘蛛，中文是选择直接屏蔽掉（MJ12bot 是 Majestic-12 分布式搜索引擎的爬虫）
官方网址：点击前往
官方给了一个修改 robots 的方法，就是在 robots.txt 文件中加入：
User-agent:MJ12bot
Disallow:/对于MJ12bot 爬虫蜘蛛要看抓取次数是否很多，如果抓取次数很多，而且网站访问速度有所降低的话，就屏蔽掉，另外这种还有可能是其他采集软件伪装的搜索引擎制作，通过 nslookup 反查一下 IP 地址，如果是采集软件伪装的蜘蛛，立马封掉。
一、本站上的部份代码及教程来源于互联网，仅供网友学习交流。如有侵权，无意侵害您的权益，请发送邮件至zhangshen#ahap.cn或点击右侧 联系我们，我们将尽快处理。
二、请勿将购买的资源教程转载或分享与他人！
二、请勿将购买的资源教程转载或分享与他人！
这个人很懒，什么都没有留下！
网站挺不错的！