专注国内外云服务器
分享建站技术教程

怎么屏蔽抓取你WordPress网站的无用蜘蛛?

立即购买

阿里云服务器 ¥102元/年 云数据库37.5元/年 限时

个人、企业均可购买 | 更多配置0.8折特惠

吾上云WORDPRESS教程最新“怎么屏蔽抓取你WordPress网站的无用蜘蛛?”

很久之前其实就发现一个问题,很多的蜘蛛来抓取你的网站,通过分析网站的日志文件可以看到,有很多蜘蛛我们是欢迎的,有些我们确实不想要的,但是却长期的在抓取,于是想要把他屏蔽掉,当天一般想到的办法可能是定义robots文件,但是这个似乎并没有用处,一方面有些蜘蛛并不遵守这个规则协议,照样抓取,一方面很多蜘蛛其实是仿冒的,比如你也可以仿冒百度蜘蛛的UA信息去抓取别人的网站,所以robots文件几乎是没法实现的。那么怎么屏蔽抓取你WordPress网站的无用蜘蛛?

之前介绍过宝塔免费的防火墙比较好用,可以借助这个防火墙功能,屏蔽恶意的无用的一些蜘蛛的UA信息,比如:

Mozilla/5.0(compatible;AhrefsBot/6.1;+http://ahrefs.com/robot/);

Mozilla/5.0(compatible;YandexBot/3.0;+http://yandex.com/bots)

等,这些几乎是国外的一些搜索引擎或者是根本不会带来任何好处比如搜索流量的,所以可以直接屏蔽他们。其他有益的蜘蛛需要保留不要误杀了,比如谷歌百度搜狗头条什么等等;除了防火墙可以屏蔽UA还可以借助CDN去实现屏蔽UA。

屏蔽抓取WordPress网站的无用蜘蛛的原因是什么?其实更多的是访问抓取网站的时候会消耗一定的服务器资源,带来带宽流量等消耗。

文章来源于互联网WORDPRESS教程:怎么屏蔽抓取你WordPress网站的无用蜘蛛?,
阿里云服务器89元起,点击购买
腾讯云服务器95元/年起 点击购买

相关推荐: WordPress添加前台注册功能的方法介绍

吾上云WORDPRESS教程最新“WordPress添加前台注册功能的方法介绍”本文实例讲述了WordPress添加前台注册功能的方法。分享给大家供大家参考。具体分析如下: WordPress属于个人博客型的开源系统,是不是具备前台注册功能的,下面我来介绍自己…

赞(0)
未经允许不得转载:吾上云 » 怎么屏蔽抓取你WordPress网站的无用蜘蛛?
分享到: 更多 (0)
  • 阿里云
    基础型云服务器

    1核CPU

    2G内存

    40G硬盘

    1M带宽

    独立IP

    分布式存储

    适合企业官网、个人站长类网站

    ¥89/1年 原价¥903.40

  • 阿里云
    超值型云服务器

    2核CPU

    4G内存

    40G硬盘

    3M带宽

    独立IP

    分布式存储

    适合企业官网、行业门户类网站

    ¥899/3年 原价¥8281

  • 阿里云
    高性能云服务器

    2核CPU

    8G内存

    40G硬盘

    5M带宽

    独立IP

    分布式存储

    适合电商、数据库等企业级应用

    ¥1399/3年¥14765

  • 腾讯云
    基础型云服务器

    1核CPU

    2G内存

    50G硬盘

    1M带宽

    独立IP

    分布式存储

    适合企业官网、个人站长类网站

    ¥95/1年 原价¥834

  • 腾讯云
    超值型云服务器

    1核CPU

    2G内存

    50G硬盘

    1M带宽

    独立IP

    分布式存储

    适合企业官网、行业门户类网站

    ¥288/3年 原价¥2502

  • 腾讯云
    高性能云服务器

    4核CPU

    8G内存

    50G硬盘

    5M带宽

    独立IP

    分布式存储

    适合电商、数据库等企业级应用

    ¥2188/3年¥13986

  • 阿里云
    基础型云服务器

    1核CPU

    2G内存

    40G硬盘

    1M带宽

    独立IP

    分布式存储

    适合企业官网、个人站长类网站

    ¥89/1年 原价¥903.40

  • 阿里云
    超值型云服务器

    2核CPU

    4G内存

    40G硬盘

    3M带宽

    独立IP

    分布式存储

    适合企业官网、行业门户类网站

    ¥899/3年 原价¥8281

  • 阿里云
    高性能云服务器

    2核CPU

    8G内存

    40G硬盘

    5M带宽

    独立IP

    分布式存储

    适合电商、数据库等企业级应用

    ¥1399/3年¥14765

  • 腾讯云
    基础型云服务器

    1核CPU

    2G内存

    50G硬盘

    1M带宽

    独立IP

    分布式存储

    适合企业官网、个人站长类网站

    ¥95/1年 原价¥834

  • 腾讯云
    超值型云服务器

    1核CPU

    2G内存

    50G硬盘

    1M带宽

    独立IP

    分布式存储

    适合企业官网、行业门户类网站

    ¥288/3年 原价¥2502

  • 腾讯云
    高性能云服务器

    4核CPU

    8G内存

    50G硬盘

    5M带宽

    独立IP

    分布式存储

    适合电商、数据库等企业级应用

    ¥2188/3年¥13986

评论 抢沙发

评论前必须登录!

 

吾上云 专注服务器选购

购买云服务器联系我们