设为首页
收藏本站
开启辅助访问
切换到窄版
登录
立即注册
快捷导航
发布信息
搜索
搜索
首页
优惠促销
云服务器
独立服务器
站群服务器
母鸡服务器
服务器托管
全球云服务器
技术文档
联系
每日签到
本版
文章
帖子
用户
主机测评网
»
论坛
›
技术文档
›
其他教程
›
屏蔽垃圾营销蜘蛛,节约服务器资源 AhrefsBot MJ12bot ...
返回列表
发新帖
屏蔽垃圾营销蜘蛛,节约服务器资源 AhrefsBot MJ12bot BLEXBot SemrushBot
[复制链接]
|
主动推送
55
|
0
|
2024-9-11 18:12:33
|
显示全部楼层
|
阅读模式
最近个一个小站装上了蜘蛛分析的插件,不装不知道,装完才发现,一些垃圾蜘蛛大大占用了服务器资源,包括但不限于AhrefsBot、MJ12bot、BLEXBot、SemrushBot这些营销蜘蛛。
他们来纯粹是为了爬数据,不会给你带来丝毫的流量,这种玩意,还是屏蔽的好,大家可以在网上搜索这些蜘蛛的名字就可以看到他们是干什么的。
来看看我的占用:
小站没啥流量,正经蜘蛛没爬几个页面,才几个小时功夫这些垃圾蜘蛛倒是把页面爬了个遍。
果断全部屏蔽。
使用robots协议即可屏蔽,这几个垃圾蜘蛛虽然不怎么样,但还是遵守这个协议的,以AhrefsBot、MJ12bot、BLEXBot、SemrushBot这些营销蜘蛛为例,在网站robots.txt文件里面加入如下代码即可:
User-agent: AhrefsBotDisallow: /User-agent: BLEXBotDisallow: /User-agent: MJ12botDisallow: /User-agent: SemrushBotDisallow: /
其他蜘蛛同理。
更新:昨天屏蔽了,但今天发现不少蜘蛛不讲武德,根本不遵循robots协议,所以还是服务器添加Nginx或者其他WEB规则来的舒坦,直接拒绝访问:
if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){ return 403;}
以上已经包含大部分营销蜘蛛,放在这里就行了:
有需要的可以弄一下,有些蜘蛛爬起来很疯狂,服务器差点都扛不住。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
无人岛屿颈
102
主题
0
回帖
10
积分
新手上路
新手上路, 积分 10, 距离下一级还需 40 积分
新手上路, 积分 10, 距离下一级还需 40 积分
积分
10
加好友
发消息
回复楼主
返回列表
网络技术教程
软件使用教程
Windows教程
Centos教程
Ubuntu教程
Linux其他教程
综合教程
其他教程
其他文档
服务器商家推荐
华夏互联
蓝速云
米图云
全球云
文章
1
苹果电脑MAC系统登录Windows远程桌面
2
Debian拓展硬盘工具。cloud-utils-growpart、xfsprogs
3
安卓Android手机怎么使用V2rayNG?
4
WINDOWS系统电脑怎么使用WINXRAY?
5
notepad++.8.5.7编辑器,代码编辑器
6
DirectX修复工具增强版_V4.3.0.40864版本DLL修复工具C++安装
7
Visual C++运行库合集包完整版VisualCppRedist_AIO_x86_x64
8
ChromeSetup谷歌浏览器一键安装