找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

小喇叭+ 发布

系统消息:jinqike1026已经连续答对5道难题,逆天学霸谁与争锋?!#每日答题#
03-03 23:39
系统消息:喇叭功能正式上线
01-21 23:03
系统消息:小喇叭数据亦可由其他应用推送而来,快速打开这个应用。#雨述分享#
12-10 17:20
系统消息:是一条系统消息,由其他应用推送或前台管理员发布,如果是人为,后台可以查看是谁发布。
01-27 15:39
匿名者:匿名消息只有前台管理员可以看到用户名,后台则直接可见。
01-25 10:01
01-24 12:40
查看: 815|回复: 0

[宝塔及面版] 宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

[复制链接]

806

主题

104

回帖

1万

积分

总站长

凌烟阁议会

发表于 2023-4-3 10:29:18 来自手机 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:

  1. (Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)
复制代码


方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:
  1. if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
  2.       return 403; }
复制代码

brjN3d.png
Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。
brjp1s.png
爱我所爱,倾其为真
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|雨述论坛 |网站地图|吉ICP备20003128号-2

GMT+8, 2026-11-17 08:21 , Processed in 0.071301 second(s), 51 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表