找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

小喇叭+ 发布

系统消息:jinqike1026已经连续答对5道难题,逆天学霸谁与争锋?!#每日答题#
03-03 23:39
系统消息:喇叭功能正式上线
01-21 23:03
系统消息:小喇叭数据亦可由其他应用推送而来,快速打开这个应用。#雨述分享#
12-10 17:20
系统消息:是一条系统消息,由其他应用推送或前台管理员发布,如果是人为,后台可以查看是谁发布。
01-27 15:39
匿名者:匿名消息只有前台管理员可以看到用户名,后台则直接可见。
01-25 10:01
01-24 12:40
查看: 1081|回复: 0

[网络安全] robot.txt对百度、搜狗、360、神马、Google等蜘蛛爬行禁止写法

[复制链接]

806

主题

104

回帖

1万

积分

总站长

凌烟阁议会

发表于 2022-1-12 08:09:35 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
  1. 以下规则允许百度、搜狗、360、神马、Google等蜘蛛爬行本站,禁止其它蜘蛛爬行。

  2. User-agent:Baiduspider
  3. Allow:/
  4. User-agent:Sogou web spider
  5. Allow:/
  6. User-agent:360spider
  7. Allow:/
  8. User-agent:YisouSpider
  9. Allow:/
  10. User-agent:Googlebot
  11. Allow:/

  12. User-agent: *
  13. Disallow: /
  14. Disallow: /feed/
  15. Disallow: /trackback/
  16. Disallow: /wp-admin/
  17. Disallow: /wp-content/
  18. Disallow: /wp-includes/
  19. Disallow: /xmlrpc.php
  20. Disallow: /wp-

  21. 以下允许所有蜘蛛爬行收录,其中百度蜘蛛特别限制。

  22. User-agent: *
  23. Disallow: /feed/
  24. Disallow: /trackback/
  25. Disallow: /wp-admin/
  26. Disallow: /wp-content/
  27. Disallow: /wp-includes/
  28. Disallow: /xmlrpc.php
  29. Disallow: /wp-

  30. User-agent: Baiduspider
  31. Disallow: /page/
  32. Disallow: /category/*/page/
  33. Disallow: /tag/*/page/
  34. Sitemap: https://www.monseng.com/sitemap.xml

  35. 说明:

  36. User-agent: * 对所有搜索引擎开放收录
  37. Disallow: /wp- 禁止搜索引擎收录所有包含“wp-”字样的url,如wp-admin、wp-content、wp-includes、wp-login.php等
  38. Disallow: /? 禁止搜索引擎收录所有包含“?”字样的url
  39. Disallow: /feed/ 禁止搜索引擎收录RSS订阅页面
  40. Disallow: */feed/ 禁止搜索引擎收录所有分类目录、TAG、文章的RSS订阅
  41. Disallow: */trackback/ 禁止收录所有分类目录、TAG、文章的trackback
  42. User-agent: Baiduspider 以下规则仅针对百度蜘蛛
  43. Disallow: /page/ 禁止百度收录首页分页,防止首页权重过于分散
  44. Disallow: /category/*/page/ 同理,禁止百度收录分类目录分页
  45. Disallow: /tag/*/page/ 同理,禁止百度收录TAG标签分页
复制代码

Sitemap: https://www.yusr.cn/sitemap.xml         robots.txt文件增加Sitemap链接方法
robot.txt中是对君子蜘蛛生效,一些不守规则的匿名爬虫可以绕过并不遵守这一规则。


谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.* 这三个 ip 段是最为常规出现的

66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后

爱我所爱,倾其为真
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|雨述论坛 |网站地图|吉ICP备20003128号-2

GMT+8, 2026-11-17 08:21 , Processed in 0.068377 second(s), 43 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表