马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
- 以下规则允许百度、搜狗、360、神马、Google等蜘蛛爬行本站,禁止其它蜘蛛爬行。
- User-agent:Baiduspider
- Allow:/
- User-agent:Sogou web spider
- Allow:/
- User-agent:360spider
- Allow:/
- User-agent:YisouSpider
- Allow:/
- User-agent:Googlebot
- Allow:/
- User-agent: *
- Disallow: /
- Disallow: /feed/
- Disallow: /trackback/
- Disallow: /wp-admin/
- Disallow: /wp-content/
- Disallow: /wp-includes/
- Disallow: /xmlrpc.php
- Disallow: /wp-
- 以下允许所有蜘蛛爬行收录,其中百度蜘蛛特别限制。
- User-agent: *
- Disallow: /feed/
- Disallow: /trackback/
- Disallow: /wp-admin/
- Disallow: /wp-content/
- Disallow: /wp-includes/
- Disallow: /xmlrpc.php
- Disallow: /wp-
- User-agent: Baiduspider
- Disallow: /page/
- Disallow: /category/*/page/
- Disallow: /tag/*/page/
- Sitemap: https://www.monseng.com/sitemap.xml
- 说明:
- User-agent: * 对所有搜索引擎开放收录
- Disallow: /wp- 禁止搜索引擎收录所有包含“wp-”字样的url,如wp-admin、wp-content、wp-includes、wp-login.php等
- Disallow: /? 禁止搜索引擎收录所有包含“?”字样的url
- Disallow: /feed/ 禁止搜索引擎收录RSS订阅页面
- Disallow: */feed/ 禁止搜索引擎收录所有分类目录、TAG、文章的RSS订阅
- Disallow: */trackback/ 禁止收录所有分类目录、TAG、文章的trackback
- User-agent: Baiduspider 以下规则仅针对百度蜘蛛
- Disallow: /page/ 禁止百度收录首页分页,防止首页权重过于分散
- Disallow: /category/*/page/ 同理,禁止百度收录分类目录分页
- Disallow: /tag/*/page/ 同理,禁止百度收录TAG标签分页
复制代码
robot.txt中是对君子蜘蛛生效,一些不守规则的匿名爬虫可以绕过并不遵守这一规则。
谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.* 这三个 ip 段是最为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后
|