找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

小喇叭+ 发布

系统消息:jinqike1026已经连续答对5道难题,逆天学霸谁与争锋?!#每日答题#
03-03 23:39
系统消息:喇叭功能正式上线
01-21 23:03
系统消息:小喇叭数据亦可由其他应用推送而来,快速打开这个应用。#雨述分享#
12-10 17:20
系统消息:是一条系统消息,由其他应用推送或前台管理员发布,如果是人为,后台可以查看是谁发布。
01-27 15:39
匿名者:匿名消息只有前台管理员可以看到用户名,后台则直接可见。
01-25 10:01
01-24 12:40
查看: 616|回复: 0

禁止搜索引擎收录的方法

[复制链接]

806

主题

104

回帖

1万

积分

总站长

凌烟阁议会

发表于 2021-10-24 06:47:19 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×

. 什么是robots.txt文件?

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。  

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下
新建一个命名为“robots”的文本文件,robots文件是搜索引擎和网站之间的一个协议。
image.png
设置搜索引擎和网站之间的协议,User-agent:*表示和所有搜索引擎协议适用;Disallow:/表示禁止抓取收录全站。
image.png
如果只是禁止某一个搜索引擎抓取收录网站的某一个目录,比如要禁止百度抓取收录jinzhi目录,则如图设置。
image.png


爱我所爱,倾其为真
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|雨述论坛 |网站地图|吉ICP备20003128号-2

GMT+8, 2026-11-17 08:23 , Processed in 0.082123 second(s), 52 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表