游泳

如何放置Robotstxt文件7z

2019-06-09 14:55:43来源:励志吧0次阅读

t 文件对抓取络的搜索引擎漫游器(称为漫游器)进行限制。这些漫游器是自动的,在它们访问页前会查看是否存在限制其访问特定页的 t 文件。如果你想保护站上的某些内容不被搜索引擎收入的话,t是一个简单有效的工具。这里简单介绍一下怎么使用它。

如何放置t文件

t自身是一个文本文件。它必须位于域名的根目录中并 被命名为t。位于子目录中的 t 文件无效,因为漫游器只在域名的根目录中查找此文件。例如:

是有效位置, 则不是。

这里举一个t的例子:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~name/

使用 t 文件拦截或删除整个站

要从搜索引擎中删除您的站,并防止所有漫游器在以后抓取您的站,请将以下 t 文件放入您服务器的根目录:

User-agent: *

Disallow: /

要只从 Google 中删除您的站,并只是防止 Googlebot 将来抓取您的站,请将以下 t 文件放入您服务器的根目录:

User-agent: Googlebot

Disallow: /

每个端口都应有自己的 t 文件。尤其是您通过 http 和 https 托管内容的时候,这些协议都需要有各自的 t 文件。例如,要让 Googlebot 只为所有的 http 页而不为 https 页编制索引,应使用下面的 t 文件。

对于 http 协议 (

User-agent: *

Allow: /

对于 https 协议 (

User-agent: *

Disallow: /

允许所有的漫游器访问您的页

User-agent: *

Disallow:

(另一种方法: 建立一个空的 /t 文件, 或者不使用t。)

使用 t 文件拦截或删除页

您可以使用 t 文件来阻止 Googlebot 抓取您站上的页。 例如,如果您正在手动创建 t 文件以阻止 Googlebot 抓取某一特定目录下(例如,private)的所有页,可使用以下 t 条目:

User-agent: Googlebot

Disallow: /private

要阻止 Googlebot 抓取特定文件类型(例如,.gif)的所有文件,可使用以下 t 条目:

User-agent: Googlebot

Disallow: /*.gif

要阻止 Googlebot 抓取所有包含 ? 的址(具体地说,这种址以您的域名开头,后接任意字符串,然后是问号,而后又是任意字符串),可使用以下条目:

User-agent: Googlebot

Disallow: /*?

尽管我们不抓取被 t 拦截的页内容或为其编制索引,但如果我们在络上的其他页中发现这些内容,我们仍然会抓取其址并编制索引。因此,页址及其他公开的信息,例如指 向该站的链接中的定位文字,有可能会出现在 Google 搜索结果中。不过,您页上的内容不会被抓取、编制索引和显示。

作为站管理员工具的一部分,Google提供了t分析工具。它可以按照 Googlebot 读取 t 文件的,通过合理地使用t, 搜索引擎在把用户带到您站的同时,又能保证隐私信息不被收录。

环保节能
海口白癜风医院
小儿紫癜
分享到: