SEO中的robots是什么意思?怎么写?

SEOrobots是什么意思

SEO中的robots.txt是一个纯文本,告诉搜索引擎哪些文件声明哪些文件不可以被抓取,哪些特定的部分可以被抓取。一般是放在网站根目录下。
robots.txt
我们常用的搜索引擎类型有: (User-agent区分大小写)

google蜘蛛:Googlebot

百度蜘蛛:Baiduspider

yahoo蜘蛛:Yahoo!slurp

alexa蜘蛛:ia_archiver

bing蜘蛛:MSNbot

altavista蜘蛛:scooter

lycos蜘蛛:lycos_spider_(t-rex)

alltheweb蜘蛛:fast-webcrawler

inktomi蜘蛛: slurp

Soso蜘蛛:Sosospider

Google Adsense蜘蛛:Mediapartners-Google

有道蜘蛛:YoudaoBot

robots怎么写?

记住写robots的文件名必须全部用小写!

User-agent:该项的值用于描述搜索引擎robot的名字,一般后面用*来表示,代表支持全部搜索引擎。

Disallow:该项的值用于描述不希望被访问的一组URL,

Allow:该项的值用于描述希望被访问的一组URL

robots.txt文件的写法 User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
robots

robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Allow:

例3. 禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /

例4. 允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/

阿南南提醒大家:

需要注意的是对每一个目录必须分开声明,而不要写成 “Disallow: /cgi-bin/ /tmp/”。User-agent:后的*具有特殊的含义,代表“any robot”,所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。


本博客所有文章如无特别注明均为原创。作者:阿南南复制或转载请以超链接形式注明转自 阿南南SEO博客
原文地址《SEO中的robots是什么意思?怎么写?
分享到:更多

相关推荐

发表评论

路人甲 表情
看不清楚?点图切换 Ctrl+Enter快速提交

网友评论(0)