您的位置: 内蒙古时时彩走势 > SEO教程 > SEO进阶教程 > 正文

时时彩大小单双稳赚法:seo基础robots写法及robots高级玩法

内蒙古时时彩走势 www.j9v65.com.cn 发布时间:2018-05-11 13:06:57 来源:内蒙古时时彩走势 编辑:SEO知否    人点击

  什么是robots?

  robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索来爬行网站时候,会先看网站里有没有robots这个文件,如果有这个文件,会按照robots文件给的爬行规则进行网站的爬取。

什么是robots

  为什么要用robots?

  网站为了seo网站优化肯定会有部分页面不想被搜索抓取和收录,如“联系我们”“广告合作”这时就会用到robots,来屏蔽搜索的爬取和收录。

  robots的基本写法

  1、允许所有搜索引擎访问

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  注意,可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

  2、禁止所有搜索引擎访问

  User-agent: *

  Disallow: /

  或者

  User-agent: *

  allow:

  3、禁止所有搜索引擎访问网站中的几个部分,在这里我用a、b、c目录来代替

  User-agent: *

  Disallow: /a/

  Disallow: /b/

  Disallow: /c/

  如果是允许,则是

  Allow: /a/

  Allow: /b/

  Allow: /c/

  4、禁止某个搜索引擎的访问,我用w来代替

  User-agent: w

  Disallow: /

  或

  User-agent: w

  Disallow: /d/*.htm

  在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。

  5、只允许某个搜索引擎的访问,我用e来代替

  User-agent: e

  Disallow:

  在Disallow:后面不加任何东西,意思是仅允许e访问该网站。

  6、使用”$”限制访问url

  User-agent: *

  Allow: .htm$

  Disallow: /

  意思是仅允许访问以”.htm”为后缀的URL

  7、禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  8、禁止搜索引擎F抓取网站上所有图片

  User-agent: F

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)

  9、只允许搜索引擎E抓取网页和.gif格式图片

  User-agent: E

  Allow: .gif$

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .png$

  Disallow: .bmp$

  意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片

  针对seo的robots高级写法

  顶级seo高手robots.txt的写法

  robots使用时的注意点

  robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

  针对新手使用robots

  百度站长平台刚升级了robots

百度站长平台robots

  可以检测你自己制作的robots规则是否能生效。当然基本的robots写法你要懂,推荐中国推广学院卡卡老师的视频教程:robots.txt写法

  这样只需掌握robots的基础写法,就能写出高级robots。


  • 中国军队:国之利刃——中国陆军特种部队 2018-12-16
  • 湖州安吉县白茶飘香观光带线路优化完成 2018-12-16
  • 领导人与人民日报,一字一句总关情 2018-12-16
  • 出卖社会主义,发不了大财。 2018-12-16
  • 聚焦养老产业发展 首届养老产业环球峰会在京举办 2018-12-15
  • 进不了朋友圈,身份认同难。 2018-12-15
  • [大红包]——有神论者是客观唯心主义派别的三种世界观。无神论者是主观唯心主义、客观唯物主义和主观唯物主义三个派别的九种世界观!!!! 2018-12-15
  • 山东省直机关党支部书记示范培训班(第一期)开班 2018-12-14
  • 荆楚网网络视听节目许可证 2018-12-14
  • 湖州美妆小镇:打造“中国的格拉斯” 2018-12-14
  • 紧跟美联储 港金管局加息25个基点 2018-12-13
  • 向全能型选手进阶 试驾路虎揽胜运动版 2018-12-13
  • 回复@老老保老张工:咱敢肯定伪高工连一份靠谱的企业计划都做不出来!不服?那你写篇如何制订企业计划的帖子给大家看看? 2018-12-12
  • 那奔腾不息的母爱幸福暖流,总有一天你会懂 2018-12-12
  • 回复@老老保老张工:吃个早餐还要让人批准?就这点出息啊? 2018-12-12
  • 463| 564| 464| 101| 532| 856| 500| 769| 455| 770|