香港高速VIP云机房火爆上线啦!无需备案,开通即用!配套《巅云自助建站系统3.0》将带给您飞一般的可视化拖拽建站体验,欢迎免费体验。

建站专题

企业网站建设做好怎么写r​o​b​o​t​s.​t​x​t​?

一佰互联网站开发设计(www.yinxi.net) 发布日期 2019-08-13 21:32:40 浏览数: 46

企业网站建设做好怎么写robots.txt? - 网站建设公司


那么我们得先来了解一下robots.txt文件是什么,有什么作用。

 

当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”

 

蜘蛛在爬去网站页面之前,首先会去访问网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规则,如果没有这个文件,蜘蛛会认为你的网站同意全部抓取网页。

 

Robots.txr文件是一个纯文本文件,可以告诉蜘蛛哪些页面可以被抓取(收录),哪些页面不能被抓取。

 

写robots.txt要注意的问题:

 

1、只有在你的网站包括不希望被搜索引擎收录的内容时,才利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容,切勿创建 robots.txt文件,不要创建一个内容为空的robots.txt文件。这一点通常被人们忽视,实际上创建空的robots.txt文件对搜刮引擎非常不利。

 

2、如果你不想自己写robots.txt文件,那就请Google帮你写。登录Google平台,有生成robots.txt文件的。

 

3、robots.txt文件是以纯文本格式存在的txt文件。

 

4、robots.txt必须放在网站的根目录中。最上层的robots.txt文件必须这样被访问:如巅云建站写的robots.txt http://www.yinxi.net/robots.txt

 

5、robots.txt通常在某个分目录中还可以存在,但是要是与顶级目录中的robots.txt有不同,则以顶级目录中robots.txt为准。

 

6、写robots.txt时要严格根据以下大小写形式来写

 

7、User-agent: *

Disallow: /

这种格式不但仅是阻止抓取页面,更主要的是你的网站被收录了,然后又把robots.txt文件修改成以上格局,那么你的网站将在搜索引擎中被删除,整个地删除。

 

8、元标志对一样平常的网站来说可有可无,不过你还是得认识:

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>(不容许抓取该页面,不容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>(容许抓取该页面,容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>(容许抓取该页面,不容许跟着该页面上的链连续续抓取)

 

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>(不容许抓取该页面,容许跟着该页面上的链连续续抓取)

 

9、必要删除一些被搜索引擎收录的特定网页,目前好像只有Google这么做了

 

10、如果你的网站比较简单,那么下面的格式足够你利用的了。要是比较大的话,必要访问这里而又不必要访问那边,阻止这个文件又要容许那个文件,容许访问访问带有“?”标记的特定网页等等,那么你必须结合下面的格式详细研究符合于你网站的robots.txt文件写法。

 

接下来就和大家说说怎么写robots.txt?

 

1、阻止搜索引擎访问网站中全部的动态页面(动态页面便是URL中任何带有“?”的页面)

User-agent: *

Disallow: /*?*

 

2、限定搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Disallow: /*.后缀形式(如.html、.htm、.php等等)

 

3、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。

User-agent: *

Allow: .后缀形式(如.html、.htm、.php等等)$

Disallow: /

 

4、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider

User-agent: baiduspider

Disallow: /

 

5、阻止搜索擎访问网站特定某一文件格式的文件(注意不是网页)

User-agent: *

Disallow: /*.(文件格局:如gif、jpg等等)$

 

6、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot

User-agent: baiduspider

Allow:

 

 

User-agent: googlebot

Allow:

 

7、要是你网站的某个目录不想被搜索引擎收录,写法如下:

User-agent: *

Disallow: /目录名称1/

Disallow: /目录名称2/

Disallow: /目录名称3/

过细:不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势,每个目录要单独另起一行特别阐明。

 

8、容许全部的搜索引擎访问你的网站的任何部门,这是通常的用法。

User-agent: *

Disallow:

大概


User-agent: *

Allow: /

 

9、阻止全部搜索引擎访问网站的任何部门,也便是是阻止全部引擎收录你的网站。

User-agent: *

Disallow: /

 

10、容许搜索引擎访问特定目录中的网页

User-agent: *

Allow: /目录1/目录2(容许访问目录2中的网页)

Allow: /目录3/目录4(容许访问目录4中的网页)

Allow: /目录5/目录6(容许访问目录6中的网页)

Disallow: /目录1/

Disallow: /目录3/

Disallow: /目录5/

 

上面所介绍的都是几种常用的文件格式。详细的写法还要视个人的网站需求来定。

重庆网站建设公司,重庆巅云建站 http://www.yinxi.net/ 版权申明:本文章来源于网络,如有侵权,请联系,我们收到后立即删除,谢谢!特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有。


一佰互联是全国知名建站品牌服务商,我们有九年网站建设、网站制作、网页设计、php开发和域名注册及虚拟主机服务经验,提供的自助建站服务更是全国有名。近年来还整合团队优势自主开发了可视化多用户”巅云建站系统“3.0平台版,拖拽排版网站制作设计,轻松实现pc站、手机微网站、小程序、APP一体化全网营销网站建设 ,已成功的为全国上百家网络公司提供自助建站平台搭建服务。

相关新闻more

23
04月
关于Linux安装mysql默认配置文件位置

在linux下面安装mysql如果在/etc下面没有存在my.cnf配置文件解决方式如下:1.通过which mysqld命令来查看mysq... >>详情

30
04月
php数组函数序列之array_combin

array_combine() 定义和用法 array_combine() 函数通过合并两个数组来创建一个新数组,其中的一个数组是键名,另一... >>详情

27
09月
网站设计:具有亲和力的网站是怎么设计出来的

企业网站对于企业品牌来说是十分有用的,不管对于企业的推广、品牌的建设,企业网站都担当着责任,所有行业中企业网站的让上下游产业链紧密的连接... >>详情

18
04月
VPS方案选择中Xen和KVM虚拟机程序的对

关于XEN和KVMKVM是一个全虚拟化的解决方案。可以在x86架构的计算机上实现虚拟化功能。但KVM需要CPU中虚拟化功能的支持,只可在具有... >>详情

营业执照. cdn加速服务 备案系统认证 网络安全协会 我们的支付方式AAA认证
上海 北京 深圳 广州 天津 杭州 南京 武汉 成都 沈阳 大连 长沙 济南 青岛 苏州 福州 无锡 哈尔滨 宁波 重庆 大庆 厦门 西安 长春 珠海 郑州 海口 昆明 太原 石家庄 温州 合肥 乌鲁木齐 南宁 南通 合肥 兰州 呼和浩特 贵阳 烟台 秦皇岛 包头 唐山 银川 汕头 连云港 威海 西宁 湛江 北海 万州 涪陵 长寿 黔江 永川 丰都 忠县 江津 南川 开县 云阳 万盛 梁平 垫江 巫山 城口 建站宝盒 免费建站 门户网站建设 微信网站 手机网站 门户网站制作

7x24小时服务电话:18581389571 传真:023-85725751 免费建站交流群:236412099 139947842(自助建站交流) E-Mail:post@yinxi.net 网站投诉:
重庆楚捷科技有限公司 一佰互联©版权所有 自助建站(www.yinxi.net,Inc.) 2001-2020 All Rights Reserved 本站程序受法律保护,网站法律顾问:ITLAW-庄毅雄律师
中华人民共和国信息产业部网站备案号:渝ICP备12000592号