深圳网站制作公司易捷网络欢迎您,我司主营业务:深圳企业网站制作,欢迎来电。
深圳企业网站制作
深圳网站制作业务咨询
0755-61603557
赵先生:13714247375
深圳网站制作技术支持
您现在的位置:网站首页 > 深圳网站制作教程

如何设置robots.txt禁止或只允许搜索引擎抓取特定目录

文章作者:易捷网站制作公司编辑    文章来源:深圳网站制作公司-易捷网络

搜索引擎来网站抓取内容的时候,首先会访问你网站根目录下的一个文本文件robots.txt,搜索引擎机器人通过robots.txt里的说明,来理解该网站是否可以全部抓取,或只允许部分抓取。
注意:网站的robots.txt文件一定要存放在网站的根目录。
搜索引擎来网站抓取内容的时候,首先会访问你网站根目录下的一个文本文件robots.txt,搜索引擎机器人通过robots.txt里的说明,来理解该网站是否可以全部抓取,或只允许部分抓取。

注意:网站的robots.txt文件一定要存放在网站的根目录。

robots.txt文件举例说明
禁止所有搜索引擎访问网站的任何内容
User-agent: *
Disallow: /

禁止所有搜索引擎抓取某些特定目录
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

允许访问特定目录中的部分url
User-agent: *
Allow: /158
Allow: /joke

禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*

仅允许百度抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$

1.屏蔽404页面
Disallow: /404.html

2.屏蔽死链
原来在目录为/158下的所有链接,因为目录地址的改变,现在都变成死链接了,那么我们可以用robots.txt把他屏蔽掉。
Disallow: /158/

3.屏蔽动态的相似页面
假设以下这两个链接,内容其实差不多。
/XXX?123
/123.html
我们要屏掉/XXX?123 页面,代码如下:
Disallow: /XXX?

4.告诉搜索引擎你的sitemap.xml地址
具体代码如下:
Sitemap: 你的sitemap地址ap: 你的sitemap地址

深圳网站制作公司易捷网络科技主营业务:企业网站制作、网站推广优化、企业邮箱申请、域名空间购买、网站备案、论坛网站制作和企业网站维护。网站建设服务热线:13714247375
上一篇企业网站制作技术文章:    网站制作语言ASP、PHP、.NET开发语言的优缺点
下一篇企业网站制作技术文章:    深圳网站制作公司中普通企业搭建邮件服务器的目的
深圳网站制作最新案例欣赏:
深圳网站制作相关文章阅读
网站制作流程深圳网站制作深圳网络公司深圳网站制作教程联系我们
业务咨询热线:0755-61603557    7X24小时热线:13714247375赵先生
地址:广东省深圳市宝安区宝源路鸿源大厦715    ICP备案号:粤ICP备12084881号-1
版权所有:深圳网站建设公司易捷网络科技有限公司版权所有  网站地图  XML
本站关键词:深圳网站制作公司  企业网站制作  深圳网站制作  企业网站制作  北京网站制作公司  北京高端网站建设
QQ在线咨询