您好!欢迎光临珍品源码!本站资源24小时自动发货,一次付费,终身下载,销售只是起点,服务永无止境! 立即加入我们

超级蜘蛛池之robots的优化

 作者 :   珍品源码管理员 本文共1003个字,预计阅读时间需要3分钟 发布时间: 2020-08-23 共124人阅读

一、robots概述

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.cjzzc.com/robots.txt;

③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

二、robots的写法

# robots.txt file from http://www.cjzzc.com/

# All robots will spider the domain

User-agent:*

Disallow:

1、允许搜索引擎访问所有部分(一般可不写)

User-agent:*

Disallow:

2、禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

3、禁止搜索引擎访问某几个部分

User-agent:*

Disallow:http://www.cjzzc.com/404.html

4、允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容:

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

9、$:通配符,匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$

10、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

User-agent:*

Disallow:/admin/

Allow:/images/

11、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*

Disallow:/admin/*.php$

Allow:/admin/*.asp$

12、禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*

Disallow:/*?*

珍品源码ZPYDM.COM一个高级程序员模板开发平台,专注dedecms模板开发及WordPress模板制作,包括织梦网站模板、织梦商业模板、WordPress模板、CMS网站模板、网站模板、网页模板、网站源码等模板开发及交易,为建站开发人员提供优质的服务。
珍品源码 » 超级蜘蛛池之robots的优化

发表评论

售后服务:

  • 售后服务范围 1、商业模板使用范围内问题免费咨询
    2、源码安装、模板安装(一般 ¥500)服务答疑仅限SVIP用户
    3、需自备服务器或由技术人员负责代买。
    付费增值服务 1、提供dedecms模板、WordPress主题、discuz模板优化等服务请详询在线客服
    2、承接 WordPress、DedeCMS、Discuz 等系统建站、仿站、开发、定制等服务
    3、服务器环境配置(一般 ¥500)
    4、网站中毒处理(需额外付费,1000元/次)
    售后服务时间 周一至周日(法定节假日除外) 9:00-23:00
    免责声明 本站所提供的模板(主题/插件)等资源仅供学习交流,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担,有部分资源为网上收集或仿制而来,若模板侵犯了您的合法权益,请来信通知我们(Email: 418172526@qq.com),我们会及时删除,给您带来的不便,我们深表歉意!

Hi, 如果你对这款模板有疑问,可以跟我联系哦!

联系作者

珍品源码提供最优质的资源集合,开通VIP,无套路海量精品资源任意下载

立即查看 开通VIP
开通SVIP 享更多特权,建议使用 QQ 登录
喜欢我嘛?喜欢就按“ctrl+D”收藏我吧!♡