①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;
②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写: www.cjzzc.com/robots.txt;
③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;
# robots.txt file from http://www.cjzzc.com/
# All robots will spider the domain
User-agent:*
Disallow:
1、允许搜索引擎访问所有部分(一般可不写)
User-agent:*
Disallow:
2、禁止搜索引擎访问任何部分
User-agent:*
Disallow:/
3、禁止搜索引擎访问某几个部分
User-agent:*
Disallow:http://www.cjzzc.com/404.html
4、允许某个搜索引擎访问
User-agent:Baiduspiter
Disallow:/
5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件
User-agent:*
Disallow:/sss/
Disallow:/aaa/
8、禁止除了百度蜘蛛以外的所有 搜索引擎抓取任何内容:
User-agent:Baiduspiter
Disallow:/
User-agent:*
Disallow:/
9、$:通配符,匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件
User-agent:Baiduspiter
Disallow:.jpg$
10、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/
11、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
12、禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。
User-agent:*
Disallow:/*?*
本文链接: http://www.cjzzc.com/article/81.html
上一篇:怎么做到七天上首页的!
下一篇:网站分析白皮书(站长版)
深圳SEO优化公司大鹏优化岳阳网站制作价格湖州关键词排名包年推广推荐广东SEO按天收费价格黑河百度爱采购多少钱丹东seo报价绥化百度网站优化排名推荐丹竹头网站搜索优化价格铜陵SEO按天计费推荐思茅营销网站公司罗湖网站优化按天收费哪家好太原SEO按效果付费报价威海建网站兴安盟百姓网标王推广宿迁网站改版公司石岩推广网站价格松岗SEO按天扣费哪家好徐州网络广告推广报价湘西网站建设报价宁波企业网站设计张掖网站搜索优化报价平凉企业网站建设公司宁波网站优化推广报价哈尔滨SEO按效果付费多少钱双龙网站优化软件哪家好武汉网络推广价格张掖设计网站伊犁企业网站制作报价池州百度seo公司日照seo优化哪家好歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运