什么是robots.txt文件?robots.txt文件的生效期是多久?

　robots.txt文件是几乎每个正规战都会有的文件，是网站与搜索引擎之间对话的通道，今天小编来讲解下什么是robots.txt文件?robots.txt文件的生效期是多久?等问题，希望对你有帮助!

　　robots.txt文件的四个问题解答：

　　➊ 什么是robots.txt文件协议?

　　robots.txt文件，又称爬虫协议、robots协议等，其全称为网络爬虫排除标准(Robots Exclusion Protocol)。

　　robots.txt文件是我们网站和各大搜索引擎之间的一个协议，比如说我们不允许百度爬行我们的网站，我们不允许百度爬行我们的目录，我们不允许360爬行我们的网站，像这些操作一样，我们可以把它写在robots协议里，制作一个txt文档。

　　命名：robots.txt可以直接放在我们网站的根目录下。当主要引擎爬行我们的网站时，它们必须首先访问robots协议。如果我们允许爬行，他们就会爬行我们的网站。

　　➋ robots.txt文件存放路径?

　　写robots.txt文件其实很简单，只是一个固定的指令，首先我们创建一个新的robots.txt文档就像这样，然后在里面写相关的指令，然后把这个文档上传到站点的根目录，是不是很简单，
 

　　➌ robots.txt文件的生效期是多久?

　　一般是3天左右，也就是写完robots.txt上传到服务器后，因为缓存的原因，搜索引擎也会按照之前的方式爬行。大概1-3天，它会根据您目前的规则逐步更新缓存和爬行，因为每个搜索引擎的生效时间都不一样，您可以实际测试一下。一般来说，大概是1-3天。

　　➍ robots.txt文件与SEO优化的关系。

　　Robot协议对于SEO优化有重要意义，我们都知道搜索引擎爬行我们的站点，如果所有爬行的都是静态的高质量页面，百度会非常信任我们的站点，从而给我们一个很好的排名，但是如果Spider爬行一些系统界面，比如网站后台、图片存储的目录、系统核心文件目录等。

　　这不仅是对Spider资源的浪费，还会让Spider无法识别，从而大量返回搜索引擎的未知页面，这会影响我们对百度的信任分数，阻碍我们的排名。

　　robots协议也是我们节约服务器资源的一种方式，一个网站的页面越多，搜索引擎发送的Spider就越多。引擎Spider和用户访问我们的网站也会消耗我们的服务器资源。

　　如果我们的服务器配置不是很高，几千万个页面，每天的Spider数量是巨大的。它会拖累我们的服务器，阻碍用户的正常访问，所以robots协议的合理运行对我们网站的正常运行也是非常有意义的。

　　如上4点是SEO顾问今天想和大家分享的内容。robots.txt文件对优化的左右很大，希望大家重视并检查自己网站的robots.txt文件，如果您对SEO方面还有疑问，请联系我们的热线电话或在线客服，我们竭诚为您服务!SEO（Search Engine Optimization）：汉译为搜索引擎优化。是一种方式：利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名。目的是让其在行业内占据领先地位，获得品牌收益。很大程度上是网站经营者的一种商业行为，将自己或自己公司的排名前移。搜索引擎优化，又称为SEO，即Search Engine Optimization，它是一种通过分析搜索引擎的排名规律，了解各种搜索引擎怎样进行搜索、怎样抓取互联网页面、怎样确定特定关键词的搜索结果排名的技术。搜索引擎采用易于被搜索引用的手段，对网站进行有针对性的优化，提高网站在搜索引擎中的自然排名，吸引更多的用户访问网站，提高网站的访问量，提高网站的销售能力和宣传能力，从而提升网站的品牌效应。网站搜索引擎优化任务主要是认识与了解其它搜索引擎怎样紧抓网页、怎样索引、怎样确定搜索关键词等相关技术后，以此优化本网页内容，确保其能够与用户浏览习惯相符合，并且在不影响网民体验前提下使其搜索引擎排名得以提升，进而使该网站访问量得以提升，最终提高本网站宣传能力或者销售能力的一种现代技术。基于搜索引擎优化处理，其实就是为让搜索引擎更易接受本网站，搜索引擎往往会比对不同网站的内容，再通过浏览器把内容以最完整、直接及最快的速度提供给网络用户。网站优化是指通过对网站功能、网站结构、网页布局、网站内容等要素的合理设计，使得网站内容和功能表现形式达到对用户友好并易于宣传推广的最佳效果，充分发挥网站的网络营销价值，是一项系统性和全局性的工作，包括对用户的优化、对搜索引擎的优化、对运营维护的优化。网站优化已经成为网络营销经营策略的必然要求。

热门城市： 北京 上海 广州 深圳 天津 重庆 武汉 成都 杭州 南京 济南 郑州 长沙 沈阳 青岛 厦门 南昌 西安 宁波 石家庄

直辖市	北京 天津 上海 重庆
北京	东城区 密云区 平谷区 怀柔区 房山区 昌平区 大兴区 顺义区 通州区 丰台区 石景山区 朝阳区 海淀区 西城区 延庆区
天津	和平区 津南区 西青区 东丽区 红桥区 南开区 河东区 河北区 河西区 北辰区
上海	黄浦区 奉贤区 青浦区 松江区 金山区 嘉定区 宝山区 闵行区 浦东新区 杨浦区 虹口区 普陀区 静安区 长宁区 徐汇区 崇明区
重庆	渝中区 大渡口区 江北区 沙坪坝区 九龙坡区 南岸区 北碚区 渝北区 巴南区
江苏	泗阳 海安 建湖 靖江 沛县 邳州 如东 泰兴 新沂 东台 丹阳 泗洪 昆山 金坛 姜堰 灌云 灌南 宝应县 兴化 扬中 东海 淮安 盐城 扬州 南通 徐州 常州 无锡 南京 连云港 泰州 海门 溧阳 启东 如皋 大丰 沭阳 镇江 宿迁 苏州
江西	南昌 永新 鹰潭 新余 景德镇 抚州 萍乡 上饶 吉安 宜春 九江 赣州 乐平
辽宁	沈阳 庄河 阜新 铁岭 葫芦岛 本溪 辽阳 丹东 朝阳 盘锦 营口 抚顺 锦州 鞍山 大连 瓦房店
内蒙古	呼和浩特 阿拉善盟 乌海 兴安盟 锡林郭勒 乌兰察布 巴彦淖尔市 呼伦贝尔 通辽 鄂尔多斯 赤峰 包头 海拉尔
宁夏	中卫 银川 吴忠 石嘴山 固原
青海	西宁 海西 海北 果洛 海东 黄南 玉树 海南
山东	青岛 寿光 龙口 曹县 单县 肥城 高密 广饶 桓台 莒县 蓬莱 青州 荣成 乳山 滕州 新泰 招远 邹城 诸城 垦利 济南 烟台 潍坊 临沂 淄博 济宁 泰安 聊城 威海 枣庄 德州 日照 东营 菏泽 滨州 莱芜 章丘 邹平
山西	太原 临猗 朔州 忻州 吕梁 阳泉 晋城 长治 晋中 运城 大同 临汾 清徐
陕西	西安 铜川 商洛 安康 延安 榆林 汉中 渭南 宝鸡 咸阳 神木
四川	成都 资阳 凉山 广元 雅安 巴中 阿坝 甘孜 安岳 广汉 简阳 广安 眉山 攀枝花 绵阳 德阳 南充 宜宾 自贡 乐山 泸州 达州 内江 遂宁 仁寿
西藏	拉萨 日喀则 山南 林芝 昌都
新疆	乌鲁木齐 和田 吐鲁番 博尔塔拉 克拉玛依 哈密 喀什 阿克苏 伊犁 巴音郭楞 昌吉 石河子
吉林	长春 四平 延边 松原 白城 通化 白山 辽源 公主岭
湖南	长沙 张家界 湘西 娄底 永州 怀化 邵阳 郴州 岳阳 湘潭 衡阳 常德 益阳 株洲 醴陵
广东	茂名 汕头 湛江 肇庆 云浮 汕尾 潮州 台山 阳春 顺德 惠东 博罗 江门 惠州 珠海 揭阳 梅州 清远 阳江 韶关 河源 深圳 广州 东莞 佛山 中山 海丰
浙江	杭州 象山 温岭 桐乡 慈溪 长兴 嘉善 海宁 德清 东阳 安吉 苍南 临海 永康 诸暨 余姚 宁波 温州 金华 嘉兴 台州 绍兴 湖州 丽水 衢州 舟山 乐清 瑞安 义乌 玉环
安徽	合肥 宣城 亳州 黄山 池州 巢湖 和县 霍邱 桐城 宁国 铜陵 马鞍山 芜湖 蚌埠 阜阳 淮南 安庆 宿州 六安 淮北 滁州 天长
福建	福州 南安 晋江 石狮 武夷山 龙岩 南平 三明 漳州 莆田 泉州 厦门 平潭
甘肃	兰州 嘉峪关 临夏 陇南 金昌 定西 武威 张掖 酒泉 平凉 庆阳 白银 天水 甘南
广西	南宁 防城港 贺州 来宾 河池 百色 钦州 贵港 北海 梧州 玉林 桂林 柳州 崇左
贵州	贵阳 黔西南 安顺 铜仁 毕节 六盘水 黔南 黔东南 遵义 仁怀
海南	海口 白沙 保亭 澄迈 定安 东方 陵水 琼中 屯昌 万宁 文昌 琼海 三沙 五指山 三亚 儋州
河北	石家庄 馆陶 张北 赵县 正定 迁安市 任丘 三河 武安 雄安新区 燕郊 定州 保定 唐山 廊坊 邯郸 秦皇岛 沧州 邢台 衡水 张家口 承德 涿州
河南	郑州 三门峡 鹤壁 济源 明港 鄢陵 禹州 长葛 灵宝 杞县 汝州 项城 偃师 漯河 驻马店 洛阳 新乡 南阳 许昌 平顶山 安阳 焦作 商丘 开封 濮阳 周口 信阳 长垣
黑龙江	哈尔滨 七台河 伊春 黑河 鹤岗 双鸭山 鸡西 佳木斯 绥化 牡丹江 齐齐哈尔 大庆 大兴安岭
湖北	武汉 鄂州 随州 潜江 天门 仙桃 神农架 宜都 汉川 咸宁 荆门 宜昌 襄阳 荆州 十堰 黄石 孝感 黄冈 恩施 枣阳
云南	昆明 迪庆 临沧 保山 普洱 德宏 昭通 西双版纳 楚雄 文山 丽江 玉溪 红河 大理 曲靖 怒江
台湾	台北 基隆 高雄 台中 安平
台湾	台北 基隆 高雄 台中 安平
香港
澳门

热门城市： 北京 上海 广州 深圳 天津 重庆 武汉 成都 杭州 南京 济南 郑州 长沙 沈阳 青岛 厦门 南昌 西安 宁波 石家庄

直辖市	北京 天津 上海 重庆
北京	东城区 密云区 平谷区 怀柔区 房山区 昌平区 大兴区 顺义区 通州区 丰台区 石景山区 朝阳区 海淀区 西城区 延庆区
天津	和平区 津南区 西青区 东丽区 红桥区 南开区 河东区 河北区 河西区 北辰区
上海	黄浦区 奉贤区 青浦区 松江区 金山区 嘉定区 宝山区 闵行区 浦东新区 杨浦区 虹口区 普陀区 静安区 长宁区 徐汇区 崇明区
重庆	渝中区 大渡口区 江北区 沙坪坝区 九龙坡区 南岸区 北碚区 渝北区 巴南区
江苏	泗阳 海安 建湖 靖江 沛县 邳州 如东 泰兴 新沂 东台 丹阳 泗洪 昆山 金坛 姜堰 灌云 灌南 宝应县 兴化 扬中 东海 淮安 盐城 扬州 南通 徐州 常州 无锡 南京 连云港 泰州 海门 溧阳 启东 如皋 大丰 沭阳 镇江 宿迁 苏州
江西	南昌 永新 鹰潭 新余 景德镇 抚州 萍乡 上饶 吉安 宜春 九江 赣州 乐平
辽宁	沈阳 庄河 阜新 铁岭 葫芦岛 本溪 辽阳 丹东 朝阳 盘锦 营口 抚顺 锦州 鞍山 大连 瓦房店
内蒙古	呼和浩特 阿拉善盟 乌海 兴安盟 锡林郭勒 乌兰察布 巴彦淖尔市 呼伦贝尔 通辽 鄂尔多斯 赤峰 包头 海拉尔
宁夏	中卫 银川 吴忠 石嘴山 固原
青海	西宁 海西 海北 果洛 海东 黄南 玉树 海南
山东	青岛 寿光 龙口 曹县 单县 肥城 高密 广饶 桓台 莒县 蓬莱 青州 荣成 乳山 滕州 新泰 招远 邹城 诸城 垦利 济南 烟台 潍坊 临沂 淄博 济宁 泰安 聊城 威海 枣庄 德州 日照 东营 菏泽 滨州 莱芜 章丘 邹平
山西	太原 临猗 朔州 忻州 吕梁 阳泉 晋城 长治 晋中 运城 大同 临汾 清徐
陕西	西安 铜川 商洛 安康 延安 榆林 汉中 渭南 宝鸡 咸阳 神木
四川	成都 资阳 凉山 广元 雅安 巴中 阿坝 甘孜 安岳 广汉 简阳 广安 眉山 攀枝花 绵阳 德阳 南充 宜宾 自贡 乐山 泸州 达州 内江 遂宁 仁寿
西藏	拉萨 日喀则 山南 林芝 昌都
新疆	乌鲁木齐 和田 吐鲁番 博尔塔拉 克拉玛依 哈密 喀什 阿克苏 伊犁 巴音郭楞 昌吉 石河子
吉林	长春 四平 延边 松原 白城 通化 白山 辽源 公主岭
湖南	长沙 张家界 湘西 娄底 永州 怀化 邵阳 郴州 岳阳 湘潭 衡阳 常德 益阳 株洲 醴陵
广东	茂名 汕头 湛江 肇庆 云浮 汕尾 潮州 台山 阳春 顺德 惠东 博罗 江门 惠州 珠海 揭阳 梅州 清远 阳江 韶关 河源 深圳 广州 东莞 佛山 中山 海丰
浙江	杭州 象山 温岭 桐乡 慈溪 长兴 嘉善 海宁 德清 东阳 安吉 苍南 临海 永康 诸暨 余姚 宁波 温州 金华 嘉兴 台州 绍兴 湖州 丽水 衢州 舟山 乐清 瑞安 义乌 玉环
安徽	合肥 宣城 亳州 黄山 池州 巢湖 和县 霍邱 桐城 宁国 铜陵 马鞍山 芜湖 蚌埠 阜阳 淮南 安庆 宿州 六安 淮北 滁州 天长
福建	福州 南安 晋江 石狮 武夷山 龙岩 南平 三明 漳州 莆田 泉州 厦门 平潭
甘肃	兰州 嘉峪关 临夏 陇南 金昌 定西 武威 张掖 酒泉 平凉 庆阳 白银 天水 甘南
广西	南宁 防城港 贺州 来宾 河池 百色 钦州 贵港 北海 梧州 玉林 桂林 柳州 崇左
贵州	贵阳 黔西南 安顺 铜仁 毕节 六盘水 黔南 黔东南 遵义 仁怀
海南	海口 白沙 保亭 澄迈 定安 东方 陵水 琼中 屯昌 万宁 文昌 琼海 三沙 五指山 三亚 儋州
河北	石家庄 馆陶 张北 赵县 正定 迁安市 任丘 三河 武安 雄安新区 燕郊 定州 保定 唐山 廊坊 邯郸 秦皇岛 沧州 邢台 衡水 张家口 承德 涿州
河南	郑州 三门峡 鹤壁 济源 明港 鄢陵 禹州 长葛 灵宝 杞县 汝州 项城 偃师 漯河 驻马店 洛阳 新乡 南阳 许昌 平顶山 安阳 焦作 商丘 开封 濮阳 周口 信阳 长垣
黑龙江	哈尔滨 七台河 伊春 黑河 鹤岗 双鸭山 鸡西 佳木斯 绥化 牡丹江 齐齐哈尔 大庆 大兴安岭
湖北	武汉 鄂州 随州 潜江 天门 仙桃 神农架 宜都 汉川 咸宁 荆门 宜昌 襄阳 荆州 十堰 黄石 孝感 黄冈 恩施 枣阳
云南	昆明 迪庆 临沧 保山 普洱 德宏 昭通 西双版纳 楚雄 文山 丽江 玉溪 红河 大理 曲靖 怒江
台湾	台北 基隆 高雄 台中 安平
台湾	台北 基隆 高雄 台中 安平
香港
澳门