为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件

查看次数:169 2022-01-07

回答:官方解释:在百度搜索资源平台使用robots工具进行更新,并及时关注文件生效时间,若3天后还未生效,建议提供具体问题截图和具体的URL在反馈中心反馈,以便排查问题。另外开发者自查robots.txt文件是否书写错误,robots文件往往放置在根目录下,包含一条或更多的记录,这些记录通过空行分开。

从百度方面的解释可以看到,理论上百度搜索对于robots文件的反应是比较快的,基本3天左右就能生效。

但要注意,这只是理论上的!就目前百度相关的工具来看,似乎很多都会出现延迟的情况。当然,不管具体什么原因,作为普通的站长,我们都不能去改变什么。能做的就是进行自我排查,在确定操作无误之后,再按照百度的要求,提供相关资料进行反馈。

还有沐风SEO建议,我们在做SEO的时候,要把重心放在站内优化上,坚持内容为王,提供优质的网站内容和用户体验。百度方面提供的这些工具,的确能够解决某些问题,但改变不了根本。

比如我们不能把网站收录寄希望于百度搜索的快速收录,虽然快速收录提供了快速蜘蛛抓取的通道,但真正影响到页面收录的还是页面的质量度。所以,我们需要把网站真正的做好,再通过这些工具进行辅助提升,这样相辅相成才是网站优化的正确方式。



【声明:信息来自网络,如有侵权,联系既删。】
推荐新闻

网站怎么制造才能让手机端阅读更贴合

2022-11-27

首要,为了更好地习惯手机的屏幕尺寸,当涉及到网页制造时,能够调整网页的巨细。现在一般都是运用百分比来调整,而且单元选择也能够用于在不同

笔直门户通过什么样的展现方式用户会更喜欢

2022-11-27

关于公共信息类门户网站,覆盖范围越广越好。笔直网站想要扎根、站稳脚跟,就必须重视内容建设。内容越有深度越受欢迎。那么笔直门户显现的内容

网站制作职业开展趋势

2022-11-27

网站制作在互联网环境下是一个需求很大的职业,许多人看准了这个职业的前景,大学里计算机、信息技能等相关专业都十分抢手,并且跟着互联网技能

新手电商网站建造留意事项

2022-11-27

现在,电商渠道的开展就像春笋般一夜间涌出,在互联网的开展中占有非常重要的位置。现在,电子商务的开展已经开端重视o2 o形式的开展,重视

关于网站不再默认集成百度地图的通知

2022-11-18

尊敬的客户,您好! 根据百度地图今年8月份的最新要求,凡调用百度地图接口的网站均需购买商用授权,费用为5万元/年

新站如何增加网站收录?

2022-09-30

现在很多企业都开始意识到网站SEO优化对企业营销有非常大的作用,许多企业网站都会去做关键词排名优化。网站收录对于seo优化而言是十分重要的,

返回顶部

TOP

QQ客服

QQ客服

上海网站制作公司:电话:021-67637587

021-67637587

开杰做网站
上海网站设计公司 上海网站设计公司

Are you ready?


您准备好了吗?我们时刻准备就绪!

我们专注:网站策划设计、网络多媒体传播、网站优化及网站营销、品牌策略与设计
主营业务:网站建设、企业邮箱、网站优化、域名注册、虚拟空间

期待您与我们联系!您的咨询,是对我们极大的鼓励和支持,也是我们共赢美好未来的开始! 更感谢您对我们的关注与信赖……

您也可通过下列途径与我们取得联系:

电 话: 021-67637587,13817759102 (微信同号)

电 话: 15900942493 (微信同号)

QQ: 632248744 , 273657225

邮 箱: service@kj021.com

地 址: 上海市松江区荣乐中路228弄104号202室

地 址: 上海市闵行区(莘庄)友情路50弄15号1302室

上海网站建设
上海网站建设

上海开杰信息技术有限公司 沪ICP备12017671号-4

电话:021-67637587 15900942493(微信同号)

地址:上海市闵行区友情路50弄15号1302室

地址:上海市松江区荣乐中路228弄104号202室

上海开杰信息技术有限公司 上海网站建设 电话:021-67637587

地址:上海市松江区荣乐中路228弄104号202室

地址:上海市闵行区(莘庄)友情路50弄15号1302

沪公网安备 沪公网安备 31011702001626号 沪ICP备12017671号-4

上海开杰信息技术有限公司松江分部

电话:021-67637587 15900942493

地址:上海市松江区荣乐中路228弄104号202室

上海网站设计公司