为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件

查看次数:117 2022-01-07

回答:官方解释:在百度搜索资源平台使用robots工具进行更新,并及时关注文件生效时间,若3天后还未生效,建议提供具体问题截图和具体的URL在反馈中心反馈,以便排查问题。另外开发者自查robots.txt文件是否书写错误,robots文件往往放置在根目录下,包含一条或更多的记录,这些记录通过空行分开。

从百度方面的解释可以看到,理论上百度搜索对于robots文件的反应是比较快的,基本3天左右就能生效。

但要注意,这只是理论上的!就目前百度相关的工具来看,似乎很多都会出现延迟的情况。当然,不管具体什么原因,作为普通的站长,我们都不能去改变什么。能做的就是进行自我排查,在确定操作无误之后,再按照百度的要求,提供相关资料进行反馈。

还有沐风SEO建议,我们在做SEO的时候,要把重心放在站内优化上,坚持内容为王,提供优质的网站内容和用户体验。百度方面提供的这些工具,的确能够解决某些问题,但改变不了根本。

比如我们不能把网站收录寄希望于百度搜索的快速收录,虽然快速收录提供了快速蜘蛛抓取的通道,但真正影响到页面收录的还是页面的质量度。所以,我们需要把网站真正的做好,再通过这些工具进行辅助提升,这样相辅相成才是网站优化的正确方式。



【声明:信息来自网络,如有侵权,联系既删。】
推荐新闻

响应式网站开发应该注意什么?

2022-08-16

       随着互联网技术发展,响应式网站开发也在逐渐的完善和流行,不管是笔记本还是平板,页

如何做好整站的网站优化和SEO?

2022-08-16

整站优化来自域名.关键词.网站的整体结构.内容建设和用户体验的全面布局和改进是对网站的全面优化。SEO优化对网站的推广起到了很大的作用。我们

新建网站如何提高网站优化和推广?

2022-08-16

新建站如何提交网站优化和推广?今天专业优化团队给打击分析一下: 1、高质量内容 网站内容首先不能抄袭,原创的网站内容更容易被搜索引擎

来企业建站:网站建造的根本流程

2022-08-16

对于每一家企业来说,企业网站都很重要,网站能把企业的产品和服务与网络社区严密连接起来,展现给潜在的用户,让更多的用户了解。现在许多企业

网页打不开怎么办?网页打不开是什么原因

2022-08-16

网页打不开是个非常着急的事,网页打不开的原因也有许多,网页24小时不间断运行,一年到晚总会难免呈现几回网页打不开的状况,那么企业遇到网

高校网站建设哪些功能可以提高交互性

2022-08-14

高校网站和其他网站一样需要提高网站的交互性。而且高校网站需要更多的吸引用户参与。哪些功能可以实现这个目标呢?

返回顶部

TOP

QQ客服

QQ客服

上海网站制作公司:电话:021-67637587

021-67637587

开杰做网站
上海网站设计公司 上海网站设计公司

Are you ready?


您准备好了吗?我们时刻准备就绪!

我们专注:网站策划设计、网络多媒体传播、网站优化及网站营销、品牌策略与设计
主营业务:网站建设、企业邮箱、网站优化、域名注册、虚拟空间

期待您与我们联系!您的咨询,是对我们极大的鼓励和支持,也是我们共赢美好未来的开始! 更感谢您对我们的关注与信赖……

您也可通过下列途径与我们取得联系:

电 话: 021-67637587,13817759102 (微信同号)

电 话: 15900942493 (微信同号)

QQ: 632248744 , 273657225

邮 箱: service@kj021.com

地 址: 上海市松江区荣乐中路228弄104号202室

地 址: 上海市闵行区(莘庄)友情路50弄15号1302室

上海网站建设
上海网站建设

上海开杰信息技术有限公司 沪ICP备12017671号-4

电话:021-67637587 15900942493(微信同号)

地址:上海市闵行区友情路50弄15号1302室

地址:上海市松江区荣乐中路228弄104号202室

上海开杰信息技术有限公司 上海网站建设 电话:021-67637587

地址:上海市松江区荣乐中路228弄104号202室

地址:上海市闵行区(莘庄)友情路50弄15号1302

沪公网安备 沪公网安备 31011702001626号 沪ICP备12017671号-4

上海开杰信息技术有限公司松江分部

电话:021-67637587 15900942493

地址:上海市松江区荣乐中路228弄104号202室

上海网站设计公司