为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件

查看次数:216 2022-01-07

回答:官方解释:在百度搜索资源平台使用robots工具进行更新,并及时关注文件生效时间,若3天后还未生效,建议提供具体问题截图和具体的URL在反馈中心反馈,以便排查问题。另外开发者自查robots.txt文件是否书写错误,robots文件往往放置在根目录下,包含一条或更多的记录,这些记录通过空行分开。

从百度方面的解释可以看到,理论上百度搜索对于robots文件的反应是比较快的,基本3天左右就能生效。

但要注意,这只是理论上的!就目前百度相关的工具来看,似乎很多都会出现延迟的情况。当然,不管具体什么原因,作为普通的站长,我们都不能去改变什么。能做的就是进行自我排查,在确定操作无误之后,再按照百度的要求,提供相关资料进行反馈。

还有沐风SEO建议,我们在做SEO的时候,要把重心放在站内优化上,坚持内容为王,提供优质的网站内容和用户体验。百度方面提供的这些工具,的确能够解决某些问题,但改变不了根本。

比如我们不能把网站收录寄希望于百度搜索的快速收录,虽然快速收录提供了快速蜘蛛抓取的通道,但真正影响到页面收录的还是页面的质量度。所以,我们需要把网站真正的做好,再通过这些工具进行辅助提升,这样相辅相成才是网站优化的正确方式。



【声明:信息来自网络,如有侵权,联系既删。】
推荐新闻

电商网站制作要注意哪些问题?

2023-03-27

     随着电子商务行业的不断发展和推进,也确实是深受消费者的欢迎和追捧,因为电子商务确实给我们网络平

新手企业如何制作网站?

2023-03-27

企业用户如何建设网站?网站制作流程具备什么流程? 1、域名注册: 域名就是网络地址,是用于区别一个IP地址的计算机的电子串。由于互

关键词和网站内容在网站SEO中占有什么分量?

2023-03-27

关键词和网站内容在网站SEO中占有什么分量?今天专业优化团队给大家分析一下: 1、网站的内容是吸引用户和搜索引擎机器人的重要因素。

企业网站建设完成后应如何备份?

2023-03-23

       企业网站是现代企业建立品牌、展示形象和推广产品的重要手段,因此企业在建设网站时应

著名网站的编写应该了解哪些技巧和技巧?

2023-03-23

        对于著名网站的编写,需要掌握多种技巧和技巧。 &nb

政府网站建立注意事项分析

2023-03-23

政府网站建立,是为了营造政府效劳公众、促进民意及时反应的新型沟通平台。首先,要思索到用户体验,建立一个易于运用、直观明了的网站。同时针

返回顶部

TOP

QQ客服

QQ客服

上海网站制作公司:电话:021-67637587

021-67637587

开杰做网站
上海网站设计公司 上海网站设计公司

Are you ready?


您准备好了吗?我们时刻准备就绪!

我们专注:网站策划设计、网络多媒体传播、网站优化及网站营销、品牌策略与设计
主营业务:网站建设、企业邮箱、网站优化、域名注册、虚拟空间

期待您与我们联系!您的咨询,是对我们极大的鼓励和支持,也是我们共赢美好未来的开始! 更感谢您对我们的关注与信赖……

您也可通过下列途径与我们取得联系:

电 话: 021-67637587,13817759102 (微信同号)

电 话: 15900942493 (微信同号)

QQ: 632248744 , 273657225

邮 箱: service@kj021.com

地 址: 上海市松江区荣乐中路228弄104号202室

地 址: 上海市闵行区(莘庄)友情路50弄15号1302室

上海网站建设
上海网站建设

上海开杰信息技术有限公司 沪ICP备12017671号-4

电话:021-67637587 15900942493(微信同号)

地址:上海市闵行区友情路50弄15号1302室

地址:上海市松江区荣乐中路228弄104号202室

上海开杰信息技术有限公司 上海网站建设 电话:021-67637587

地址:上海市松江区荣乐中路228弄104号202室

地址:上海市闵行区(莘庄)友情路50弄15号1302

沪公网安备 沪公网安备 31011702001626号 沪ICP备12017671号-4

上海开杰信息技术有限公司松江分部

电话:021-67637587 15900942493

地址:上海市松江区荣乐中路228弄104号202室

上海网站设计公司