有没有熟悉百度站长提交sitemap的，怎么填都是抓取失败。

11^#

楼主| 发表于 2023-8-25 16:48:53 | 只看该作者

测试抓取发现提示是robots.txt封禁，我看了下robots.txt，果然是程序默认的robots.txt禁止抓取/data/目录，但是我修改了robots.txt，已经不再禁止抓取这个目录了，再测试仍然是抓取失败。

修改后的robots.txt如下：

回复支持反对

12 / 2 页

GMT+8, 2025-9-21 20:35 , Processed in 0.054389 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

		自动登录	找回密码
密码			注册