全球主机交流论坛

标题: 大佬们onemanager 怎么部署robots.txt [打印本页]

作者: chensbo 时间: 2021-8-23 20:22
标题: 大佬们onemanager 怎么部署robots.txt
放网站根目录下似乎无效
狗日的百度正经内容不爬，OD的API都被爬爆了

作者: 马博士 时间: 2021-8-23 20:23
你搞这玩意干啥？屏蔽谷歌百度？

作者: optimism 时间: 2021-8-23 20:23
大佬可能在吃饭呢

作者: 本人马保国 时间: 2021-8-23 20:25
防火墙给蜘蛛IP屏蔽

作者: yyds 时间: 2021-8-23 20:25
分线路解析，搜索引擎全部乱解析不就好了

作者: 药娘 时间: 2021-8-23 20:32
user-agent: *
disallow: /
然而据说度娘并不遵守robots协议

作者: 就这样了s 时间: 2021-8-23 20:43
试试theme目录？

作者: 逸笙 时间: 2021-8-23 21:46
不知道伪静态怎么工作的吗？？
OneManager的目标就是所有 abc.com/xxx.jpg 都会访问到onedrive去，坚决不让浏览器能接触到程序本体任何文件。

所以你想让google访问你的abc.com/robot.txt，你觉得它应该会在哪里？
另外，同理，你有处理过favicon.ico吗？

作者: chensbo 时间: 2021-8-23 22:01

逸笙发表于 2021-8-23 21:46
不知道伪静态怎么工作的吗？？
OneManager的目标就是所有 abc.com/xxx.jpg 都会访问到onedrive去，坚决 ...

多谢作者大佬指点，我把robots扔到OD里了，看看能不能生效

欢迎光临全球主机交流论坛 (https://443502.xyz/)