全球主机交流论坛

标题: 有無最安全的防止網站被網絡上所有爬蟲發現的辦法？ [打印本页]

作者: httpd 时间: 2025-4-6 15:10
标题: 有無最安全的防止網站被網絡上所有爬蟲發現的辦法？
本帖最后由 httpd 于 2025-4-6 15:12 编辑

我目前採用robots.txt+.htpasswd的辦法，直到有一天我在某搜索引擎site:發現居然被索引了HTTP驗證的字樣，正經的蜘蛛都這樣，不正規的不是和去他家客廳一樣簡單

作者: 任播 时间: 2025-4-6 15:33
robots.txt 靠的是自觉

作者: 1121744186 时间: 2025-4-6 16:08
加人机验证码

欢迎光临全球主机交流论坛 (https://443502.xyz/)