利用零宽度字符防止被爬虫

kvavilang

大佬就是厉害

helone

奇才，你以为百度蜘蛛能识别出来url吗？那这样还不如关站呢

情空明月

我只觉得用户复制的时候会草泥马奔腾

zimuxiaosheng

小脑袋困掉了 发表于 2020-4-3 19:18
是可以看到，但是复制到浏览器里打不开。

问题是爬虫又不是普通访客，不都是从控制台抓信息吗
这能防住啥啊？你以为爬虫都是人工复制的吗？

llyang

我用正则，没有去掉零字节

1. abc="h​​​t​​​t​​​p​​​s​​​:​​​/​​​/​​​b​​​a​​​i​​​d​​​u​​​.​​​c​​​o​​​m"
   
2. aaa=$(echo $abc | sed 's_\s__g')
   
3. echo $abc
   
4. echo $aaa

复制代码

1. abc="h​​​t​​​t​​​p​​​s​​​:​​​/​​​/​​​b​​​a​​​i​​​d​​​u​​​.​​​c​​​o​​​m"
   
2. echo "${abc//[^:/\w]/}"
   
3. echo $abc
   

复制代码

小脑袋困掉了

zimuxiaosheng 发表于 2020-4-4 17:50
问题是爬虫又不是普通访客，不都是从控制台抓信息吗
这能防住啥啊？你以为爬虫都是人工复制的吗？ ...

爬虫不都是用正则检测链接的吗？这个用正则检测不到啊。。

夏生啊

re.sub('\u200b','', s)

yjsx86

1. import requests, string
   
2. 
   
3. 
   
4. session = requests.session()
   
5. r = session.get("https://443502.xyz/thread-668846-1-1.html")
   
6. rs = ""
   
7. for x in r.text:
   
8.     if '\u4e00' <= x <= '\u9fff' or \
   
9.             x in '''!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789
   
10. ''':
    
11.         rs += x
    
12. 
    
13. print(rs)

复制代码