【python】放出杰奇后台全自动多线程采集，同步目标站最...

jsenet

以前就弄好了，忘了放出来，懂的拿去用吧。
多线程采集，字数对比，目标站更新一版30秒内同步。

转载注明作者：vpskk.com(还未上线，嘿嘿)   

1. #!coding=UTF-8
   
2. import urllib
   
3. import urllib2
   
4. import commands
   
5. import time
   
6. import threading
   
7. import os
   
8. import re
   
9. import sys
   
10. 
    
11. thlen = 10
    
12. #定义同时采集的线程数
    
13. books = []
    
14. #定义需要采集的书库
    
15. tsk = []
    
16. #定义采集线程数组
    
17. bookdict = {}
    
18. #定义已采集图书字典，key为目标站书号,value为字数
    
19. 
    
20. 
    
21. domain = 'yoursite.domain.com'
    
22. adminuser = 'admin'
    
23. adminpass = '******'
    
24. siteid = '23'
    
25. # notaddnew = '0'
    
26. 
    
27. frompage = 'http://all.17k.com/lib/book/2_0_0_0_0_0_2_0_1.html'
    
28. 
    
29. 
    
30. 
    
31. def addbooklist():
    
32.     while 1:
    
33.         time.sleep(30)
    
34.         print '[' + time.strftime('%H:%M:%S')  + '] 采集更新列表线程启动。'
    
35.         start = time.time()
    
36.         try:
    
37.             response = urllib2.urlopen(frompage, timeout = 12)
    
38.             content = response.read()
    
39.         except:
    
40.             continue
    
41.         response.close()
    
42.         elapsed = (time.time() - start)
    
43.         bookattr = re.findall(r'<a class="jt" rel="/tip\.xhtml\?book\.id=([0-9]+)\&difference[^>]+>([^<]+)</a>*[\s\S]*?<td class="td5">([0-9]+)</td>',content,re.M)
    
44.         print '[' + time.strftime('%H:%M:%S')  + '] 采集更新列表结束，用时：' + str(elapsed) + '秒'
    
45.         for ii in range(len(bookattr)):
    
46.             newbookid = bookattr[ii][0]
    
47.             newbookname = bookattr[ii][1]
    
48.             newbooksize = bookattr[ii][2]
    
49.             inlist = False
    
50.             for tt in range(len(books)):
    
51.                 if (books[tt][0]==newbookid):
    
52.                     inlist = True
    
53.             if not inlist:
    
54.             #书号不在待采集数组里
    
55.                 if (newbookid in bookdict.keys()):
    
56.                 #书号在已采集过的字典里(需要根据字数来判断是否有更新)
    
57.                     if (int(newbooksize)>int(bookdict[newbookid])):
    
58.                     #采集到书籍字数大于已采集字典里的字数（添加到待采集列表）
    
59.                         books.append([newbookid,newbookname,newbooksize])
    
60.                         print '书号:' + newbookid + '有更新，旧字数:'+ bookdict[newbookid] + ' 新字数:'+ newbooksize + '  添加到待采集列表。'
    
61.                 else:
    
62.                 #书号不在已采集过的字典里（添加到待采集列表）
    
63.                     books.append([newbookid,newbookname,newbooksize])
    
64.                     print '书号:' + newbookid + '最近未采集，添加到待采集列表。'
    
65.         print '[' + time.strftime('%H:%M:%S')  + '] 采集更新列表线程完成，线程休眠。'
    
66. 
    
67. 
    
68. def caiji(bookid,bookname,booksize):
    
69.         print '正在采集 书号[' + bookid + '] 书名:' + bookname   
    
70.         url = 'http://'+ domain + '/modules/article/admin/batchcollect.php?action=bcollect&siteid=' + siteid + '&batchids=' + bookid + '&jieqi_username=' + adminuser + '&jieqi_userpassword=' + adminpass
    
71.         start = time.time()
    
72.         page = urllib2.urlopen(url,timeout=3600)
    
73.         data = page.read(8192)
    
74.         while data:
    
75.            data = page.read(8192)
    
76.         page.close()
    
77.         elapsed = (time.time() - start)
    
78.         time.sleep(5) #采集完等5秒生成全书
    
79.         print '书号[' + bookid + '] 书名:' + bookname + '字数:' + booksize + 'k 采集完成！ 用时：' + str(elapsed) + '秒'
    
80.         print '书号[' + bookid + '] 书名:' + bookname + '字数:' + booksize + 'k 添加到最近采集书目字典。'
    
81. 
    
82. 
    
83. # 从网页获取要采集的文章ID和文章名字（首次）   
    
84. start = time.time()
    
85. response = urllib2.urlopen(frompage, timeout = 12)
    
86. content = response.read()
    
87. response.close()
    
88. elapsed = (time.time() - start)
    
89. getattr = re.findall(r'<a class="jt" rel="/tip\.xhtml\?book\.id=([0-9]+)\&difference[^>]+>([^<]+)</a>*[\s\S]*?<td class="td5">([0-9]+)</td>',content,re.M)
    
90. #getsize = re.findall(r'<td class="td5">([0-9]+)</td>',content,re.M)
    
91. print '首次获取要采集的文章共' + str(len(getattr)) +'篇，用时：' + str(elapsed) + '秒'
    
92. books = books + getattr
    
93. if (len(books)<3):
    
94.     print('获取列表页失败,退出！')
    
95.     exit()
    
96. 
    
97. #启动书籍列表采集线程
    
98. thaddbooklist = threading.Thread(target=addbooklist,name='taddbooklist')   
    
99. thaddbooklist.start()
    
100.    
     
101. for x in range(thlen):
     
102.     bookid = books[0][0]
     
103.     bookname = books[0][1]
     
104.     booksize = books[0][2]
     
105.     tname = 't' + str(x)
     
106.     th = threading.Thread(target=caiji,name=tname,args=(bookid,bookname,booksize))
     
107.     th.start()
     
108.     del books[0]
     
109.     bookdict[bookid] = booksize
     
110.     tsk.append(th)
     
111. 
     
112. #检测空闲线程，当线程闲置时，若待采集列表不为空时，启用该线程进行采集
     
113. while 1:
     
114.     time.sleep(5)
     
115.     for i in range(len(tsk)):
     
116.         if not tsk[i].is_alive():
     
117.             print tsk[i].name + '线程空闲'
     
118.             if len(books) > 0:
     
119.                 bookid = books[0][0]
     
120.                 bookname = books[0][1]
     
121.                 booksize = books[0][2]
     
122.                 th = threading.Thread(target=caiji,name=tsk[i].name,args=(bookid,bookname,booksize))
     
123.                 th.start()
     
124.                 del books[0]
     
125.                 bookdict[bookid] = booksize
     
126.                 tsk[i] = th

复制代码

效果演示：同步17k,当然，我只采集VIP小说。后台挂着，只要17k有vip小说更新，则自动同步。
caiji.png (124.12 KB, 下载次数: 11)

2015-9-12 10:56 上传

点击文件名下载附件
同步17k

恢复自我

这个没有17K的VIP也能采集？？

啊花

帮顶下

醉卧网络君莫笑

好像很厉害的样子

mxonline

多谢分享

一直在寻找

如何改错

jsenet

只要弄个后台规则就可以用了。。都到这里了还要啥搭配。。。。

wenguonideshou

要搭配用 只有个脚本无从下手