# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq
import urllib
import urllib2
import threading
class Spider(threading.Thread):
"""
A Python Spider
"""
def __init__(self, ad=''):
threading.Thread.__init__(self)
self.__viewstate = ''
self.__Url = '' #要访问的地址
self.__Total =0
def run(self):
self.firstCollect()
def firstCollect(self):
"""
"""
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Referer": "",#有些加入了来路判断,那这个就是必需要加的了
"Accept-Language": "zh-cn",
"Content-Type": "application/x-www-form-urlencoded",
"Accept-Encoding": "gzip, deflate",
"User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)",
"Connection": "Keep-Alive",
"Cache-Control": "no-cache"
}
body = {
'__EVENTTARGET':'SearchResult',#请根据具体参数来设置
'__EVENTARGUMENT':1,#
'__VIEWSTATE':self.__viewstate,
#如果有其它条件请在这里添加,这个用httpfox或者其它工具一下就能看出来了
}
opener = urllib2.build_opener()
urllib2.install_opener(opener)
request = urllib2.Request(
url=self.__Url,
data=urllib.urlencode(body),
headers=headers
)
response = urllib2.urlopen(request)
content = response.read()
dom = pq(content)
self.__viewstate = dom('#__VIEWSTATE').val()
self.__Total = dom('#TotalNum').html()
print self.__Total
for taga in dom('.Result'):
print "WorkThread %s Get Data %s" %( self.getName(),pq(taga)('a:first').attr('id'))
#这里请根据具体要抓取的dom路径来写
一般来讲 asp.net中的postback的分页都要提供 __EVENTTARGET、__EVENTARGUMENT、__VIEWSTATE这三个参数,前两个一般都是有规律的,后面这个就比较麻烦,每次的提交得到的都不同,所以要在每次提交分页前把当前页的__VIEWSTATE取到!
这里以线程的方式实现spider主要是考虑到多线程采集,每个采集任务一个线程!
前段时间写的使用C#实现的POST分页的总不能实现,而已效率也是一大问题。这个效率明显比C#的要好的多,接下来还想学习下python的GUI编程,以便更方便的设置采集计划。
温馨提示:答案为网友推荐,仅供参考