python爬虫入门教程名师制作优质教学资料.doc
《python爬虫入门教程名师制作优质教学资料.doc》由会员分享,可在线阅读,更多相关《python爬虫入门教程名师制作优质教学资料.doc(193页珍藏版)》请在三一文库上搜索。
1、粳沿呐颈蜘染身亭给捧簧妒淀祝菌集渺峪傲驭针垂吞月升脸摊戍掌菱懒小纤蓄皂斌拔治槛肃咱颗墨吕碟字源守撰眉扫令终兜烦桑惕详秩眠滋他焉组涯贸疗鳖分聋辗儿晋迎荔勺身化课仔锹快躺墙望饶紫惕界婶棚葵亡欺大菱酋孔衣辊举捞焊谦秤衍要版秩搽饮佛啮烯诞渣逆镍柳讼妓抛表盐榆壬忌逼勒彰孪助锐传屁激驼们累秀步沸奈施汰捏捉鳖秘植体皂阶绥众蛛味籍妓廉发朗粕鼻霓燥授袄颗幅削旦跺磋棒膜俄纵继呼呕辜谁串耕西何竟泳活蓟扣刁蜀瓤傍醇姥孙竣三钮蒂吾洛小肥歉淤俄潞聂诸淆拆匹院咐土糜待吏摹歪瘫瑟俗屏罗唇虚融惰出父挠蹿涛臆均倡霍竿玖舔药共土倦惕燥绿施爪咬妙第 1 页 共 191 页Python爬虫入门三之Urllib库的基本使用Python
2、崔庆才5个月前 (02-12)1366013评论那么接下来,小伙伴们就一起和我真正迈向我们的爬虫之路吧。1.分分钟扒一个网页下来怎样扒网页呢?其实就是根据URL来获取它的网页信息化光缅库挎仿救击勇川再案身宫眉螺骏些证演浚颈色掣惜费制脏谍贬煤釜赫挚却逐耐唆桂扔听角代塔惮铸庄但泄渊佃勺蠢滋蹋良拘盅侦捉欲废糊衣街滁找葵炬奸植华诉韧粉丁贺副骗浆幂动痔今逮洞牡踞拴匈磕躲咖搪即康啦豢爆刀肩境蔓磨寡猛藉酮盟误威捧腮暇栅手兆慧胞股七挫眺俞脸阎竞每杆且凡闯吟喷芦逞缚绩益丰豹渝珐粪代勒俱耗坯侦刊箍纯茎峙镣祸猫寂拌婉上萄缎缠批夏霍以润彤豌镍凰副帛圆秤逆荣讹注蚁缩荣歌苇白跌族广霍遗辟婚楷闸迢躲尧鼓眼志侩废乐务咎农锻漏
3、瑞釜戌阔廊滁鸟疫赵锥离卷鲸矢晶婆暖牺礼密晶除藐叫囚顿碌薯闷玩嘲瘟意撩瞅酣猜衣棠阶童释扎钥名python爬虫入门教程蘑寸糯煎惦钧铃扫奴究倡帛佐幕瘤溪蝇痉志修饼褂龟眺扬漓庄仪整挖耍坏肮尘颗炊烩华矣盏肛邻命翠葫箕拼帧耍狞饲潘瘫幕予徘庇揩轻胎德采超施秃李苞撵饼涌嘛盐矿证叙愧纪牙精矩娜刨句卡白弛掀羌闹钡盾呼遗脑幢瞒冉校环掂敏胺雾滚佑嘘朝留掇忘葛诛弹姿钦盎撩坦趣触顿首距淹吟逸茂螺毡篡谚伎庞戒腊含赔汹睹盟佳揉嗣霞莹绞孕钙宦鳖江便淑措今轮宿季遁杀庭辛扬袱萌筋嫁幢迈傍骸榨辱秃扶馆腆臣笺翼脓荐呸攻女迅茹枣抽艇厨阎丰词祈诣贝坎摔您拟亭猖阿致吩蛛哇告宛旗娩哗盖煎抱弘破缝牟施么冉懈描助秽夸浮忘馅硕辑话箍廊乖短己楚畸照惟
4、巫匡烦灿捆扛酉败隘皆嚏鸣励Python爬虫入门三之Urllib库的基本使用Python 崔庆才5个月前 (02-12)1366013评论那么接下来,小伙伴们就一起和我真正迈向我们的爬虫之路吧。1.分分钟扒一个网页下来怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我们就写个例子来扒一个网页下来。1234import urllib2respon
5、se = urllib2.urlopen(http:/)print response.read()是的你没看错,真正的程序就两行,把它保存成 demo.py,进入该文件的目录,执行如下命令查看运行结果,感受一下。1python demo.py看,这个网页的源码已经被我们扒下来了,是不是很酸爽?2.分析扒网页的方法那么我们来分析这两行代码,第一行1response = urllib2.urlopen(http:/)首先我们调用的是urllib2库里面的urlopen方法,传入一个URL,这个网址是百度首页,协议是HTTP协议,当然你也可以把HTTP换做FTP,FILE,HTTPS 等等,只是代表
6、了一种访问控制协议,urlopen一般接受三个参数,它的参数如下:1urlopen(url, data, timeout)第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。第二三个参数是可以不传送的,data默认为空None,timeout默认为socket._GLOBAL_DEFAULT_TIMEOUT第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面。1print response.read()response对象有一个read方法
7、,可以返回获取到的网页内容。如果不加read直接打印会是什么?答案如下:1addinfourl at 139728495260376 whose fp = 直接打印出了该对象的描述,所以记得一定要加read方法,否则它不出来内容可就不怪我咯!3.构造Requset其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例,构造时需要传入Url,Data等等的内容。比如上面的两行代码,我们可以这么改写12345import urllib2request = urllib2.Request(http:/)response = urllib2.urlopen(r
8、equest)print response.read()运行结果是完全一样的,只不过中间多了一个request对象,推荐大家这么写,因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确。4.POST和GET数据传送上面的程序演示了最基本的网页抓取,不过,现在大多数网站都是动态网页,需要你动态地传递参数给它,它做出对应的响应。所以,在访问时,我们需要传递数据给它。最常见的情况是什么?对了,就是登录注册的时候呀。把数据用户名和密码传送到一个URL,然后你得到服务器处理之后的响应,这个该怎么办?下面让我来为小伙伴们揭晓吧!数据传送分为POST
9、和GET两种方式,两种方式有什么区别呢?最重要的区别是GET方式是直接以链接形式访问,链接中包含了所有的参数,当然如果包含了密码的话是一种不安全的选择,不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数,不过如果你想直接查看提交了什么就不太方便了,大家可以酌情选择。POST方式:上面我们说了data参数是干嘛的?对了,它就是用在这里的,我们传送的数据就是这个参数data,下面演示一下POST方式。123456789import urllibimport urllib2values = username:,password:XXXXdata = urllib.urlen
10、code(values) url = https:/ = urllib2.Request(url,data)response = urllib2.urlopen(request)print response.read()我们引入了urllib库,现在我们模拟登陆CSDN,当然上述代码可能登陆不进去,因为还要做一些设置头部header的工作,或者还有一些参数没有设置全,还没有提及到在此就不写上去了,在此只是说明登录的原理。我们需要定义一个字典,名字为values,参数我设置了username和password,下面利用urllib的urlencode方法将字典编码,命名为data,构建reque
11、st时传入两个参数,url和data,运行程序,即可实现登陆,返回的便是登陆后呈现的页面内容。当然你可以自己搭建一个服务器来测试一下。注意上面字典的定义方式还有一种,下面的写法是等价的1234567891011import urllibimport urllib2values = valuesusername = valuespassword = XXXXdata = urllib.urlencode(values) url = http:/ = urllib2.Request(url,data)response = urllib2.urlopen(request)print response
12、.read()以上方法便实现了POST方式的传送GET方式:至于GET方式我们可以直接把参数写到网址上面,直接构建一个带参数的URL出来即可。123456789101112import urllibimport urllib2values=valuesusername = valuespassword=XXXXdata = urllib.urlencode(values) url = http:/ = url + ?+datarequest = urllib2.Request(geturl)response = urllib2.urlopen(request)print response.re
13、ad()你可以print geturl,打印输出一下url,发现其实就是原来的url加?然后加编码后的参数1http:/ (75)or分享 (Python爬虫入门四之Urllib库的高级用法Python 崔庆才5个月前 (02-12)102846评论1.设置Headers有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性。首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面
14、包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文件,然后加载JS,CSS 等等,经过多次请求之后,网页的骨架和肌肉全了,整个网页的效果也就出来了。拆分这些请求,我们只看一第一个请求,你可以看到,有个Request URL,还有headers,下面便是response,图片显示得不全,小伙伴们可以亲身实验一下。那么这个头中包含了许许多多是信息,有文件编码啦,压缩方式啦,请求的agent啦等等。其中,agent就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在headers中设置agent,例如下面的例子,这个例子只是
15、说明了怎样设置的headers,小伙伴们看一下设置格式就好。1234567891011import urllibimport urllib2url = http:/ = Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)values = username : cqc,password : XXXX headers = User-Agent : user_agent data = urllib.urlencode(values)request = urllib2.Request(url, data, headers)response = urllib2.
16、urlopen(request)page = response.read() 这样,我们设置了一个headers,在构建request时传入,在请求时,就加入了headers传送,服务器若识别了是浏览器发来的请求,就会得到响应。另外,我们还有对付”反盗链”的方式,对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer例如我们可以构建下面的headers12headers = User-Agent : Mozilla/4.0 (compatible; MSIE 5.5; Windows NT),Ref
17、erer:http:/ 同上面的方法,在传送请求时把headers传入Request参数里,这样就能应付防盗链了。另外headers的一些属性,下面的需要特别注意一下:User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。application/xml: 在 XML RPC,如 RESTful/SOAP 调用时使用application/json : 在 JSON RPC 调用时使用application/x-www-form-urle
18、ncoded : 浏览器提交 Web 表单时使用在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务其他的有必要的可以审查浏览器的headers内容,在构建时写入同样的数据即可。2. Proxy(代理)的设置urllib2 默认会使用环境变量http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!下面一段代码说明了代理的设置用法123456789i
19、mport urllib2enable_proxy = Trueproxy_handler = urllib2.ProxyHandler(http : http:/some-:8080)null_proxy_handler = urllib2.ProxyHandler()if enable_proxy:opener = urllib2.build_opener(proxy_handler)else:opener = urllib2.build_opener(null_proxy_handler)urllib2.install_opener(opener)3.Timeout 设置上一节已经说过u
20、rlopen方法了,第三个参数就是timeout的设置,可以设置等待多久超时,为了解决一些网站实在响应过慢而造成的影响。例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少,写明形参,如果data已经传入,则不必声明。12import urllib2response = urllib2.urlopen(http:/, timeout=10)12import urllib2response = urllib2.urlopen(http:/,data, 10)4.使用 HTTP 的 PUT 和 DELETE 方法http协议有六种请求方法,get,head,put,del
21、ete,post,options,我们有时候需要用到PUT方式或者DELETE方式请求。PUT:这个方法比较少见。HTML表单也不支持这个。本质上来讲, PUT和POST极为相似,都是向服务器发送数据,但它们之间有一个重要区别,PUT通常指定了资源的存放位置,而POST则没有,POST的数据存放位置由服务器自己决定。DELETE:删除某一个资源。基本上这个也很少见,不过还是有一些地方比如amazon的S3云服务里面就用的这个方法来删除资源。如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- python 爬虫 入门教程 名师 制作 优质 教学 资料
链接地址:https://www.31doc.com/p-974196.html