python 网络爬虫.doc
《python 网络爬虫.doc》由会员分享,可在线阅读,更多相关《python 网络爬虫.doc(63页珍藏版)》请在三一文库上搜索。
1、python 网络爬虫抓取网页的含义和URL基本构成1、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫就是一个爬行程序,一个抓取网页的程序.网络爬虫的基本操作是抓取网页。那么如何才能随心所
2、欲地获得自己想要的页面?我们先从URL开始.2、浏览网页的过程抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的.比如说你在浏览器的地址栏中输入 。com 这个地址。打开网页的过程其实就是浏览器作为一个浏览的“客户端”,向服务器端发送了 一次请求,把服务器端的文件“抓”到本地,再进行解释、展现.HTML是一种标记语言,用标签标记内容并加以解析和区分.浏览器的功能是将获取到的HTML代码进行解析,然后将原始的代码转变成我们直接看到的网站页面。3、URI的概念和举例简单的来讲,URL就是在浏览器端输入的 这个字符串。在理解URL之前,首先要理解URI的概念.什么是URI?Web上每种
3、可用的资源,如 HTML文档、图像、视频片段、程序等都由一个通用资源标志符(Universal Resource Identifier, URI)进行定位。URI通常由三部分组成:访问资源的命名机制;存放资源的主机名;资源自身 的名称,由路径表示。如下面的URI:。com。cn/myhtml/html1223/我们可以这样解释它:这是一个可以通过HTTP协议访问的资源,位于主机 上,通过路径“/html/html40”访问。4、URL的理解和举例URL是URI的一个子集。它是Uniform Resource Locator的缩写,译为“统一资源定位 符”。通俗地说,URL是Internet上描
4、述信息资源的字符串,主要用在各种WWW客户程序和服务器程序上。采用URL可以用一种统一的格式来描述各种信息资源,包括文件、服务器的地址和目录等。URL的格式由三部分组成:第一部分是协议(或称为服务方式)。第二部分是存有该资源的主机IP地址(有时也包括端口号)。第三部分是主机资源的具体地址,如目录和文件名等。第一部分和第二部分用“:/”符号隔开,第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的,第三部分有时可以省略。下面来看看两个URL的小例子。1.HTTP协议的URL示例:使用超级文本传输协议HTTP,提供超级文本信息服务的资源。例:。。cn/channel/welcome。
5、htm其计算机域名为。com。cn。超级文本文件(文件类型为.html)是在目录 /channel下的welcome.htm。这是中国人民日报的一台计算机。例:。cn。net/talk/talk1。htm其计算机域名为。.超级文本文件(文件类型为。html)是在目录/talk下的talk1.htm。这是瑞得聊天室的地址,可由此进入瑞得聊天室的第1室.2文件的URL用URL表示文件时,服务器方式用file表示,后面要有主机IP地址、文件的存取路 径(即目录)和文件名等信息.有时可以省略目录和文件名,但“/”符号不能省略。例:。yoyodyne。com/pub/。txt上面这个URL代表存放在主机
6、。com上的pub/files/目录下的一个文件,文件名是foobar.txt。例:。yoyodyne。com/pub代表主机上的目录/pub。例:。yoyodyne。com/代表主机。com的根目录.爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理.因此,准确地理解URL对理解网络爬虫至关重要。利用urllib2通过指定的URL抓取网页内容所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地.类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。在Python中,
7、我们使用urllib2这个组件来抓取网页。urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件.它以urlopen函数的形式提供了一个非常简单的接口。最简单的urllib2的应用代码只需要四行。我们新建一个文件urllib2_test01.py来感受一下urllib2的作用:pythonview plaincopy1. importurllib22. response=urllib2.urlopen()3. html=response。read()4. printhtml按下F5可以看到运行的结果:我们可以打开百度主页,右击,选择查看源代码
8、(火狐OR谷歌浏览器均可),会发现也是完全一样的内容。也就是说,上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。这就是一个最简单的urllib2的例子.除了”http:,URL同样可以使用ftp:”,file:”等等来替代。HTTP是基于请求和应答机制的:客户端提出请求,服务端提供应答。urllib2用一个Request对象来映射你提出的HTTP请求。在它最简单的使用形式中你将用你要请求的地址创建一个Request对象,通过调用urlopen并传入Request对象,将返回一个相关请求response对象,这个应答对象如同一个文件对象,所以你可以在Response中调用.rea
9、d().我们新建一个文件urllib2_test02。py来感受一下:pythonview plaincopy1. importurllib22. req=urllib2.Request(http:/)3. response=urllib2.urlopen(req)4. the_page=response。read()5. printthe_page可以看到输出的内容和test01是一样的。urllib2使用相同的接口处理所有的URL头.例如你可以像下面那样创建一个ftp请求.pythonview plaincopy1. req=urllib2.Request(。com/)在HTTP请求时,允
10、许你做额外的两件事.1.发送data表单数据这个内容相信做过Web端的都不会陌生,有时候你希望发送一些数据到URL(通常URL与CGI通用网关接口脚本,或其他WEB应用程序挂接)。在HTTP中,这个经常使用熟知的POST请求发送.这个通常在你提交一个HTML表单时由你的浏览器来做.并不是所有的POSTs都来源于表单,你能够使用POST提交任意的数据到你自己的程序.一般的HTML表单,data需要编码成标准形式.然后做为data参数传到Request对象。编码工作使用urllib的函数而非urllib2。我们新建一个文件urllib2_test03。py来感受一下:pythonview plai
11、ncopy1. importurllib2. importurllib23. 4. url=http:/5. 6. values=name:WHY,7. location:SDU,8. language:Python9. 10. data=urllib。urlencode(values)编码工作11. req=urllib2。Request(url,data)发送请求同时传data表单12. response=urllib2.urlopen(req)接受反馈的信息13. the_page=response.read()读取反馈的内容如果没有传送data参数,urllib2使用GET方式的请求.
12、GET和POST请求的不同之处是POST请求通常有”副作用”,它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。Data同样可以通过在Get请求的URL本身上面编码来传送。pythonview plaincopy1. importurllib22. importurllib3. 4. data=5. 6. dataname=WHY7. datalocation=SDU8. datalanguage=Python9. 10. url_values=urllib.urlencode(data)11. printurl_values12. 13. name=Somebody+Herela
13、nguage=Pythonlocation=Northampton14. url=。com/example.cgi15. full_url=url+?+url_values16. 17. data=urllib2。open(full_url)这样就实现了Data数据的Get传送。2.设置Headers到http请求有一些站点不喜欢被程序(非人为访问)访问,或者发送不同版本的内容到不同的浏览器。默认的urllib2把自己作为“Python-urllib/x。y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7),这个身份可能会让站点迷惑,或者干脆不工作。浏览器确认自
14、己身份是通过User-Agent头,当你创建了一个请求对象,你可以给他一个包含头数据的字典.下面的例子发送跟上面一样的内容,但把自身模拟成Internet Explorer.pythonview plaincopy1. importurllib2. importurllib23. 4. url=http:/。com/cgibin/register。cgi5. 6. user_agent=Mozilla/4。0(compatible;MSIE5。5;WindowsNT)7. values=name:WHY,8. location:SDU,9. language:Python10. 11. hea
15、ders=User-Agent:user_agent12. data=urllib。urlencode(values)13. req=urllib2。Request(url,data,headers)14. response=urllib2。urlopen(req)15. the_page=response。read()异常的处理和HTTP状态码的分类先来说一说HTTP的异常处理问题.当urlopen不能够处理一个response时,产生urlError。不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类,通
16、常在特定HTTP URLs中产生。1。URLError通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生。这种情况下,异常同样会带有”reason属性,它是一个tuple(可以理解为不可变的数组),包含了一个错误号和一个错误信息。我们建一个urllib2_test06.py来感受一下异常的处理:pythonview plaincopy1. importurllib22. 3. req=urllib2。Request(http:/。com)4. 5. try:urllib2。urlopen(req)6. 7. excepturllib2.URLError,
17、e:8. printe。reason按下F5,可以看到打印出来的内容是:Errno 11001 getaddrinfo failed也就是说,错误号是11001,内容是getaddrinfo failed2.HTTPError服务器上每一个HTTP 应答对象response包含一个数字状态码。有时状态码指出服务器无法完成请求。默认的处理器会为你处理一部分这种应答。例如:假如response是一个重定向”,需要客户端从别的地址获取文档,urllib2将为你处理。其他不能处理的,urlopen会产生一个HTTPError。典型的错误包含”404”(页面无法找到),”403”(请求禁止),和401(
18、带验证请求).HTTP状态码表示HTTP协议所返回的响应的状态。比如客户端向服务器发送请求,如果成功地获得请求的资源,则返回的状态码为200,表示响应成功。如果请求的资源不存在, 则通常返回404错误。HTTP状态码通常分为5种类型,分别以15五个数字开头,由3位整数组成:-200:请求成功 处理方式:获得响应的内容,进行处理201:请求完成,结果是创建了新资源.新创建资源的URI可在响应的实体中得到 处理方式:爬虫中不会遇到202:请求被接受,但处理尚未完成 处理方式:阻塞等待204:服务器端已经实现了请求,但是没有返回新的信 息。如果客户是用户代理,则无须为此更新自身的文档视图. 处理方式
19、:丢弃300:该状态码不被HTTP/1。0的应用程序直接使用, 只是作为3XX类型回应的默认解释.存在多个可用的被请求资源. 处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源 处理方式:重定向到分配的URL302:请求到的资源在一个不同的URL处临时保存 处理方式:重定向到临时的URL304 请求的资源未更新 处理方式:丢弃400 非法请求 处理方式:丢弃401 未授权 处理方式:丢弃403 禁止 处理方式:丢弃404 没有找到 处理方式:丢弃5XX 回应代码以“5”开头的状态码表示服
20、务器端发现自己出现错误,不能继续执行请求 处理方式:丢弃-HTTPError实例产生后会有一个整型code属性,是服务器发送的相关错误号.Error Codes错误码因为默认的处理器处理了重定向(300以外号码),并且100-299范围的号码指示成功,所以你只能看到400599的错误号码。BaseHTTPServer.BaseHTTPRequestHandler。response是一个很有用的应答号码字典,显示了HTTP协议使用的所有的应答号。当一个错误号产生后,服务器返回一个HTTP错误号,和一个错误页面。你可以使用HTTPError实例作为页面返回的应答对象response。这表示和错误属
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- python 网络爬虫 网络 爬虫
链接地址:https://www.31doc.com/p-8600643.html