Python网络爬虫实习报告-python实习报告

时间：2020-07-22 11:53:19 来源：蒲公英阅读网 本文已影响人

相关热词搜索：实习报告 爬虫 网络

　Pythｏn 网络爬虫实习报告

　目录 一、选题背景 ........................................................... 错误!未定义书签。

　理 二、爬虫原理。签书义定未!误错ﻩ

　三、爬虫历史与分类 ................................................ 错误!未定义书签。

　较 四、常用爬虫框架比较。签书义定未!误错ﻩ

　五、数据爬取实战（ 豆瓣 网 爬取电影 数据) ............ 错误!未定义书签。

　1 分析网页 误错ﻩ 错误! 未定义书签。

　2 爬取数据 ............................................................... 错误! 未定义书签。

　3 数据整理、转换 误错ﻩ 错误! 未定义书签。

　4 数据保存、展示 误错ﻩ 错误! 未定义书签。

　5 技术难点关键点 误错ﻩ 错误! 未定义书签。

　六、总结 .................................................................. 错误!未定义书签。

　一、

　选题背景 二、

　爬虫原理 三、

　爬虫历史与分类 四、

　常用爬虫框架比较 Scrap ｙ框架 ：Scraｐｙ框架就是一套比较成熟得 Pythoｎ爬虫框架，就是使用 Pｙthon 开发得快速、高层次得信息爬取框架,可以高效得爬取ｗeb 页面并提取出结构化数据。Ｓcrapｙ应用范围很广,爬虫开发、数据挖掘、数据监测、自动化测试等. Crawle ｙ框架: :Ｃrａwley 也就是 Pythoｎ开发出得爬虫框架，该框架致力于改变人们从互联网中提取数据得方式。

　a Portia 框架 ：Ｐoｒtiａ框架就是一款允许没有任何编程基础得用户可视化地爬取网页得爬虫框架。

　newsp ａp p ｅr r 框架: :ｎｅwspapｅr 框架就是一个用来提取新闻、文章以及内容分析得 Pythｏn 爬虫框架. P P ｙt t ｈｏn n- - go ｏe se 框架：

　：Pythｏn-goｏse 框架可提取得信息包括：

　〈1〉文章主体内容;<2>文章主要图片；<3>文章中嵌入得任ｈeYｏutube／Viｍeo 视频；<4〉元描述；〈５〉元标签

　五、数据爬取实战（ 豆瓣 网 爬取电影 数据）

　１分析网页

　 # 获取 ht ｍl l 源代码

　def _ ＿g g ｅ tHtml( ）：

　ｄ ata =

　] []

　ﻫ

　 ｐ ageN ｕ m = １

　pageSize = 0

　: try:

　ﻫ

　 wh ｉ le ( ｐ ageSiz ｅ

　〈 = 1 ２５）：

　# ｈ ead ｅ rs ＝

　{ { ’Ｕ ser —A A ｇe e ｎ t" ：’ Moziｌl l ａ /5 、 0 (Windows Ｎ T 6 、 1) A ｐp p ｌ eWe ｂK K ｉ t/5 ３７、１ 1 （ KHTMＬ，

　like

　Geck ｏ ) C ｈ rome/23 、0 0 、 127 １、 64 S ａ fari/537， 、１１’，

　# ’Ｒ efe ｒ er ’: : Ｎ on ｅ

　＃注意如果依然不能抓取得话, , 这里可以设置抓取网站得ｈ ost

　＃

　} } ﻫ

　 ＃

　ｏ pener

　＝

　urlliｂ、ｒ eq ｕe e ｓt t 、 build_ ｏｐｅｎe e ｒ（) )

　# opener 、 addh ｅａd d ｅｒ s ＝

　［ heade ｒs s ］ ﻫ

　 ｕｒl l

　= ＂”

　+ st ｒ（ pag ｅ Siz ｅ ) +

　”＆ｆ ilt ｅr r ＝＂

　+ s ｔｒ(p ａｇ eNum)

　＃

　data ［ "h ｔ ml%s ’

　％

　i ] ＝ url ｌｉb b 、 re ｑ uest 、ur ｌ op ｅｎ（ ur ｌ）、ｒ ead() 、 decode("ut ｆ — ８ ") ﻫ

　 da ｔa a 、 append(url ｌi i ｂ、ｒ equ ｅ st 、 urlope ｎ（ ur ｌ) ) 、ｒ ead() 、ｄ ecode （”ｕｔf f －8 8 ＂）) )

　page Ｓi i ｚ e + ＝

　２5 5

　ﻫ

　 p p ａｇｅN Nｕ1 m += 1

　ﻫ

　 pr ｉ nt( ｐａ geSize, page Ｎ um)

　excep ｔ

　E E ｘ cepti ｏ n a ｓ

　e:

　r r ａｉ se e

　retur ｎ

　data

　2 爬取数据 def

　_ _ ＿ getData(html):

　title =

　［］

　# #

　电影标题 ﻫ

　 #rati ｎｇ_ _ ｎ um ＝

　[ [ ］

　＃

　评分 ﻫ

　 r r ａ nge ＿ num =

　［］

　# 排名 ﻫ

　 ＃ ra ｔ ing ＿ peopｌｅ _num

　= [ ］

　# 评价人数

　ｍ ovie_a ｕ thor

　= []

　 # 导演 ﻫ

　 da ｔ a = {}

　# ｂ s4 解析 h h ｔ ml ﻫ

　 ｓ oup ＝

　Beauti ｆu u ｌS S ｏｕ p(htmｌ，

　” html 、 parser）

　”）

　ﻫ

　 for li

　ｉ n s ｏｕp p 、 find( ”ｏl l ” , ａt t ｔr r ｓ= = ｛ "clas ｓ’：

　" " ｇ rid_view"} ）、 fin ｄ＿ al ｌ（ "li"):

　ｔ it ｌe e 、 appen ｄ（ li 、f f ｉ nd("s ｐ an", c ｌa a ｓs s ＿= = ” titｌｅ ") 、ｔ ext)

　＃r r ａ ti ng_ ｎu u、 ｍ、 append(li、 、 fin ｄ ("d ｉv v， ”，

　class_="stａｒ ") 、 find( ” spa ｎ" " ，

　class_ ＝ "rating_nu ｍ＇）、ｔ ext ）

　ra ｎ ge ＿ num、 、a a ｐ pen ｄ (li、 、 fi ｎ d("di ｖ”，

　class ＿＝’pi ｃ" " ）、 fin ｄ（ "em ＂) ) 、 text）

　）

　ﻫ

　 #span ｓ

　= l ｉ、 find("ｄ iv ”，

　c c ｌ as ｓ＿= =’ ’ star’ ’) )、 、 find_ ａl l ｌ（＂ｓｐ an") ﻫ

　 #f

　ｏ r x

　in

　r r ａ nge(len （s s ｐa a ｎs s ））：

　＃

　ｉ f ｘ

　<= 2: ﻫ

　 #

　p p ａｓs s ﻫ

　 # e ｌ se ：

　＃

　r r ａt t ｉn n ｇ _p ｅｏ ple_num、 、 append(s ｐ ans［ x] 、 st ｒi i ｎｇ［ — ｌｅ n( ｓ pans[x ］、s s ｔ rin ｇ ): — 3])

　ｓ tr = l ｉ、ｆｉn n ｄ（” div", cla ｓ s_= ’b b ｄ’) ) 、 find( ”p",

　clas ｓ＿= = ’" " ）、 te ｘt t 、 lstrip(）

　）

　ﻫ

　 in ｄe e ｘ

　= sｔr r 、f f ｉｎ d(" 主＂) )

　ﻫ

　 if (ind ｅx x

　= = ＝

　－１) ) ：

　index = str 、 fin ｄ( ( ＂、、、＂) )

　ﻫ

　 prin ｔ (li 、ｆｉｎd d （”d d ｉv v” ” , c ｌａｓ s_=" ｐi i ｃ’）、 find(” ” em") 、t t ｅ xt)

　if

　（ li 、 find （ "div ” , cl ａs s ｓ _= ’ pic ’）、f fｉ nd( ”ｅm m ”）、t t ｅx x ｔ

　== ２ 10):

　i i ｎd d ｅｘ

　＝

　60

　# ｐ rint("aaa ”) ) ﻫ

　 # #

　ｐ rint （ st ｒ [4 ：i i ｎ de ｘ ]) ﻫ

　 ｍ ov ｉｅ _autho ｒ、 append （ str[4: ｉ nde ｘ ])

　d d ａt t ａ ["t ｉ tl ｅ" " ］

　= titl ｅ

　#da ｔ a["ra ｔ ing_num" ］

　= ra ｔi i ｎ g_nu ｍ

　dat ａ［＇ rang ｅ＿n n ｕm m ’ ] =

　ｒａm nge_num

　 ﻫ

　#data[ ’ ratiｎg g ＿ｐe e ｏ pl ｅ＿n n ｕｍ’ ] = ｒ at ｉ ng ＿ peopl ｅ _nu ｍ

　ｄａｔa a ［’ mo ｖ ie_au ｔh h ｏr r ’ ] ＝

　movie_a ｕ th ｏr r

　ret ｕ rn dat ａ

　3 数据整理、转换 def ＿ _getMov ｉe e ｓ（ da ｔ a):

　f = op ｅ n("F:// ｄ ouban_mov ｉe e 、 html" ，

　’ｗ’, , ｅ nc ｏ ding＝’ utf —8 8 ’) )

　f f 、ｗ rite(" 〈 html> ”）

　ｆ、 wr ｉ te( ” <h ｅ ad 〉< < ｍｅt t ａ

　charset= ’ UTF －8 8 ’> > 〈 title 〉Insert title here</ ｔ it ｌ e> ＜/ / ｈｅ ad 〉) ")

　 ﻫ

　f f 、 wr ｉ te( ”〈b bｏd d ｙ> > ”) )

　ﻫ

　 ｆ、 write （”〈ｈ 1> 爬 取豆瓣电影< < ／ｈ１ >")

　f f 、 wri ｔｅ（” <h4> 作者：刘文斌〈 /h ４〉 ")

　f f 、 wr ｉ te( ”〈 h4>

　时间: : ＂

　+ n ｏ wt ｉ me + ”＜ /h ４＞”) )

　ﻫ

　 f f 、w w ｒi i ｔe e （ "<hr> ”) )

　f f 、ｗr r ｉ te （ "< ｔ able

　width=" ８ 00px ’

　border="1 ’

　a a ｌign=center>" ）

　f f、 、 wr ｉ" te(" 〈 th ｅa a” ｄ＞”) )

　 ﻫ

　f f、 、w w ｒ ite("<t〉 ｒ〉" "）

　）

　 ﻫ

　f f 、writ ｅ( (” ” <t〉 ｈ〉 <font si ｚe e ＝" " ５ " ｃ olor=g ｒ een 〉电影 </fo ｎ t></t）

　ｈ〉”）

　ﻫ

　 #f 、w w ｒ ite （＂＜t t ｈ

　ｗ idt ｈ= = ＇５ 0px ＇ ><fo ｎ t sｉz z ｅ ="5 ’

　c c ｏ lor=g ｒe e ｅn n 〉评分＜／ font 〉〈/ / ｔｈ〉" " ）

　f f 、 wri ｔe e （" " 〈 th

　ｗi i ｄ th="5 ０ px ’> > 〈f f ｏn n ｔ

　size=＇ ’５＇

　ｃ ol ｏ r=green 〉排名〈／ fo ｎｔ〉〈 /th> ”) )

　ﻫ

　 #f 、ｗｒ ite( ＂

　〈t t ｈ

　width= ’１ 00px ’〉〈 font size ＝ "5" ｃ olor=green 〉评价人数 </fo ｎｔ〉〈 /t ｈ〉" " ）

　ﻫ

　 ｆ、 wr ite （" " 〈 th> 〈 font siz ｅ＝ "5 ＇

　color=gr ｅ en> 导演〈／ font 〉＜ /th ＞”) )

　f f 、 wr ｉｔ e( ” </tr>")

　f f 、ｗr r ｉ te("< ／ th ｅ ad 〉”) )

　f f 、ｗｒ ite(" 〈 tbod ｙ> > ”) )

　for data in data ｓ: :

　ﻫ

　 for ｉ

　i i ｎ

　ra ｎ ge( ０, ,

　25 ）: :

　ﻫ

　 f f 、 write （＂〈t t ｒ〉”) )

　f f 、 write( ＂ <td styl ｅ =" ｃ olor:ora ｎ ge; ｔ ext —align:c en ｔ er ’〉 %s ＜ /td 〉”

　% ｄa ata ［ "ti ｔ le"][i]）

　）

　ﻫ

　 #

　ｆ、w w ｒ ite （”〈 td s ｔｙ le ＝’c c ｏｌｏ r:bl ｕe e ； te ｘｔ－a a ｌ ign ：c c ｅ nte ｒ＇〉% % ｓ＜/ / ｔ d>"

　% data ［＇r r ａｔi i ｎ g_num"] ［ｉ] ] ）

　ﻫ

　 ｆ、 writ ｅ ("<td

　s s ｔy y ｌe e ＝ "co ｌｏ r: ｒ ed ； text — ａl l ｉ gn ：ｃｅn nｔ er" 〉％ s< ／ td 〉”

　% %

　data ［’ｒ ange_num ’］ [i])

　#

　 f 、w w ｒi i ｔｅ（" " ＜ｔ d sty le= ’ co ｌ or:bl ｕ e;tex ｔ- - alig ｎ：

　cen ｔe e ｒ’〉 %s 〈 /td ＞”

　% %

　d d ａ ta[ ’ｒ ating_p ｅ ople＿ｎｕ m"] ［i i ］) )

　f f 、 write( ”〈 td st ｙ le= ’ col ｏ r: ｂl l ａｃk k ；ｔext — ａl l ｉ gn:center ’〉％ s< ／ td>" % ｄ ata[’ ’m m ｏ vi ｅ＿ aut ｈ or ’］[ [ ｉ] ] ）

　f f 、 write （" " 〈) /tr>")

　 ﻫ

　f f 、 wri ｔe e （”〈／ tbodｙ〉" " ）

　f f 、 write （" " ＜/ / ｔh h ｅ ad 〉) ")

　ﻫ

　 f f 、 wri ｔ e( ” </ ｔa a ｂ le 〉＂) )

　f f、 、w w ｒｉt t ｅ( ( ”＜／ bo ｄy y〉 〉" "）

　）

　ﻫ

　 ｆ、 write( ＂〈/ / ｈt t ｍｌ〉”）

　ﻫ

　 f f 、 close()

　ｉf f

　__ ｎa a ｍ e__

　＝= =

　’_ _ ＿m m ａi i ｎ＿_ _ ’: :

　data ｓ

　= ［］

　h h ｔ mls = __getH ｔ ml （) )

　ﻫ

　 ｆ or i

　ｉ n rang ｅ（l l ｅn n（ htmls) ）: :

　ﻫ

　 dat ａ

　= __getData （ ht ｍ ls[ ｉ] ]）

　）

　ﻫ

　 datas 、 ap ｐ end(data)

　ﻫ

　 ＿ _g ｅ tMo vies(datas ）

　４数据保存、展示

　结果如后图所示:

　 5 技术难点关键点 数据爬取实战( 搜房 网 爬取房屋 数据) ｆｒo o ｍ

　bs４ i i ｍ po ｒt t

　BｅautifｕlＳoupopmiﻫ impo ｒ t requestsｒﻫｅp ＝ requeｓｔs、get（ ’" ") rep、eｎｃodｉng = " " ｇ b2312"

　＃ 设置编码方式 html = rｅｐ、ｔexｔh" ,lmth（puｏSlufituａｅB = puoｓﻫ "h ｔｍｌ、 parser ’）

　f = oｐeｎ( "F://f ａ ng 、 html ’, ’w w ＇,encoding= ’u u ｔｆ —8 8 ’) f、writｅ（ ” <ht ｍｌ〉＂) f、wriｔe( "< ｈｅa a ｄ〉〈ｍ eta ch ａ rse ｔ= = ’ UTF — ８" " ＞ <t ｉ tle>Ins

　ｅr r ｔ

　ｔ it ｌ e here</tit ｌ e></ ｈ ead 〉”）〈”(etirｗ、fﻫ ”〈b b ｏ dy>” ”）

　f、ｗriｔe(" " 〈c c ｅｎ ter> ＜ h1 〉新房成交Ｔ OP ３ </h1 ＞〈／ ce ｎt t ｅｒ> > ”)〈＂(etｉrｗ、fﻫ ＂〈t t ａb b ｌｅ

　ｂ order ＝ "1px ’

　width= ’1 1 ００0 0 ｐx x ’

　ｈ eig ｈｔ ="800p ｘ’

　ａｌi i ｇ n=c ｅ nte ｒ〉＜ tr 〉＂)w、ｆﻫｒｉte( "<th>< ｈ2 2 〉房址 </ ｈ 2> 〈 /t ｈ >"）〈" "（etｉrw、fﻫ 〈 th 〉〈ｈ2 2 〉成交量〈 /h2 〉〈 /th 〉" ") f、wｒitｅ( ”< < ｔ h> 〈ｈ２＞均价 </h2> ＜/ / ｔh h 〉〈/ / ｔr r ＞”) rofﻫ for ｌi in sｏｕp、find(” ” ul",claｓs_=” ” ul02")、find＿aｌl( ＂l l ｉ”）:

　nａmｅ=li、ｆind(” ” div” ”,ｃlａss_=" " ｐ btext” ”)、find(” ”ｐ”）、teｘt

　 ｃhｅnｇjiａoliang=li、fｉnd(" " ｓｐa a ｎ”,ｃlaｓｓ＿= "rｅd d — f3 ”)、ｔｅxｔ

　 ｔｒy y:

　ｉｄ”(dniｆ、il=aijｎuｊﻫ ”ｄｉ v"，cｌａｓs_=" "ｏ hte ｒ" ")、find( "p",clａｓs＿＝" " ｇ ray —9 9 ”) #、text、ｒeplace（’。Ｏ’， ’平方米") ﻫ

　 exce ｐ t Exception a a ｓ

　ｅ:

　ﻫjunｊia＝ｌｉ、fｉｎd（ "di ｖ" ",class_= "gray — 9") #、texｔ、replaｃｅ("�Ｏ＇， ’平方米＇) ﻫ

　ｆ、writｅ( "<tr 〉< < ｔ d ａ li ｇ n=ce ｎ te ｒ〉< < ｆ ont

　size="5pｘ’

　c c ｏl l ｏ r=r ｅd d ＞ %s 〈 /fo ｎt t 〉＜/ / ｔd d 〉 " % naｍe)

　、ｆﻫwrｉｔe( ＂〈t t ｄ

　alig ｎ= = ｃe e ｎ ter> 〈 font s ｉ ze= ’ 5px"

　col ｏr=b ｌ ue>%s</font> 〈/ / ｔｄ〉 " % chengjiaｏｌiaｎg)

　rｗ、ｆﻫ

　ｉte(" " 〈t t ｄ

　ａ lign ＝ center 〉 <f ｏ nt

　size= ＇５p p ｘ’

　col ｏr r＝g g ｒe e ｅn n 〉 %s 〈/ / ｆ ont ＞〈／ td></t ｒ〉 " % jｕnjia）

　ｒp pﻫ ｒint(naｍe)

　f、ｗritｅ(" " ＜ /table 〉＂）＜＂(etirw、fﻫ ＂＜ /bo ｄ y> ”)

　ﻬ 六、总结 教师评语: 成绩:

　指导教师: