首页 范文大全 古典文学 职场知识 中国文学 公文书信 外国名著 寓言童话 百家讲坛 散文/诗歌 美文欣赏 礼仪知识 民俗风情
  • 工作总结
  • 工作计划
  • 心得体会
  • 竞聘演讲
  • 会议发言
  • 爱国演讲
  • 就职演说
  • 开业开幕
  • 思想学习
  • 征文演讲
  • 经验材料
  • 述职报告
  • 调研报告
  • 工作汇报
  • 年终总结
  • 申报材料
  • 学习体会
  • 企划方案
  • 活动方案
  • 技巧经验
  • 模板范例
  • 思想宣传
  • 经济工作
  • 工作报告
  • 组织人事
  • 反腐倡廉
  • 慰问贺电
  • 先进事迹
  • 思想汇报
  • 入党申请书
  • 党会发言
  • 先进性教育
  • 入团申请书
  • 个人简历
  • 演讲稿
  • 调查报告
  • 实习报告
  • 和谐社会
  • 观后感
  • 读后感
  • 作文范文
  • 自我鉴定
  • 讲话稿
  • 自查报告
    • 蒲公英阅读网 > 范文大全 > 模板范例 > 正文

    Python网络爬虫实习报告python实习报告

    时间：2020-08-25 12:27:32 来源：蒲公英阅读网 本文已影响人 蒲公英阅读网手机站

    相关热词搜索：实习报告 爬虫 网络

    　 Python 网络爬虫实习报告

    　目录 一、选题背景 .................................................................................... - 1 -

    　二、爬虫原理 .................................................................................... - 1 -

    　三、爬虫历史与分类 ......................................................................... - 1 -

    　四、常用爬虫框架比较 ..................................................................... - 1 -

    　五、数据爬取实战( 豆瓣网爬取电影数据) ........................................ - 2 -

    　1 分析网页 .......................................................................................... -

    　2

    　- 2 爬取数据 .......................................................................................... -

    　2

    　- 3 数据整理、转换............................................................................... -

    　3

    　- 4 数据保存、展示............................................................................... -

    　7

    　- 5 技术难点关键点............................................................................... -

    　9

    　-

    　 六、总结 ......................................................................................... - 11 -

    　一、

    　选题背景 二、

    　爬虫原理 三、

    　爬虫历史与分类 四、

    　常用爬虫框架比较 y Scrapy 框架: :Scrapy 框架就是一套比较成熟的 Python 爬虫框架,就是使用 Python 开发的快速、高层次的信息爬取框架,可以高效的爬取 web页面并提取出结构化数据。Scrapy 应用范围很广,爬虫开发、数据挖掘、数据监测、自动化测试等。

    　y Crawley 框架: :Crawley 也就是 Python 开发出的爬虫框架,该框架致力于改变人们从互联网中提取数据的方式。

    　a Portia 框架: :Portia 框架就是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。

    　r newspaper 框架: :newspaper 框架就是一个用来提取新闻、文章以及内容分析的 Python 爬虫框架。

    　Python- -e goose 框架: :Python-goose 框架可提取的信息包括:<1>文章主体内容;<2>文章主要图片;<3>文章中嵌入的任 heYoutube/Vimeo 视频;<4>元描述;<5>元标签

    　五、数据爬取实战( 豆瓣网爬取电影数据) 1 分析网页

    　# 获取 html 源代码

    　def __getHtml():

    　data = []

    　pageNum = 1

    　pageSize = 0

    　try:

    　while (pageSize <= 125):

    　# headers = {"User- - Agent":"Mozilla/5 、 0 (Wi ndows NT 6 6 、 1) AppleWebKit/537 、 11 (KHTML, like Gecko) Chrome/23 、0 0 、1271 、 64 Safari/537 、 11",

    　# "Referer":None # 注意如果依然不能抓取的话, , 这里可以设置抓取网站的 host

    　# }

    　# opener = urllib 、 request 、 build_opener()

    　# opener 、 addheaders = [head ers]

    　url = "" + str(pageSize) + "&filter=" + str(pageNum)

    　# data["html%s" % i ]=urllib、 、 request、 、 urlopen(url) 、read() 、 decode("utf- - 8")

    　data、 、 append(urllib、 、 request、 、 urlopen(url)、 、 read() 、

    　decode("utf- - 8"))

    　pageSize += 25 5

    　pageNum += 1

    　print(pageSize, pageNum)

    　except Exception as e:

    　raise e

    　return data

    　2 爬取数据 def __getData(html):

    　title = []

    　# 电影标题

    　#rating_num = []

    　# 评分

    　range_num = []

    　 # 排名

    　#rating_people_num = []

    　#

    　评价人数

    　movie_author = []

    　 # 导演

    　data = {}

    　# bs4 解析 html

    　soup = BeautifulSoup(html, "html 、 parser")

    　for li in soup 、 find("ol", attrs={"class": "grid_view"}) 、find_all("li"):

    　title 、 append(li 、 find("span", class_="title") 、 text)

    　#rating_num 、 append(li 、 find("div", class_="star") 、

    　find("span", class_="rating_num") 、 text)

    　range_num 、 append(li 、 find("div", class_="pic") 、find("em") 、 text)

    　#spans = li 、 find("div", class_="star") 、find_all("span")

    　#for x in range(len(sp ans)):

    　#

    　 if x <= 2:

    　#

    　pass

    　# else:

    　#

    　rating_people_num 、 append(spans[x] 、string[- - len(spans[x] 、 string):- - 3])

    　str = li 、 find("div", class_="bd") 、 find("p", class_="") 、 text 、 lstrip()

    　index = str 、 fi nd(" 主 ")

    　if (index == - - 1):

    　index = str 、 find(" 、、、 ")

    　print(li 、 find("div", class_="pic") 、 find("em") 、text)

    　if (li、 、 find("div", class_="pic")、 、 find("em")、 、 text == 210):

    　index = 60

    　# print("a aa")

    　# print(str[4:index])

    　movie_author 、 append(str[4:index])

    　data["title"] = title

    　#data["rating_num"] = rating_num

    　data["range_num"] = range_num

    　#data["rating_people_num"] = rating_people_num

    　data["movie_author"] = mov ie_author

    　return data

    　3 数据整理、转换 def __getMovies(data):

    　f = open("F://douban_movie 、 html", "w",encoding="utf- - 8")

    　f f 、 write("<html>")

    　f f 、 write("<head><meta charset="UTF- - 8"><title>Insert title here</title></head>")

    　f f 、 write("<body>")

    　f f 、 write ("<h1> 爬取豆瓣电影 </h1>")

    　f f 、 write("<h4> 作者: : 刘文斌 </h4>")

    　f f 、 write("<h4> 时间 :" + nowtime + "</h4>")

    　f f 、 write("<hr>")

    　f f 、 write("<table width="800px" border="1" align=center>")

    　f f 、 write("<thead>")

    　f f 、 write("<tr>")

    　f f 、 write("<th><font size="5" colo r=green> 电影</font></th>")

    　#f 、 write("<th

    　width="50px"><font size="5" color=green>评分 </font></th>")

    　f f 、 write("<th

    　width="50px"><font size="5" color=green>排名 </font></th>")

    　#f 、 write("<th

    　width="100px"><font size="5" color=green>评价人数 </font></th>")

    　f f 、 write("<th><font size="5" color=green> 导演</font></th>")

    　f f 、 write("</tr>")

    　f f 、 write("</thead>")

    　f f 、 write("<tbody>")

    　for data in datas:

    　for i in range(0, 25):

    　f f 、 write("<tr>")

    　f f 、 write("<td style="color:orange;text- - align:center">%s</td>" % data["title"][i])

    　#

    　f 、 write("<td

    　style="color:blue;text- - align:center">%s</td>" % data["rating_num"][i])

    　f f 、 write("<td style="color:red;text- - align:center">%s</td>" % data["range_num"][i])

    　#

    　 f 、 write(" <td style="color:blue;text- - align:center">%s</td>" % data["rating_people_num"][i])

    　f f 、 write("<td style="color:black;text- - align:center">%s</td>" % data["movie_author"][i])

    　f f 、 write("</tr>")

    　f f 、 write("</tbody>")

    　f f 、 write("</thead>")

    　f f 、 write("</table>")

    　f f 、 write("</body>")

    　f f 、 write("</html>")

    　f f 、 close()

    　if __name__ == "__main__":

    　datas = []

    　htmls = __getHtml()

    　for i in range(len(htmls)):

    　data = __getData(htmls[i])

    　datas 、 append(data)

    　__getMovies(datas)

    　 4 4 数据保存、展示

    　结果如后图所示:

    　 5 技术难点关键点 数据爬取实战( 搜房网爬取房屋数据)

    　from bs4 import BeautifulSoup import requests rep = requests、get( "") rep、encoding = "gb2312"

    　# 设置编码方式 html = rep、text soup = BeautifulSoup(html, "html 、 parser") f = open( "F://fang 、 htm l", "w",encoding= "utf- - 8") f、write( "<html>") f、write( "<head><meta charset="UTF- - 8"><title>Insert title here</title></head>") f、write( "<body>") f、write( "<center><h1> 新房成交 TOP3</h1></center>") f、write( "<table border="1px" width="1000px" height="800px" align=cent er><tr>") f、write( "<th><h2> 房址 </h2></th>") f、write( "<th><h2> 成交量 </h2></th>") f、write( "<th><h2> 均价 </h2></th></tr>") for li in soup、find( "ul",class_= "ul02")、find_all( "li"):

    　 name=li、find( "div",class_= "pbtext")、find( "p")、text

    　 chengjiaoliang=li、find( "span" ",class_= "red- - f3")、text

    　 try:

    　 junjia=li、find( "div",class_= "ohter")、find( "p",class_= "gray- - 9") #、text、replace("�O", "平方米")

    　 except Exception as e:

    　 junjia=li、find( "div",class_= "gray- - 9") #、text、replace("�O", "平方米")

    　f、write( "<tr><td ali gn=center><font size="5px"

    　color=red>%s</font></td>" % name)

    　 f、write( "<td align=center><font size="5px"

    　color=blue>%s</font></td>" % chengjiaoliang)

    　 f、write( "<td align=center><font size="5px"

    　color=green>%s</font></td></tr>" % junjia)

    　 print(name)

    　f、write( "</table>") f、write( "</body>")

    　六、总结

    　 教师评语:

    　 成绩:

    　 指导教师:

  • 北海道手撕面包的做法【北海道面包怎么做好
  • 和男朋友说道歉的话语 给女朋道歉的话语
  • 排毒养颜汤的做法大全_女性八款排毒养颜的
  • 2018两会热点话题论文_2017两会热点话题是什么
  • 勤奋成就未来作文 勤奋成就未来八百字
  • [同意工程立项批复范文]同意请示的批复范文
  • 律师事务所内勤职责_法律服务所工作计划
  • 名人怎么克服紧张情绪|怎么克服紧张情绪
  • 高中物理选修31电场能的性质总结|高中物理
    • 范文大全
    • 职场知识
    • 精美散文
    • 名著
    • 讲坛
    • 诗歌
    • 礼仪知识
    最新文章

    推荐访问

    大反思大讨论活动 保安全” 筑防线 “查思想 贡献伟大时代” “以青春之我 工作评议报告 创建活动综述 市社保局党支部 自述报告 “党员先锋示范岗” 党建德育工作 达标创星活动 “星级党支部”创建 评星定级管理 社会组织党支部 第四巡察组 新进年轻干部 委厅机关 党性教育培训班 履职能力建设专题培训班 新考录社区工作者 “头雁领航”重点培训班 党组织业务培训 能力提升培训会 赋能经济高质量发展 “五好”园区 三年攻坚行动 行政管理能力建设提升班 高质量发展能力提升培训班 市疾控系统 中基层管理人员 专业能力提升专题培训班 新发展预备党员 进驻工作 迎接审计组 讲评推进大会 “三抓三促”行动动员 “永不过时的红岩精神” 市委党史研究室 科学绿化现场会 深化以案促改 一体推进不敢腐不能腐不想腐 奋斗精神 专题辅导讲稿 坚守使命追求 涉密 《党史学习教育工作条例》 百年新征程 “百年定位” 党课教育

    本文Python网络爬虫实习报告python实习报告由蒲公英阅读网整理提供，版权归原作者、原出处所有。

    Copyright © 蒲公英阅读网 All Rights Reserved.