爬虫

网络爬虫（也称为网络蜘蛛或网络机器人）是一种模拟浏览器发送网络请求并接收对请求的响应的程序。按照一定的规则自动检索互联网信息。原则上，浏览器（客户端）能做的任何事情，爬虫也能做。

为什么我们要使用爬虫

互联网大数据时代让我们的生活更加便捷，大量的数据爆发到互联网上。过去，书籍、报纸、电视、广播等信息有限，需要对信息进行一定程度的筛选，但缺点是信息太窄。信息传递不对称限制了我们的视角，阻碍我们学习更多的信息和知识。互联网大数据时代，我们突然可以自由获取信息，但其中大部分是无效信息。例如，新浪微博每天产生数亿条状态更新，而百度搜索引擎在33,354 次随机搜索中丢失了1 亿条信息。如此海量的信息，我们如何获取对我们有用的信息呢？答案就是筛选！只有通过特定技术收集相关内容，进行分析、删除，才能获得真正需要的信息。这种信息收集、分析和整合工作可以应用于广泛的领域，包括生活服务、出行、金融投资以及各制造业的产品市场需求。并利用有效信息。虽然网络爬虫技术有一个奇怪的名字，最初让人想到柔软的、蠕动的生物，但它实际上是一个强大的工具，可以让你在虚拟世界中前进。

爬虫准备工作

我们通常谈论Python爬虫，但爬虫实际上并不是Python特有的。爬虫有多种语言，包括PHP、JAVA 和C#。C++、Python 我们选择Python作为爬虫，因为它比较简单，而且功能丰富。首先，您需要下载Python。我已经下载了最新的官方版本3.8.3。接下来，我们需要一个运行Python的环境。

自己获取爬虫、数据分析、全栈开发、人工智能学习资料，并关键词【信息】回复@Python阿智。

您也可以从官方网站下载。您还需要一些库来支持爬虫的操作（一些库可能随Python一起提供）。

更多爬虫、数据分析、全栈开发、人工智能学习资料可在@Python阿智回复关键字【信息】自行获取。

我已经出于良心在最后写了关于这些库的评论。

更多爬虫、数据分析、全栈开发、人工智能学习资料，私信@PythonAzhi，回复关键词【信息】。

（如果你运行爬虫，不一定只需要上面的库；这取决于你如何编写爬虫。无论如何，如果你需要库，可以直接在设置中安装）

爬虫项目讲解

我正在做的是爬取豆瓣评分前250的电影爬虫代码。这是我要爬取的网站：https://movie.douban.com/top250。

爬网现已完成。这显示了如何将爬取的内容保存到xls 中。

更多爬虫、数据分析、全栈开发、人工智能学习资料，回复关键词【信息】即可@Python阿智。

爬取的内容为电影详情链接、图片链接、电影中文名、电影外文名、评分、评论数、剧情简介以及相关信息。

代码分析

先发布代码，然后一步步分析

# -*-coding=utf-8 -*-from bs4 import BeautifulSoup # 解析网页，检索数据import re # 正则表达式，文本匹配`import urllib.request, urllib.error # 创建URL，网页获取导入数据xlwt #执行Excel操作#import sqlite3 #执行SQLite数据库操作findLink=re.compile(r’a href='(.*?)”) #正则表达式对象、拍卖规则、视频详情创建链接规则findImgSrc=re .compile (r’img.*src='(.*?)”, re.S)findTitle=re.compile(r’span class=’title'(.*)/span ‘)findRating=re.compile (r ‘span class=’erated_num’ property=’v:average'(.*)/span’)findJudge=re.compile(r’span(\d*)人view讯/span’) findInq=re.compile(r ‘ span class=’inq'(.*)/span’)findBd=re.compile(r’p class=”(.*?)/p’, re.S)def main (): Baseurl=’https://movie . com/top250?start=’ #要抓取的网页链接# 1.抓取网页datalist=getData(baseurl) savepath=’豆瓣电影Top250.xls’ #到当前目录新建并保存一个XLS# dbpath=’movie.db’ #在当前目录新建并保存数据库# 3.保存数据saveData(datalist,savepath) #两种保存方式只能选择一种# saveData2DB(datalist,dbpath)#爬取网页def getData(baseurl): datalist=[] #i 爬取的网页信息range(0, 10): # 调用函数获取页面信息10 次url=baseurl + str(i * 25) html=AskURL (url) # 保存检索到的网页的源代码# 2、数据一一解析Soup=BeautifulSoup(html, ‘html.parser’) for item inSoup.find_all(‘div’, class_=’ item’): # 查找符合要求的字符串data=[] # 电影的保存所有信息item=str(item) link=re.findall(findLink, item)[0] # 通过正则表达式搜索data.append(link) imgSrc=re.findall(findImgSrc, item) [0] data .append(imgSrc) title=re.findall(findTitle, item) if (len(titles)==2): ctitle=title[0] data .append(ctitle ) otitle=title[1].replace(‘/’ , ”) #去掉转义符data.append(otitle) else: data.append(titles[0]) data.append(‘ ‘) ratings=re.findall (findRating, item)[0] data .append( rating) JudgeNum=re.findall(findJudge, item)[0] data.append(judgeNum) inq=re.findall(findInq, item) if len(inq ) !=0: inq=inq[0].replace(‘.

‘, ”) data.append(inq) else: data.append(‘ ‘) bd=re.findall(findBd, item)[0] bd=re.sub(‘br(\s+)?/(\s+) ?’, ”, bd) bd=re.sub(‘/’, ”, bd) data.append(bd.strip()) datalist.append(data) return datalist# 返回指定网页的内容. 获取URL def AskURL(url): head={ # 模拟浏览器头信息并向豆瓣服务器发送消息’User-Agent’: ‘Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML like Gecko) Chrome/80.0.3987.122 Safari/537.36’ } # 用户代理。告诉豆瓣服务器你的机器和浏览器类型（基本上是告诉浏览器可以接收什么级别的文件内容） request=urllib.request(url, headers=head) html=” try: response=urllib.request .urlopen(request) html=response.read().decode(‘utf-8’) 删除urllib.error.URLError 作为e: if hasattr( e, ‘code ‘): print(e.code) if hasattr( e, ‘reason’): print(e.reason) return html# 保存数据到表def saveData(datalist,savepath): print(‘save.’) book=xlwt.Workbook(encoding=’utf-8′, style_compression=0) #创建工作簿对象sheet=book.add_sheet(‘豆瓣电影Top250’, cell_overwrite_ok=True) #创建工作表col=(‘电影详情链接’, ‘图片链接’, “电影中文名”, “电影的外文名”,”评分”,”评论数”,”概要”,”相关信息”) for i in range(0), 8): Sheet.write(0 ,i,col[i]) #i in range (0,250): 的列名#print(‘Article %d’ %(i+1)) #用于测试的输出语句data=datalist[i] for j in range(0,8):sheet.write (i+1,j,data[j]) #databook.save(savepath) #save# def saveData2DB(datalist,dbpath): # init_db(dbpath)# conn=sqlite3.connect(dbpath)# cur=conn.cursor ()# 对于datalist: 中的数据# range(len(data)):# 对于索引==4 或索引==5: # continue# data[index]=”+data[index]+”# sql=” # movie250(# info_link,pic_link,cname,ename,score, rating,introduction,info)# insert into value ( %s)”’%’,’ .join(data)# # print(sql) # 输出查询语句用于测试# cur.execute(sql)# conn.commit()# cur.close# 关闭conn。 ()# def init_db(dbpath):# sql=”# 创建表movie250(# id 整型主键自增，# info_link text,# pic_link text,# cname varchar,# ename varchar ,# 分数编号，# 评分编号， # 介绍性文字，# 信息性文字# )### ”’ #创建数据表# conn=sqlite3.connect(dbpath)#cursor=conn.cursor()#cursor.execute(sql)# conn.commit( ) # conn.close()# 将数据保存到数据库if __name__==’__main__’: # 运行程序时# 调用main()函数# init_db(‘movietest.db’)print(‘爬取完成！ ‘)

下面，我们将从上到下对代码进行解释和分析。

回复@Python阿智关键字【信息】，获取爬虫、数据分析、全栈开发、人工智能的学习资料。

–coding=utf-8 –，最初将编码写入utf-8，防止出现乱码。接下来，导入并准备一些库（我从来没有使用过sqlite3库，所以我把它注释掉了）。以下一些以find开头的单词是正则表达式，用于过滤信息。（正则表达式使用re库，不需要正则表达式。）大致过程分为三步：

1. 抓取网页。 2. 逐条分析数据。 3. 保存网页。

首先分析一下流程1。抓取网页。 baseurl 是您要抓取的网页的URL。往下调用getData(baseurl)。我们来看看getData方法。

for i in range(0, 10): # 调用函数获取页面信息10次url=baseurl+str(i*25) 这一段可能没有意义，但实际上是这样的：变成了。 Top250，每个只显示25个页面，因此需要访问该页面10次（25*10=250）。

Baseurl=’https://movie.douban.com/top250?start=’在baseurl后添加数字会跳转到相应页面，例如i=1。

https://movie.douban.com/top250?start=25

粘贴超链接。单击查看您将被重定向到哪个页面。毕竟，真正的知识来自于实践。

e?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1717805831&x-signature=hImyVtyGTTWk8AyBgFKt3aQWuYg%3D” />更多爬虫、数据分析、全栈开发、人工智能学习资料自取私信@Python阿执回复关键词【资料】
然后又调用了askURL来请求网页，这个方法是请求网页的主体方法，怕大家翻页麻烦，我再把代码复制一遍，让大家有个直观感受
def askURL(url): head = { # 模拟浏览器头部信息，向豆瓣服务器发送消息 “User-Agent”: “Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122 Safari / 537.36” } # 用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们可以接收什么水平的文件内容） request = urllib.request.Request(url, headers=head) html = “” try: response = urllib.request.urlopen(request) html = response.read().decode(“utf-8”) except urllib.error.URLError as e: if hasattr(e, “code”): print(e.code) if hasattr(e, “reason”): print(e.reason)returnhtml
这个askURL就是用来向网页发送请求用的，那么这里就有老铁问了，为什么这里要写个head呢？

这是因为我们要是不写的话，访问某些网站的时候会被认出来爬虫，显示错误，错误代码

418

这是一个梗大家可以百度下，
418 I’m a teapot
The HTTP 418 I’m a teapot client error response code indicates thatthe server refuses to brew coffee because it is a teapot. This erroris a reference to Hyper Text Coffee Pot Control Protocol which was anApril Fools’ joke in 1998.
我是一个茶壶

所以我们需要 “装” ，装成我们就是一个浏览器，这样就不会被认出来，伪装一个身份。
更多爬虫、数据分析、全栈开发、人工智能学习资料自取私信@Python阿执回复关键词【资料】
来，我们继续往下走，
html=response.read().decode(“utf-8″)这段就是我们读取网页的内容，设置编码为utf-8，目的就是为了防止乱码。访问成功后，来到了第二个流程：
2.逐一解析数据
解析数据这里我们用到了 BeautifulSoup（靓汤）这个库，这个库是几乎是做爬虫必备的库，无论你是什么写法。
下面就开始查找符合我们要求的数据，用BeautifulSoup的方法以及 re 库的正则表达式去匹配，
findLink = re.compile(r'<a href=”(.*?)”>’) # 创建正则表达式对象，标售规则影片详情链接的规则findImgSrc = re.compile(r'<img.*src=”(.*?)”‘, re.S)findTitle = re.compile(r'(.*)’)findRating = re.compile(r'(.*)’)findJudge = re.compile(r'(\d*)人评价’)findInq = re.compile(r'(.*)’)findBd=re.compile(r'<pclass=””>(.*?)’,re.S)匹配到符合我们要求的数据，然后存进 dataList ，所以 dataList 里就存放着我们需要的数据了。
最后一个流程：
3.保存数据
# 3.保存数据 saveData(datalist,savepath) #2种存储方式可以只选择一种#saveData2DB(datalist,dbpath)保存数据可以选择保存到 xls 表，需要（xlwt库支持）也可以选择保存数据到 sqlite数据库，需要（sqlite3库支持）
这里我选择保存到 xls 表，这也是为什么我注释了一大堆代码，注释的部分就是保存到 sqlite 数据库的代码，二者选一就行
保存到 xls 的主体方法是 saveData （下面的saveData2DB方法是保存到sqlite数据库）：
def saveData(datalist,savepath): print(“save…….”) book = xlwt.Workbook(encoding=”utf-8″,style_compression=0) #创建workbook对象 sheet = book.add_sheet(‘豆瓣电影Top250’, cell_overwrite_ok=True) #创建工作表 col = (“电影详情链接”,”图片链接”,”影片中文名”,”影片外国名”,”评分”,”评价数”,”概况”,”相关信息”) for i in range(0,8): sheet.write(0,i,col[i]) #列名 for i in range(0,250): # print(“第%d条” %(i+1)) #输出语句，用来测试 data = datalist[i] for j in range(0,8): sheet.write(i+1,j,data[j]) #数据book.save(savepath)#保存创建工作表，创建（会在当前目录下创建），
sheet = book.add_sheet(‘豆瓣电影Top250’, cell_overwrite_ok=True) #创建工作表col=(“电影详情链接”,”图片链接”,”影片中文名”,”影片外国名”,”评分”,”评价数”,”概况”,”相关信息”)然后把 dataList里的数据一条条存进去就行。
最后运作成功后，会在左侧生成这么一个文件

打开之后看看是不是我们想要的结果
更多爬虫、数据分析、全栈开发、人工智能学习资料自取私信@Python阿执回复关键词【资料】
成了，成了！
更多爬虫、数据分析、全栈开发、人工智能学习资料自取私信@Python阿执回复关键词【资料】
如果我们需要以数据库方式存储，可以先生成 xls 文件，再把 xls 文件导入数据库中，就可以啦
本篇文章讲解到这里啦，我感觉我讲得还算细致吧，爬虫我也是最近才可以学，对这个比较有兴趣，我肯定有讲得不好的地方，欢迎各位大佬来指正我。
我也在不断地学习中，学到新东西第一时间会跟大家分享大家可以动动小手，点波关注不迷路。
如果关于本篇文章有不懂的地方，欢迎大家下面留言，我知道的都会给大家一一解答。
白嫖不好，创作不易。各位的点赞就是我创作的最大动力，如果我有哪里写得不对，欢迎评论区留言进行指正。老铁，如果有收获，请点个免费的赞鼓励一下博主呗
来源：http://suo.im/5wZ1fZ