这篇教程教你如何利用python3爬虫爬取漫画岛-非人哉漫画写得很实用，希望能帮到您。
最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。 一、效果展示 首先是我们想要爬取的漫画网页：http://www.manhuadao.cn/ 网页截图：  其次是爬取下来的效果： 
每一回的文件夹里面是这样的： (因为网站图片的问题...所以就成了这个鬼样子) 
二、分析原理1、准备：需要vscode或者其他能够编译运行python的软件，推荐python版本3.X ，否则有可能出现编译问题。 下载所需模块：win+R进入命令行，输入pipinstall <模块名>即可下载。例如： pip install beautifulsoup4 2、原理： 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片 三、实际操作（代码附在最后） 1、引入模块 （这里不再详述）  2、模拟浏览器访问网页 
(1)、这里我们打开漫画的目录页，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此链接就是目录页链接。 
(2)、按F12打开此网页的源码（谷歌浏览器），选中上方NetWork，Ctrl+R刷新。 
(3)、找到加载网页的源码文件，点击Headers，如下图： StatusCode表示网页返回的代码，值为200时表示访问成功。  (4)、headers中的参数为下面红框User-Agent。 response = requests.get(url=url, headers=headers) # 模拟访问网页print(response) # 此处应输出 <Response [200]>print(response.text) # 输出网页源码 两个输出分别输出：  输出返回200表示访问成功。  （节选） (5)、将html代码存入 data 中，xpath定位每一章链接。点击上方Element，点击：  将鼠标移至目录处：  右边代码区域出现每一章链接： 
data = etree.HTML(response.text)# tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')tp = data.xpath('//*[@class="yesReader"]/@href')zhang_list = tp # tp为链接列表 输出zhang_list，结果如下： 
(6)、获取图片链接（获取方式同上一步） 点进第一章，同上一步，寻找到图片链接： 
i=1for next_zhang in zhang_list: # 在章节列表中循环 i=i+1 j=0 hui_url = r_url+next_zhang name1 = "第"+str(i)+"回" file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1) # 创建文件夹 if not os.path.exists(file): os.makedirs(file) print('创建文件夹：', file) response = requests.get(url=hui_url, headers=headers) # 模拟访问每一章链接 data = etree.HTML(response.text) # tp = data.xpath('//div[@class="no-pic"]//img/@src') tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src') # 定位 ye_list = tp (7)、下载图片 for k in ye_list: # 在每一章的图片链接列表中循环 download_url = tp[j] print(download_url) j=j+1 file_name="第"+str(j)+"页" response = requests.get(url=download_url) # 模拟访问图片链接 with open(file+file_name+".jpg","wb") as f: f.write(response.content) 五、代码'''用于爬取非人哉漫画目标网址：http://www.manhuadao.cn/开始时间：2019/8/14 20:01:26完成时间：2019/8/15 11:04:56作者：kong_gu'''import requestsimport jsonimport timeimport osfrom lxml import etreefrom bs4 import BeautifulSoupdef main(): keyword="非人哉" file = 'E:/{}'.format(keyword) if not os.path.exists(file): os.mkdir(file) print('创建文件夹：',file) r_url="http://www.manhuadao.cn/" url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628" headers = { # 模拟浏览器访问网页 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) //Chrome/75.0.3770.142 Safari/537.36'} response = requests.get(url=url, headers=headers) # print(response.text) # 输出网页源码 data = etree.HTML(response.text) # tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href') tp = data.xpath('//*[@class="yesReader"]/@href') zhang_list = tp i=1 for next_zhang in zhang_list: i=i+1 j=0 hui_url = r_url+next_zhang name1 = "第"+str(i)+"回" file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1) # 这里需要自己设置路径 if not os.path.exists(file): os.makedirs(file) print('创建文件夹：', file) response = requests.get(url=hui_url, headers=headers) data = etree.HTML(response.text) # tp = data.xpath('//div[@class="no-pic"]//img/@src') tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src') ye_list = tp for k in ye_list: download_url = tp[j] print(download_url) j=j+1 file_name="第"+str(j)+"页" response = requests.get(url=download_url) with open(file+file_name+".jpg","wb") as f: f.write(response.content)if __name__ == '__main__': main()到此这篇关于利用python3爬虫爬取漫画岛-非人哉漫画的文章就介绍到这了,更多相关python3爬虫漫画岛内容请搜索51zixue.net以前的文章或继续浏览下面的相关文章希望大家以后多多支持51zixue.net！
python concurrent.futures模块的使用测试
Python实现简单飞机大战 |
输出返回200表示访问成功。
（节选）
