您当前的位置:首页 > IT编程 > python
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:Python 批量下载阴阳师网站壁纸

51自学网 2021-10-30 22:39:47
  python
这篇教程Python 批量下载阴阳师网站壁纸写得很实用,希望能帮到您。

代码复制可直接使用,记得pip install下载requests和bs4

最终版本

# 引入系统类库用于打开关闭文件import sys# 使用文档解析类库from bs4 import BeautifulSoup# 使用网络请求类库import requests#图片保存目录path = 'D:/阴阳师' #阴阳师壁纸网站html_doc = "https://yys.163.com/media/picture.html" # 请求requests_html_doc = requests.get(html_doc).text# 正则匹配所有href地址regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')urls = regex.findall(requests_html_doc)# set集合可以防止下载的图片重复result = set()for i in urls:    result.add(i)# 计数器用于图片命名num = 0# 文件路径、操作模式、编码  # r''# 打开文件录入图片f = open(r'result.txt', 'w', encoding='utf-8')for a in urls:    try:        image_data = requests.get(a).content        image_name = '{}.jpg'.format(num)  # 给每张图片命名        save_path = path + '/' + image_name  # 图片的保存地址        with open(save_path, 'wb') as f:            f.write(image_data)            print(image_name, '=======================>下载成功!!!')            num = num+1  # 下一张图片名字序号加一    except:        pass# 关闭文件录入f.close()print("/r/n扫描结果已写入到result.txt文件中/r/n")

过程

借鉴代码

自己从0开始,没有头绪,而且对python掌握度不高,那先借鉴别人的代码开始,第一篇借鉴的代码如下

# 引入系统类库import sys# 使用文档解析类库from bs4 import BeautifulSoup# 使用网络请求类库import urllib.requestpath = 'D:/阴阳师'html_doc = "https://yys.163.com/media/picture.html"# 获取请求req = urllib.request.Request(html_doc)# 打开页面webpage = urllib.request.urlopen(req)# 读取页面内容html = webpage.read()# 解析成文档对象soup = BeautifulSoup(html, 'html.parser')  # 文档对象# 非法URL 1invalidLink1 = '#'# 非法URL 2invalidLink2 = 'javascript:void(0)'# set集合可以防止下载的图片连接重复result = set()# 计数器用于图片命名num = 0# 查找文档中所有a标签for k in soup.find_all('a'):    # print(k)    # 查找href标签    link = k.get('href')    # 过滤没找到的    if(link is not None):        # 过滤非法链接        if link == invalidLink1:            pass        elif link == invalidLink2:            pass        elif link.find("javascript:") != -1:            pass        else:            result.add(link)for a in result:    # 文件路径、操作模式、编码  # r''    f = open(r'result.txt', 'w', encoding='utf-8')    # image_data = urllib.request.get(url=a).content    image_data = requests.get(url=a).content    image_name = '{}.jpg'.format(num)  # 给每张图片命名    save_path = path + '/' + image_name  # 图片的保存地址    with open(save_path, 'wb') as f:        f.write(image_data)        print(image_name, '=======================>下载成功!!!')        num = num+1  # 下一张图片名字序号加一        f.close()print("/r/n扫描结果已写入到result.txt文件中/r/n")

思考urllib.request和requests

借鉴的代码中使用urllib.request来请求,刚开始学习看到的一些代码实例也常用urllib.request来发起请求,之后看到有的代码使用的是requests。对于我个人,主观感受requests更加便捷,少写了几行代码,于是便去查阅了解两者的区别。

BeautifulSoup

接触到了BeautifulSoup,并且在一些文章的评论中看到对BeautifulSoup的称赞,进入文档查阅了下用法,改变了我之前对python,获取文档中部分特征的元素节点的写法困难的印象。

Beautiful Soup 4.4.0 文档

优化处理

之所以要加正则匹配,因为一开始获取到的图片链接里有空字符串的现象,在下载图片的时候直接报错整个程序挂掉,而且这个借鉴代码中的invalidLink1和invalidLink2看起来属实不舒服。所以添加了正则从源头保证链接的有效性,并且在执行下载代码中,添加了try,except保证程序出错也不会挂掉。

借鉴的代码中每一次的下载,都会对要保存的目录进行打开和关闭,于是将打开关闭抽离到最外层,下载的逻辑放在里面,下载图片成功的提速果然肉眼可见~

总结

壁纸确实不戳~,希望下一个学习的脚本能更加有趣~

以上就是Python 批量下载阴阳师网站壁纸的详细内容,更多关于python 下载阴阳师网站壁纸的资料请关注51zixue.net其它相关文章!


python 如何将两个实数矩阵合并为一个复数矩阵
Python机器学习之PCA降维算法详解
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。