您当前的位置:首页 > IT编程 > python
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:python爬取豆瓣电影TOP250数据

51自学网 2021-10-30 22:39:17
  python
这篇教程python爬取豆瓣电影TOP250数据写得很实用,希望能帮到您。

在执行程序前,先在MySQL中创建一个数据库"pachong"。

import pymysqlimport requestsimport re#获取资源并下载def resp(listURL):    #连接数据库    conn = pymysql.connect(        host = '127.0.0.1',        port = 3306,        user = 'root',        password = '******',  #数据库密码请根据自身实际密码输入        database = 'pachong',         charset = 'utf8'    )    #创建数据库游标    cursor = conn.cursor()    #创建列表t_movieTOP250(执行sql语句)    cursor.execute('create table t_movieTOP250(id INT PRIMARY KEY 												auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL 									,pictrue_address VARCHAR(100))')    try:        # 爬取数据        for urlPath in listURL:            # 获取网页源代码            response = requests.get(urlPath)            html = response.text            # 正则表达式            namePat = r'alt="(.*?)" src='            imgPat = r'src="(.*?)" class='            # 匹配正则(排名【用数据库中id代替,自动生成及排序】、电影名、电影海报(图片地址))            res2 = re.compile(namePat)            res3 = re.compile(imgPat)            textList2 = res2.findall(html)            textList3 = res3.findall(html)            # 遍历列表中元素,并将数据存入数据库            for i in range(len(textList3)):                cursor.execute('insert into t_movieTOP250(movieName,pictrue_address) 									VALUES("%s","%s")' % (textList2[i],textList3[i]))        #从游标中获取结果        cursor.fetchall()        #提交结果        conn.commit()        print("结果已提交")    except Exception as e:        #数据回滚        conn.rollback()        print("数据已回滚")    #关闭数据库    conn.close()#top250所有网页网址def page(url):    urlList = []    for i in range(10):        num = str(25*i)        pagePat = r'?start=' + num + '&filter='        urL = url+pagePat        urlList.append(urL)    return urlListif __name__ == '__main__':    url = r"https://movie.douban.com/top250"    listURL = page(url)    resp(listURL)

结果如下图:

以上就是我的分享,如果有什么不足之处请指出,多交流,谢谢!

以上就是python爬取豆瓣电影TOP250数据的详细内容,更多关于python爬取豆瓣电影的资料请关注51zixue.net其它相关文章!


基于Python绘制子图及子图刻度的变换等的问题
python办公自动化之excel的操作
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。