您当前的位置:首页 > IT编程 > python
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:python基于selenium爬取斗鱼弹幕

51自学网 2021-10-30 22:55:42
  python
这篇教程python基于selenium爬取斗鱼弹幕写得很实用,希望能帮到您。

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import timefrom selenium import webdriverchrome_options = webdriver.ChromeOptions()# 使用headless无界面浏览器模式# chrome_options.add_argument('--headless')# chrome_options.add_argument('--disable-gpu')prefs = {"profile.managed_default_content_settings.images": 2}chrome_options.add_experimental_option("prefs", prefs)browser = webdriver.Chrome(chrome_options=chrome_options)url = 'https://www.douyu.com/'def getDanmu(homeId):  homeHref = url+str(homeId)  browser.get(homeHref)  while 1:     time.sleep(2)    try:      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):        if len(i.text) > 0:          try:            print(i.text)          except:            pass          saveDanmu(i.text)        else:          continue    except:      time.sleep(2)      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):        if len(i.text) > 0:          try:            print(i.text)          except:            pass          saveDanmu(i.text)        else:          continuedef saveDanmu(danmu):  with open('danmu.txt', 'a+', encoding='utf-8')as f:    f.write(danmu+'/n')if __name__ == '__main__':  num = input('请输入需要查询的房间号:')  getDanmu(num)

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注51zixue.net其它相关文章!


Python爬虫+Tkinter制作一个翻译软件的示例
Python中Qslider控件实操详解
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。