您当前的位置:首页 > IT编程 > python
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:Python  Asyncio模块实现的生产消费者模型的方法

51自学网 2021-10-30 22:53:54
  python
这篇教程Python  Asyncio模块实现的生产消费者模型的方法写得很实用,希望能帮到您。

asyncio的关键字说明

  • event_loop事件循环:程序开启一个无限循环,把一些函数注册到事件循环上,当满足事件发生的时候,调用相应的协程函数
  • coroutine协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象,协程对象需要注册到事件循环,由事件循环调用。
  • task任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含了任务的各种状态
  • future:代表将来执行或没有执行的任务结果。它和task上没有本质上的区别
  • async/await关键字:async定义一个协程,await用于挂起阻塞的异步调用接口,在python3.4是使用asyncio.coroutine/yield from

在设计模式中,生产消费者模型占有非常重要的地位,这个模型在现实世界中也有很多有意思的对应场景,比如做包子的人和吃包子的人,当两者速度不匹配时,就需要有一个模型来做匹配(偶合),实现做的包子都会依次消费掉。

import asyncioclass ConsumerProducerModel:  def __init__(self, producer, consumer, queue=asyncio.Queue(), plate_size=6): # the plate holds 6pcs bread    self.queue = queue    self.producer = producer    self.consumer = consumer    self.plate_size = plate_size  async def produce_bread(self):    for i in range(self.plate_size):      bread = f"bread {i}"      await asyncio.sleep(0.5) # bread makes faster, 0.5s/pc      await self.queue.put(bread)      print(f'{self.producer} makes {bread}')  async def consume_bread(self):    while True:      bread = await self.queue.get()      await asyncio.sleep(1) # eat slower, 1s/pc      print(f'{self.consumer} eats {bread}')      self.queue.task_done()async def main():  queue = asyncio.Queue()  cp1 = ConsumerProducerModel("John", "Grace", queue) # group 1  cp2 = ConsumerProducerModel("Mike", "Lucy", queue) # group 2  producer_1 = cp1.produce_bread()  producer_2 = cp2.produce_bread()  consumer_1 = asyncio.ensure_future(cp1.consume_bread())  consumer_2 = asyncio.ensure_future(cp2.consume_bread())  await asyncio.gather(*[producer_1, producer_2])  await queue.join()  consumer_1.cancel()  consumer_2.cancel()if __name__ == '__main__':  loop = asyncio.get_event_loop()  loop.run_until_complete(main())  loop.close()

生产消费者模型可以使用多线程和队列来实现,这里选择协程不仅是因为性能不错,而且整个下来逻辑清晰:

1. 先定义初始化的东西,要有个队列,要有生产者,要有消费者,要有装面包的盘子大小;

2. 生产者:根据盘子大小生产出对应的东西(面包),将东西放入盘子(queue);

3. 消费者:从盘子上取东西,每次取东西都是一个任务,每次任务完成,就标记为task_done(调用函数)。在这个层面,一直循环;

4. 主逻辑:实例化生产消费者模型对象,创建生产者协程,创建任务(ensure_future),收集协程结果,等待所有线程结束(join),手动取消两个消费者协程;

5. 运行:首先创建事件循环,然后进入主逻辑,直到完成,关闭循环。

到此这篇关于Python Asyncio模块实现的生产消费者模型的方法的文章就介绍到这了,更多相关Python生产消费者模型内容请搜索51zixue.net以前的文章或继续浏览下面的相关文章希望大家以后多多支持51zixue.net!


Python创建自己的加密货币的示例
Python的collections模块真的很好用
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。