codecamp

Python网络编程之协程

What is the association?

与子例程一样,协程也是一种程序组件。 相对子例程而言,协程更为一般和灵活,但在实践中使用没有子例程那样广泛。 协程源自Simula和Modula-2语言,但也有其他语言支持。 协程更适合于用来实现彼此熟悉的程序组件,如合作式多任务,迭代器,无限列表和管道。

来自维基百科 https://zh.wikipedia.org/wiki/协程


协程拥有自己的寄存器上下文和栈,协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

协程的优缺点:

优点

  1. 无需线程上下文切换的开销

  2. 无需原子操作锁定及同步的开销(更改一个变量)

  3. 方便切换控制流,简化编程模型

  4. 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

缺点:

  1. 无法利用多核资源:协程的本质是个单线程,它不能多核,协程需要和进程配合才能运行在多CPU上,当然我们日常所编写的绝大部分应用都没有这个必要,除非是CPU密集型应用。

  2. 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

实现协程实例

yield

  1. def consumer(name):

  2.    print("--->starting eating baozi...")

  3.    while True:

  4.        new_baozi = yield  # 直接返回

  5.        print("[%s] is eating baozi %s" % (name, new_baozi))

  6. def producer():

  7.    r = con.__next__()

  8.    r = con2.__next__()

  9.    n = 0

  10.    while n < 5:

  11.        n += 1

  12.        con.send(n)  # 唤醒生成器的同时传入一个参数

  13.        con2.send(n)

  14.        print("\033[32;1m[producer]\033[0m is making baozi %s" % n)

  15. if __name__ == '__main__':

  16.    con = consumer("c1")

  17.    con2 = consumer("c2")

  18.    p = producer()

Greenlet

安装greenlet

  1. pip3 install greenlet

  1. # -*- coding:utf-8 -*-

  2. from greenlet import greenlet

  3. def func1():

  4.    print(12)

  5.    gr2.switch()

  6.    print(34)

  7.    gr2.switch()

  8. def func2():

  9.    print(56)

  10.    gr1.switch()

  11.    print(78)

  12. # 创建两个携程

  13. gr1 = greenlet(func1)

  14. gr2 = greenlet(func2)

  15. gr1.switch()  # 手动切换

Gevent

Gevent可以实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程,Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。

安装Gevent

  1. pip3 install gevent

  1. import gevent

  2. def foo():

  3.    print('Running in foo')

  4.    gevent.sleep(2)

  5.    print('Explicit context switch to foo again')

  6. def bar():

  7.    print('Explicit context to bar')

  8.    gevent.sleep(3)

  9.    print('Implicit context switch back to bar')

  10. # 自动切换

  11. gevent.joinall([

  12.    gevent.spawn(foo),  # 启动一个协程

  13.    gevent.spawn(bar),

  14. ])

页面抓取

  1. from urllib import request

  2. from gevent import monkey

  3. import gevent

  4. import time

  5. monkey.patch_all()  # 当前程序中只要设置到IO操作的都做上标记

  6. def wget(url):

  7.    print('GET: %s' % url)

  8.    resp = request.urlopen(url)

  9.    data = resp.read()

  10.    print('%d bytes received from %s.' % (len(data), url))

  11. urls = [

  12.    'https://www.python.org/',

  13.    'https://www.python.org/',

  14.    'https://github.com/',

  15.    'https://yw666.blog.51cto.com/',

  16. ]

  17. # 串行抓取

  18. start_time = time.time()

  19. for n in urls:

  20.    wget(n)

  21. print("串行抓取使用时间:", time.time() - start_time)

  22. # 并行抓取

  23. ctrip_time = time.time()

  24. gevent.joinall([

  25.    gevent.spawn(wget, 'https://www.python.org/'),

  26.    gevent.spawn(wget, 'https://www.python.org/'),

  27.    gevent.spawn(wget, 'https://github.com/'),

  28.    gevent.spawn(wget, 'https://yw666.blog.51cto.com/'),

  29. ])

  30. print("并行抓取使用时间:", time.time() - ctrip_time)

输出

  1. C:\Python\Python35\python.exe E:/MyCodeProjects/协程/s4.py

  2. GET: https://www.python.org/

  3. 47424 bytes received from https://www.python.org/.

  4. GET: https://www.python.org/

  5. 47424 bytes received from https://www.python.org/.

  6. GET: https://github.com/

  7. 25735 bytes received from https://github.com/.

  8. GET: https://blog.ansheng.me/

  9. 82693 bytes received from https://yw666.blog.51cto.com/.

  10. 串行抓取使用时间: 15.143015384674072

  11. GET: https://www.python.org/

  12. GET: https://www.python.org/

  13. GET: https://github.com/

  14. GET: https://blog.ansheng.me/

  15. 25736 bytes received from https://github.com/.

  16. 47424 bytes received from https://www.python.org/.

  17. 82693 bytes received from https://yw666.blog.51cto.com/.

  18. 47424 bytes received from https://www.python.org/.

  19. 并行抓取使用时间: 3.781306266784668

  20. Process finished with exit code 0


本文出自 “一盏烛光” 博客,谢绝转载!

Python网络编程之线程与进程
Python之Web框架介绍
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }