gevent初步


话说gevent也没个logo啥的,于是就摆了这张图= =|||,首先这是一种叫做greenlet的鸟,而在python里,按照官方解释greenlet是轻量级的并行编程,而gevent呢,就是利用greenlet实现的基于协程的python的网络library,好了,关系理清了。。。

话说pycon没有白去阿,了解了很多以前不知道的东西,比如说协程,gevent,greenlet,eventlet。说说协程,进程和线程大家平时了解的都比较多,而协程算是一种轻量级进程,但又不能叫进程,因为操作系统并不知道它的存在。什么意思呢,就是说,协程像是一种在程序级别来模拟系统级别的进程,由于是单进程,并且少了上下文切换,于是相对来说系统消耗很少,而且网上的各种测试也表明,协程确实拥有惊人的速度。并且在实现过程中,协程可以用以前同步思路的写法,而运行起来确是异步的,也确实很有意思。话说有一种说法就是说进化历程是多进程->多线程->异步->协程,暂且不论说的对不对,单从诸多赞誉来看,协程还是有必要理解一下的。

比较惭愧,greenlet没怎么看就直接看gevent,官方文档还是可以看看的,尤其是源码里的examples都相当不错,有助于理解gevent的使用。

gevent封装了很多很方便的接口,其中一个就是monkey

  1. from gevent import monkey
  2. monkey.patch_all()

这样两行,就可以使用python以前的socket之类的,因为gevent已经给你自动转化了,真是超级方便阿。

而且安装gevent也是很方便,首先安装依赖libevent和greenlet,再利用pypi安装即可

  1. sudo apt-get install libevent-dev
  2. sudo apt-get install python-dev
  3. sudo easy-install gevent

然后,gevent中的event,有wait,set等api,方便你可以让某些协程在某些地方等待条件,然后用另一个去唤醒他们。

再就是gevent实现了wsgi可以很方便的当作python的web server服务器使。

最后放送一个我利用gevent实现的一个带有缓存的dns server

  1.  # -*- coding: UTF-8 -*-
  2.  
  3. import gevent
  4. import dnslib
  5. from gevent import socket
  6. from gevent import event
  7.  
  8. rev=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
  9. rev.bind(('',53))
  10. ip=[]
  11. cur=0
  12.  
  13. def preload():
  14.     for i in open('ip'):
  15.         ip.append(i)
  16.     print "load "+str(len(ip))+" ip"
  17.  
  18. def send_request(data):
  19.     global cur
  20.     ret=rev.sendto(data,(ip[cur],53))
  21.     cur=(cur+1)%len(ip)
  22.  
  23. class Cache:
  24.     def __init__(self):
  25.         self.c={}
  26.     def get(self,key):
  27.         return self.c.get(key,None)
  28.     def set(self,key,value):
  29.         self.c[key]=value
  30.     def remove(self,key):
  31.         self.c.pop(key,None)
  32.  
  33. cache=Cache()
  34.  
  35. def handle_request(s,data,addr):
  36.     req=dnslib.DNSRecord.parse(data)
  37.     qname=str(req.q.qname)
  38.     qid=req.header.id
  39.     ret=cache.get(qname)
  40.     if ret:
  41.         ret=dnslib.DNSRecord.parse(ret)
  42.         ret.header.id=qid;
  43.         s.sendto(ret.pack(),addr)
  44.     else:
  45.         e=event.Event()
  46.         cache.set(qname+"e",e)
  47.         send_request(data)
  48.         e.wait(60)
  49.         tmp=cache.get(qname)
  50.         if tmp:
  51.             tmp=dnslib.DNSRecord.parse(tmp)
  52.             tmp.header.id=qid;
  53.             s.sendto(tmp.pack(),addr)
  54.  
  55. def handle_response(data):
  56.     req=dnslib.DNSRecord.parse(data)
  57.     qname=str(req.q.qname)
  58.     print qname
  59.     cache.set(qname,data)
  60.     e=cache.get(qname+"e")
  61.     cache.remove(qname+"e")
  62.     if e:
  63.         e.set()
  64.         e.clear()
  65.  
  66. def handler(s,data,addr):
  67.     req=dnslib.DNSRecord.parse(data)
  68.     if req.header.qr:
  69.         handle_response(data)
  70.     else:handle_request(s,data,addr)
  71.  
  72. def main():
  73.     preload()
  74.     while True:
  75.         data,addr=rev.recvfrom(8192)
  76.         gevent.spawn(handler,rev,data,addr)
  77.  
  78. if __name__ == '__main__':
  79.     main()

这个是直接利用了dict来作为缓存查询了,在这里还有我将dict换成redis持久化实现的另一个版本(话说redis的python api也可以利用pypi安装,pypi这真是个好东西阿),话说可以将这段代码放到国外的服务器上去运行,然后修改dns的地址去指向它,然后你懂的。。。

您可能喜欢:
我猜您可能还喜欢:
,

《gevent初步》有 10 条评论

  1. thinkRabbit | #1

    哈哈~一看LZ的ID好熟悉啊~~想想原来是在AOJ做过一道题的。。。我记性好好哦

  2. gashero | #2

    蔑哈哈哈,顶!

Trackbacks/Pingbacks:

  1. 自动下载豆瓣FM的加心歌曲 | 吃杂烩
  2. 查找第K小的元素 | 吃杂烩
  3. Thought this was cool: 查找第K小的元素 « CWYAlpha
  4. 网络协议简介 | 吃杂烩
  5. python实现websocket服务器 | 吃杂烩
  6. gevent初步 | koma 小站

发表评论