问题描述

python中的tokenize有什么作用

Python 编程中的tokenize模块，希望简明回答下有什么作用
这个代码的作用：
import tokenize
reader=open('Yield.py').next
print "readert",reader
tokens=tokenize.generate_tokens(reader)
print "tokenst",tokens
print tokens.next()
print tokens.next()
print tokens.next()

解决方案

生成一个迭代器
迭代器是拥有next方法的一种对象，它可以遍历数据。

参考：http://www.cnblogs.com/finallyliuyu/archive/2010/04/09/1708584.html

解决方案二：

http://www.zhihu.com/question/35122350