可配置语法分析器开发纪事(三) 生成下推自动机

上一篇博客讲到了构造符号表的事情。构造完符号表之后,就要进入语义分析的后一个阶段了:构造状态机。跟我以前写的如何实现正则表达式引擎的两篇文章讲的一样,自动机先从Epsilon Nondeterministic Automaton开始,然后一步一步构造成Deterministic Automaton。但是语法分析和正则表达式有很大不同,那么这个自动机是什么样子的呢?

(对学术感兴趣的人可以去wiki一下“下推自动机”)

下推自动机和有限自动机的区别是,下推自动机扩展成普通的自动机的时候,他的状态的数目是无限的(废话)。但是无限的东西是没办法用编程来表达的,那怎么办呢?那就加入一个不定长度的“状态描述”。下面我举一个简单的文法:

ID = NAME
IDList = ID | IDList “,” ID

这样就构成了一个简单的文法,用来分析带逗号分割的名字列表的。那么写成状态机就是如下的形式:

ID0 = ● NAME

ID1 = NAME ●

IDList0 = ● (ID | IDList “," ID)

IDList1 = (ID | IDList “,” ID) ●

IDList2 = (ID | IDList ● “,” ID)

IDList3 = (ID | IDList “,” ● ID)

ID0 –> NAME –> ID1

IDList0 –> ID –> IDList1

IDList0 –> IDList –> IDList2

IDList2 –> “,” –> IDList3

IDList3 –> ID –> IDList1

可以很容易的看出,ID0和IDList0是文法的起始状态,而ID1和IDList1是文法的终结状态,画成图如下:

开发纪事(三) 生成下推自动机-可配置词法生成器">

(PowerPoint画图复制到LiveWriter里面是一幅图面简直太方便了)

但是这样还没完。IDList0跳到IDList2的时候的输入“IDList”其实还不够,因为用作输入的token其实只有NAME和","两种。下一步即将演示如何从这个状态机编程名副其实的下推状态机。

本栏目更多精彩内容:http://www.bianceng.cn/Programming/cplus/

时间: 2024-11-03 07:50:49

可配置语法分析器开发纪事(三) 生成下推自动机的相关文章

可配置语法分析器开发纪事(一) 构造语法树

就像之前的博客文章所说的,(主要还是)因为GacUI的原因,我决定开发一个更好的可配置轻量级语法分析器来代替之前的落后的版本.在说这个文章之前,我还是想在此向大家推荐一本<编程语言实现模式>,这的确是一本好书,让我相见恨晚. 其实说到开发语法分析器,我从2007年就已经开始在思考类似的问题了.当时C++还处于用的不太熟练的时候,难免会做出一些傻逼的事情,不过总的来说当年的idea还是能用的.从那时候开始,我为了锻炼自己,一直在实现各种不同的语言.所以给自己开发一个可配置语法分析器也是在所难免的

可配置语法分析器开发纪事(二) 构造符号表

上一篇博客讲到了构造语法树的问题.有朋友在留言问我,为什么一定要让语法分析器产生语法树,而不是让用户自己决定要怎么办呢?在这里我先解答这个问题. 1.大部分情况下都是真的需要有语法树 2.如果要直接返回计算结果之类的事情的话,只需要写一个visitor运行一下语法树就好了,除去自动生成的代码以外(反正这不用人写,不计入代价),代码量基本上没什么区别 3.加入语法树可以让文法本身描述起来更简单,如果要让程序员把文法单独放在一边,然后自己写完整的语义函数来让他生成语法树的话,会让大部分情况(需要语法

可配置语法分析器开发纪事(三点五) 生成下推自动机的具体步骤

刚刚发了上一篇文章之后就发现状态机画错了.虽然LiveWriter有打开博客并修改文章的功能,不过为了让我留下一个教训,我还是决定发一篇勘误.这个教训就是,作分析的时候不要随便"跳步",该一步一步来就一步一步来.其实人呢,就是很容易忘掉以前的教训的了.第一个告诉我不能这么干的人其实是小学三年级的数学老师.当时我因为懒得写字,所以计算应用题的时候省了几步,被批评了. 故事就从状态机开始.文法我就不重复了,见上一篇文章.现在我们从状态机开始.第一个状态机是直接从文法变过来的: 开发纪事(三

可配置语法分析器开发纪事(五) 构造一个真正能用的状态机(中)

上一篇博客写到了如何给一个非终结符的文法规则构造出一个压缩过的下推状态机,那么今天说的就是如何把所有的文法都连接起来.其实主要的idea在(三)和他的勘误(三点五)里面已经说得差不多了.但是今天我们要处理的是带信息的transition,所以还有一些地方要注意. 所以在这里我们先把几条文法的最后的状态机都列出来(大图): 开发纪事(五) 构造一个真正能用的状态机(中)-语法树构造"> 本栏目更多精彩内容:http://www.bianceng.cn/Programming/cplus/

可配置语法分析器开发纪事(六) 构造一个真正能用的状态机(下)

上一篇文章对大部分文法都构造出了一个使用的状态机了,这次主要来讲右递归的情况.右递归不像左递归那么麻烦,因为大部分右递归写成循环也不会过分的让语法树变得难以操作,不过仍然有少数情况是我们仍然希望保留递归的语法树形状,譬如C++的连等操作,因此这里就来讲一下这个问题. 右递归是怎么形成的呢?在这里我们先不想这个问题,我们来看一个普通的文法.在上一篇文章我们已经说过了,如果一条文法有一个非终结符引用了另一条文法,那么就要做一条shift和reduce来从这个状态机穿插到那个状态机上: 开发纪事(六)

可配置语法分析器开发纪事(四) 构造一个真正能用的状态机(上)

本来说这一篇文章要把构造确定性状态机和look ahead讲完的,当我真正要写的时候发现东西太多,只好分成两篇了.上一篇文章说道一个基本的状态机是如何构造出来的,但是根据第一篇文章的说法,这一次设计的文法是为了直接构造出语法树服务的,所以必然在执行状态机的时候就要获得构造语法树的一切信息.如果自己开发过类似的东西就会知道,类似LALR这种东西,你可以很容易的把整个字符串分析完判断他是不是属于这个LALR状态机描述的这个集合,但是你却不能拿到语法分析所走的路径,也就是说你很难直接拿到那颗分析树.没

《ANTLR 4权威指南 》一3.3 将生成的语法分析器与Java程序集成

3.3 将生成的语法分析器与Java程序集成 在语法准备就绪之后,我们就可以将ANTLR自动生成的代码和一个更大的程序进行集成.在本节中,我们将会使用一个简单的Java示例程序的main()方法调用我们的"初始化语句解析器",并打印出和TestRig的"-tree"选项类似的语法分析树.下面是完整的Test.java程序,它体现出了2.1节中的完整的识别流程. 上面的程序使用了很多ANTLR运行库的类,像是CommonTokenStream和ParseTree,我们

《ANTLR 4权威指南》——3.3 将生成的语法分析器与Java程序集成

3.3 将生成的语法分析器与Java程序集成 在语法准备就绪之后,我们就可以将ANTLR自动生成的代码和一个更大的程序进行集成.在本节中,我们将会使用一个简单的Java示例程序的main()方法调用我们的"初始化语句解析器",并打印出和TestRig的"-tree"选项类似的语法分析树.下面是完整的Test.java程序,它体现出了2.1节中的完整的识别流程. 上面的程序使用了很多ANTLR运行库的类,像是CommonTokenStream和ParseTree,我们

WCF分布式开发步步为赢(3)WCF服务元数据交换、配置及编程开发

今天我们继续WCF分布式开发步步为赢(3)WCF服务元数据交换.配置及编程开发的学习.经过前面两节的学习,我们了解WCF分布式开发的相关的基本的概念和自定义宿主托管服务的完整的开发和配置过程.今天我们来详细学习WCF服务元数据交换的相关内容.WCF服务元数据究竟是什么?为什么WCF服务要暴露元数据交换节点?这些和以前的Web Service有什么关系?WCF服务元数据交换的方式有那些?我们如何实现WCF服务元数据交换,本节我们会详细讲解.全文结构如下:[1]WCF服务元数据的基本概念.[2]WC