大家都懂的 JSON 解析器原理(一)简介 & 低配版入门

没学过编译原理,做一个 JSON 解析器难吗?——难!是不是就不能“迎难而上”呢?——不是!越是难的越是一个挑战!——笔者这里尝试通过通俗易懂的行文为大家介绍一下 JSON 解析器,——那一串串长长的 JSON 文本到底是如何被解析成为 Java 里面“可以理解的”对象的。前面的铺垫可能比较长,但请尽量不要跳过,因为那都是基础,尤其对于我们非科班来说,应要恶补。当然,为照顾大家的理解程度(包括我自己,我也会以后回看自己的代码,以此反复理解、反复消化),我会把代码写多点注释,把代码可读性提高那么一点点,因为网上很多写解析器的大神都是从 C 语言高手过来的,明显带有过程式的风格。因此我会重构这些代码,使得代码更 OO 一些,这样看起来也会紧凑一些,可读性高一些。

目标

输入 JSON 字符串,对象或数组相互嵌套着,如:

{
      "firstName": "John",
      "lastName": "Smith",
      "age": 25,
      "address": {
          "streetAddress": "21 2nd Street",
          "city": "New York",
          "state": "NY",
          "postalCode": 10021
      },
      "phoneNumbers": [
          {
              "type": "home",
              "number": "212 555-1234"
          },
          {
              "type": "fax",
              "number": "646 555-4567"
          }
      ]
  }

可以 {} 包含 [],也可以 [] 包含 {},总之相互嵌套,最后到 Java 返回 Map 或 List 就可以了——当然 Java 里的 Map or List 也是可以相互嵌套着的。

要求知识

好吧,正式开始!

低配版,一个函数搞定

这是来自 “安西都护府首席程序员”的方法。

可以说这是一个超简单 JSON 解析器,它是一个函数。一个函数就能搞定吗?——如果只考虑 JSON 简单情况(此种情况固然是不能放在生产环境的)是可以的,而且代码行数少,正好适合我们初学理解。下面是该函数的完整代码。

/**
 *
 * @param jsonstring
 * @return
 */
@SuppressWarnings("unchecked")
public static Object json2Map(String jsonstring) {
    char[] cs = jsonstring.toCharArray();
    Stack<Map> maps = new Stack<>(); //用来表示多层的json对象
    Stack<List> lists = new Stack<>(); //用来表示多层的list对象
    Stack<Boolean> islist = new Stack<>();//判断是不是list
    Stack<String> keys = new Stack<>(); //用来表示多层的key

    String keytmp = null;
    Object valuetmp = null;
    StringBuilder builder = new StringBuilder();

    for (int i = 0; i < cs.length; i++) {

        switch (cs[i]) {
            case '{': //如果是{map进栈
                maps.push(new HashMap());
                islist.push(false);
                break;
            case ':'://如果是:表示这是一个属性建,key进栈
                keys.push(builder.toString());
                builder = new StringBuilder();
                break;
            case '[':
                lists.push(new ArrayList());
                islist.push(true);
                break;
            case ',':
                if (builder.length() > 0)
                    valuetmp = builder.toString();
                builder = new StringBuilder();

                boolean listis = islist.peek();
                if (!listis) {
                    keytmp = keys.pop();
                    maps.peek().put(keytmp, valuetmp);
                } else
                    lists.peek().add(valuetmp);

                break;
            case ']':
                islist.pop();

                if (builder.length() > 0)
                    valuetmp = builder.toString();
                lists.peek().add(valuetmp);
                valuetmp = lists.pop();
                builder = new StringBuilder();
                break;
            case '}':
                islist.pop();
                //这里做的和,做的差不多,只是需要把valuetmp=maps.pop();把map弹出栈
                keytmp = keys.pop();

                if (builder.length() > 0)
                    valuetmp = builder.toString();

                builder = new StringBuilder();
                maps.peek().put(keytmp, valuetmp);
                valuetmp = maps.pop();
                break;
            default:
                builder.append(cs[i]);
                break;
        }

    }
    return valuetmp;
}

该函数输入一个 String 类型的参数,返回一个 Object 类型结果。Object 类型只有两种真实类型,要么是 Map,要么是 List,分别对应最外层的 JSON 类型。

怎么理解这个函数呢?首先方法输入的是字符串,我们把字符串“打散”,也就是 char[] cs=jsonstring.toCharArray(); 这句把字符串转换为字符数组。变成数组的目的是要遍历也就是把数组中的每一个字符都读出来。读了一个字符,并进行解析。解析完毕了,我们叫“消耗”。把这个字符消耗了,接着就读取下一个字符重复上述过程。如此 JSON 里面每一个字符都会被读取、解析、消耗。

将字符串变为字符数组,实际上很多 JSON 解析库都会那么做,是为第一步之工序。得到 char[] 然后遍历它,其中的遍历过程就是具体的一个解析 JSON 的过程。

至于遍历 for 里面具体怎么个解析法?此固然是要重点探讨的话题。

解析过程

栈结构的运用

不少非科班的童鞋一听到栈(Stack)就头大了。其实栈没想象中复杂,关键在于怎么把它运用起来,体会了它的真正用途,而不是云里雾里的概念。你可以把栈想象成食堂中的一堆餐盘,通常我们都是在餐盘顶部添加新餐盘(常识),然后取出餐盘就是从餐盘堆顶部拿出。这个便是栈的“后进先出”特性了。理解这个例子的意思固然浅显,但怎么和实际计算机问题结合起来呢——那又是一个问题。如果大家还是不理解,可以读一下我前面的博文《用 JSON 表现树的结构兼谈队列、堆栈的练习》,特别是最后一个 format json 的例子,虽然没有直接运用到 Stack 结构但其中已隐隐约约有种“一进一退”的思想,着实与 Stack 有“异曲同工”之相似。

函数中一口气声明了 4个 Stack:

Stack<Map<String, Object>> maps = new Stack<>(); // 用来保存所有父级对象
Stack<List<Object>> lists = new Stack<>(); // 用来保存所有父级数组
Stack<Boolean> isList = new Stack<>();// 判断是不是list
Stack<String> keys = new Stack<>(); // 用来表示多层的key

我们知道 JSON 乃树状结构。树桩结构的特点是父亲节点拥有子节点,子节点的上一级是父节点,形成了这种关系。变量 maps 用于记住遍历字符的时候,字符所在在父级对象有哪些。父级节点 maps 是一个集合的概念,因为可能不止一个父级节点,而且可能有 n 个,那个 n 就代表树的层数。且 maps 里面的顺序不能打乱(不过可以放心,在 Stack 里面并不允许“打乱”顺序)。

同理,遇到数组的方式也可以这样去理解,保存在 lists 变量中。

当然,必须先有父级节点,才会有子节点,否则子节点就没有容身的“场所”。故而第一个欲消耗的字符永远要么是 {,永远要么是 [,才会 new 第一个 map 对象或者 list 对象。第一个 { 或 [ 可以称为“根节点”或“顶级节点”。

回到函数中,分别是如下进行字符的消耗的:

switch (cs[i]) {
case '{': // 如果是 { map 进栈
    maps.push(new HashMap<String, Object>());
    isList.push(false);
    continue;
……
……
case '[':
    isList.push(true);
    lists.push(new ArrayList<Object>());
continue;

我们忽略 switch 中不相关的部分,用省略号表示。可见,一遇到 { 字符,就表示要新建 map 对象,而且要将 map 进栈到 maps 中;一遇到 [ 字符,就表示要新建 list 对象,而且要将 list 进栈到 lists 中。进栈的意思就是在栈顶部添加新的元素。

光有进栈不够,应该还有“退栈”的那么一个操作。不过这里权且埋下伏笔,回过头来我们再看退栈。

结对匹配

上述过程就是匹配 JSON 字符串中的两种括号:尖括号和方括号,如 [ { }, [ ], [ ] ] 或 { [ ], [ ] } 等为正确格式,[ { ] } 或 { [ } } 为不合法格式。我们把 JSON 字符串抽象成这个格式去理解,有助于我们理解怎么匹配成对出现的结构。

例如考虑下面的括号序列。

[ { [ ] [ ] } ]
1 2 3 4 5 6 7 8

当消耗了第 1 个括号 [ 之后,期待与它匹配的第 8 个括号 ] 出现,然而等来的却是第 2 括号 {,此时第 1 个括号只能靠边站,不过没关系,因为我们消耗过程中已经把它保存起来,进行过“入栈”了;好,接着第 2 个括号要匹配的是 },但是很遗憾,第 3 个括号并不是期待的 },而是 [。不过同样没关系,因为第 2 个括号已经保存起来,先记着;现在轮到第 3 个括号,就要看看第 4 个括号怎么样?第 4 个括号正好是 ],完成匹配!期待得到了满足!但是不要忘记刚才第 3 个括号已经入过栈,所以现在满足之后,当前就不是原来的位置——需要执行什么操作?就是要“退栈”的操作。

执行完退栈之后,当前位置是第 5 个括号,而当前所期待的括号理应是第 2 个括号的期待,这个期待最为迫切。不过很遗憾,第 2 个括号还必须“忍一忍”,因为第 5 个括号是 [,说明又有新的期待进来,迫切性更高,第 2 个括号必须“让位于”第 5 个括号。——这里我们假设是故意弄错,第 6 个括号进入的是一个右尖括号 },明显这样不能构成结对,是非法字符,于是应中止遍历,立刻报错。回到正确的例子上,我们看到第 6 个括号是合法的括号,完成匹配,接下来期待第 2 个括号的匹配,或者是 [ or { 新开一级的匹配——这都是可以、合法的。

由此可见,这过程与栈的结构相吻合。“一进一退”是必须完成的结对,否则是不合法的过程。

只有掌握了这个匹配过程,我们才能进入下一步的 JSON 解析。今天先说到这儿,里面的内容有不少地方是需要好好消化的。如果没有帮到读者理解,或者有进一步的问题,都可以跟在下沟通。欢迎交流!

时间: 2024-09-20 06:40:15

大家都懂的 JSON 解析器原理(一)简介 &amp; 低配版入门的相关文章

groovy/java自实现json解析器(3)JsonArray

底层数据结构实现 jsonArray的底层数据结构有列表(list)来维护.它的定义和构造函数初始化工作如下图所示.一般创建对象时默认不传参来构造一个空的列表. def jsonList //底层数据存储结构 /** * 构造函数,若不传参数,默认初始一个 */ def JsonArray( jsonList = null){ this.jsonList = jsonList == null ? [] :jsonList } 公共调用API 下面定义了一些对外提供的API接口工具函数: /**

groovy/java自实现json解析器(1)绪论

groovy是一门以java为基础的动态语言,它强大地动态特性为我们的敏捷开发带来了极大的便利,下面是一个由grovvy(完美兼容嵌套java实现的json)解析器的部分代码展示,我们都知道,json字符串只要满足格式要求,那么它是可以无限循环嵌套的,而本解析器的核心实现就是大量的递归函数运用,将json字符串一层层地解析开,并拼装成我们相应的数组或对象.它主要由以下五个类组成: --JsonObject.groovy --JsonArray.groovy --JsonTool.groovy -

groovy/java自实现json解析器(2)JsonObject

底层数据结构实现 本对象的底层数据结构是一个Map(映射),我们用def private jsonMap将其定义为对象变量.我们在构造函数中对其进行初始化,它以键值对的形式存储数据,其中键必须为字符串,值可以为字符串.Boolean.Integer.JsonArray.JsonObject,从最后两个可存储对象,我们或多或少地已能看出JsonObject是如何达成普通json对象里的无限嵌套了. 下面是本对象的构造函数. def JsonObject( jsonMap = null) { thi

RapidJSON —— C++ 快速 JSON 解析器和生成器

Rapidjson 是一个 C++ 的快速 JSON 解析器和生成器,使用 SAX/DOM 风格的 API 设计. 示例代码: // rapidjson/example/simpledom/simpledom.cpp` #include "rapidjson/document.h" #include "rapidjson/writer.h" #include "rapidjson/stringbuffer.h" #include <iost

ASP.NET万能JSON解析器

问题描述 概念介绍还是先简单说说Json的一些例子吧.注意,以下概念是我自己定义的,可以参考.net里面的TYPE的模型设计如果有争议,欢迎提出来探讨!1.最简单:{"total":0}total就是值,值是数值,等于02.复杂点{"total":0,"data":{"377149574":1}}total是值,data是对象,这个对象包含了"377149574"这个值,等于13.最复杂{"tot

号称全世界最快的 JSON 解析器 , 比别的快 10x

jsoniter ( json-iterator )是一款快且灵活的 JSON 解析器,同时提供 Java 和 Go 两个版本 Jsoniter 是最快的 JSON 解析器.它最多能比普通的解析器快 10 倍之多,即使在数据绑定的用法下也有同样的性能优势.无耻地献上自己的 跑分 非常易于使用的 api ,允许你使用任何风格或者混搭的方式来解析 JSON .给你前所未有的灵活性.来看看这些 API 们是不是真的有那么好用吧 独特的 iterator api 能够直接遍历 JSON ,极致性能! 0

【原创】各种 JSON 解析库的功能简介

这里增加一项无聊的对比图,看客自斟. =================================== [rui_maciel/mjson]Last Update:2013-05-15(最新版本为 mjson-1.5 发布日期为 2012-08-22)description M's JSON parser is a small JSON parser written in ISO C which enables the user to handle information describe

XML的四种解析器原理及性能比较

xml|比较|性能  1: DOM    DOM 是用与平台和语言无关的方式表示 XML 文档的官方 W3C 标准.DOM 是以层次结构组织的节点或信息片断的集合.这个层次结构允许开发人员在树中寻找特定信息.分析该结构通常需要加载整个文档和构造层次结构,然后才能做任何工作.由于它是基于信息层次的,因而 DOM 被认为是基于树或基于对象的.DOM 以及广义的基于树的处理具有几个优点.     首先,由于树在内存中是持久的,因此可以修改它以便应用程序能对数据和结构作出更改.它还可以在任何时候在树中上

对Java中JSON解析器的一些见解_java

最近在研究JSON,Java中有很多处理JSON的类库,lib-json.sf-json.fastjson还有Jackson Json.第一个就不说了,性能和功能都没有什么亮点. sf-json最大的优点就是随机读取方便.代码很简单: JSONObject json= JSONObject.fromObject(str); 然后读取字段内容: json.getString或者getInt之类的.但是工作效率有待商榷,而且容易出错. 另外sf-json还有个优点就是自动使用unicode编码,当内