信息的表示
人类在通信时是非常灵活的。这里有四个例子，其中前两个例子阐明了什么是显式含义：
1）当我们指向某个物体并告诉朋友这个物体的含义时，这个物体就“携带”了信息，因为从现在开始我们的朋友无论何时看到这个物体，这个含义都会在大脑中触发。
2）当我们发现某些现象模式重复出现时，就会为这样的重现模式命名。当我们再次看到这样的模式出现时，便可以预测结果。因此，这个模式就携带了可预知结果的信息。科学的目的就是发现自然界中重现的现象，而工程的目的就是将这些重复的模式转变为可利用的技术。
接下来的两个例子说明了什么是隐式含义：
3）社会群体会定义一些重现方式来交流信息。例如，很多司机将要进入高速公路时，会一边缓慢地靠近高速通道一边开启方向灯，但并没有成文的规定要求他们这样做。
4）人们日常生活中的很多习惯和惯例是没有命名但携带信息的。例如，在大多数文化中，“过来”的手势传递的就是让别人靠近你的信息。
科学家和工程师的工作就是构建技术来处理显式的信息，也就是建立信息的物理表示与预期含义的关联，如使用电磁信号对人的声音进行编码。这样，我们通过声明表示与含义之间关联的方式来产生信息，然后通过在存储器中存储这些表示方式并且用不同的变换规则来处理这些信息。
千百年来，社会学家和哲学家努力探索隐式的信息，通常很少有一致的看法。而工程师对于显式信息的处理则要简单许多。
人工智能试图跨越显式信息和隐式信息的边界，工程师正在寻找既能识别隐式信息又易于人类理解的信息表示方式。
无论是显式还是隐式的信息，这些信息的存在都建立于人类认知的一致。我们理解某种表示的含义，因为要么有人直接告诉我们如何解释它，要么我们间接通过经验学习到。
计算机和通信工程师将信息编码成电磁信号进行传输。例如麦克风将人的声音转变为电信号，然后通过一个磁盘记录这个信号的副本，最后扩音器将这个磁盘中的信号转变为声波。无线发射机将声音信号叠加在射频信号中，通过射频的幅度来表达这个信号，而接收机只要减去原本的射频信号就可以提取出声音信号。工程师对于如何编码信息表示方式及其含义必须准确一致，否则这套物理系统就会出错。
计算机和通信工程师使用比特（二进制数字）作为信息的基本单位。香农在20世纪40年代中期引入了“比特”，那时是计算机时代的初期。尽管使用十进制来构造的硬件元件也可以使用，并且早期也有一些计算机使用这些硬件，然而采用二进制元件因更加可靠而逐渐变成行业标准。香农发现二进制计算电路的功能可以用逻辑公式来表示，该公式中只包含“真”或“假”两种变量。因此，比特模式可以表示计算机电路。电路处理的数字就是这些二进制数字，也就是电路表示的数字本身（见图3.2）。自20世纪50年代以来，计算机完全变成了二进制，无论是逻辑电路还是其数据存储。
图3.2 儿童使用卡片来快速学习二进制数字。上图：每张卡片都比其右边的卡片多一倍的点数。4个儿童列成一排，引导他们通过举起卡片来表示不同的数字。下图：当第一个和第四个儿童举起卡片而第二、三个儿童藏起卡片时，数字9出现了。通过这种方式，儿童很容易掌握二进制。由于任何信号都可以数字化为二进制数字，任何文本文件也可以被编码成二进制数字，因此位成为了信息表示和量化的通用方式（由Tim Bell和Mike ellows提供，csunplugged.org/videos）
香农还证明了实际上大部分通信系统中的连续信号也可以数字化，而数字化引起的一些微不足道的误差完全可以忽略，稍后将简要说明。
所有的数据形式，包括数字、信号、逻辑公式、文本等，都可以表示成位模式，位成为衡量信息量的标准单位。现代词语中的“24位颜色”“100MB通信”“32位电脑”和“256位密钥”等都包含位的概念。在20世纪60年代，计算机制造商开始使用“字节”（即一组8位信息）来表示ASCII扩展码中的单个字母、数字或标点符号。后来，计算机处理的数据呈指数增长，于是人们开始使用新的希腊文前缀来命名这些数据（见表3.1）。其中每一个前缀都表示前一项前缀的1000倍（或1024倍，210）。在20世纪60年代，磁盘和内存容量通常用千字节来衡量，到了80年代，便用千兆字节来衡量，而那时的NASA（美国国家航空航天局）却一直苦恼于如何存储每日卫星接收到的1TB的数据量。到了2014年，“大数据”用于描述PB级字节的数据量，同时每年因特网的数据量都超过了1ZB字节。思科公司（2012）预测网络规模和数据将持续以指数形式增长。