1.1 界面
我们为什么不采用Spacewar!设计者的方法来考虑计算机完成的每项任务？请思考这个问题：人机界面代表什么？
1.?人与计算机通信的一种方式
2.?计算机与人通信的一种方式
3.?为人与计算机提供通信场所的界面
4.?允许人与计算机协同构造行动的一种方式
第三点比较接近真实情况，但是它默认人与计算机之间存在一个隔层。人机界面不是要实现这个隔层，而是要让人与涉及的技术共同创造行动。可能正是由于这种侧重点的不同，近年来“人机交互”取代“人机界面”这个术语成为了一种趋势。
这一点似乎很明显，但我仍在啰嗦地解释，原因主要有两个。首先，这种说法并不是在任何时候都准确，而且应用程序与界面设计学仍然带有早期的印记。其次，将计算机完成的任务从概念上改成允许人与技术参与方共同完成行动，以及表现这种行动，意味着设计理念显著偏离了原来的界面设计观。
1.1.1 界面源起
“人机界面”这个概念的出现离不开人因工程学（或者叫人因设计）。人因工程学源于二战期间飞机设计的需要，诞生于帮助飞行员安全学习如何操作仪表驾驶飞机的著名的林克机（Link Trainer）模拟。早前的工作，包括Frank Gabreth和Lilian Gabreth在20世纪20年代进行的“工效研究”（time motion studies），为这门学科提供了知识储备。事实上，有证据表明，早在古希腊时代，与人因工程密切相关的另一个领域——工效学（ergonomics）就已经成了设计中一个要考虑的因素（见Marmaras et al.1999）。人因工程和工效学的关注点是在设计人们用到的物品时，将人的身体和认知能力考虑在内，从花絮中介绍的汽车“界面”演化历史中可以看出这一点。在计算机化之前，人因工程的一个重要的特征是“界面”元素——座椅或者飞机——是固定在一个位置的，并且具备固定的操作特征。人机界面的可塑性为人因领域带来了巨大的新问题，也带来了巨大的机遇。“界面”是一座坚实的桥梁，设计开始更依赖认知工具（如比喻），而不是身体自身的特征。
汽车界面
界面设计一开始通常灵活多样，后来变得固定或者保守。汽车的发展史就证明了这一点。最早的时候，汽车控制界面与小船很像，都通过舵柄操纵（驾驶员通常坐在后方），并且具有手动的加速和刹车控制。在19世纪的时候，这种设计大量出现。到了20世纪之交，这种设计演化成了一组标准的控制设备，和我们今天看到的基本一致，方向盘安装在靠近路面的一侧，位于汽车前部。第一款带有方向盘的汽车是1894年生产的单座4hp Panhard赛车，第一款驾驶员和方向盘位于左侧的批量生产的汽车是Thomas B.Jeffery在1904年设计的Rambler（1903款Ramber采用的是舵柄操纵）。
通用汽车（General Motors）在1957年推出了涡轮驱动的Firebird Ⅲ概念车，这是一款与众不同的车型，创意来自于当时的喷气式战斗机。该款车型的两个座位之间有一个控制杆，用于驾驶汽车。整车由这一个控制杆控制，向前推是加速，向后拉是刹车，左右移动是改变方向，转动是换挡。控制杆位于两个座位当中的扶手上，每个座位都有单独的顶棚。这种设计并没有流行起来，但是设计中采用的7个尾翅、空气刹车和钛制车体倒是有点酷。
很可能在“机器人革命”之后的很多年，自动驾驶汽车仍会配备传统的方向盘和刹车/油门，原因在于我们一直告诉自己汽车控制就应该是这样的。除了英国和澳大利亚，这些控制设备都安装在左侧。但是，想要不受约束自在驾驶？未来统治我们的机器人主人是不会同意的。
——Rob Tow#前施乐帕克科学家#兼职跳水捕鲍鱼
在20世纪80年代和90年代，Apple Macintosh的问世让“界面”成为一个流行且能赚钱的概念。界面设计的关注点在于让计算机系统和应用程序更容易让人使用（或者至少能被人使用）。在当时，提到人机界面，人们一般会想到图标和菜单栏，可能还有命令行和闪烁的光标。当然，在那前后，还有其他许多种看法。
John Walker（Autodesk公司的创始人和总裁）为用户界面设计的演化历史给出了一个容易理解的描述（Walker 1990）。Walker说，一开始，人与计算机之间是一种一对一的关系，早期机器（如ENIAC）很庞大，前面带有旋钮和表盘，人们就通过这些旋钮和表盘来操作计算机。穿孔卡和批处理出现后，这种人机之间的直接交互被计算机操作员的中间协调工作取代。后来，分时使用计算机以及“玻璃电传打字机终端”（teletype）让直接人机交互重获生机，并推动了命令行和菜单界面的问世，计算机行业的前辈们（40岁以上的人们）应该很熟悉它们。Walker将人机界面中的“对话性”的概念归于这类交互：人有所行动，计算机做出回应，双方你来我往。
在这种简化的“对话”概念的影响下，许多早期界面专家开发的交互模型将人与计算机视为独立的双方，其“对话”由屏幕协调。但是，语言学的发展表明，对话并不只是双方的你来我往，我说一句，你想一会，然后说一句，然后我再想，再说一句。另一种对话模型采纳了“共同点”（common ground）的概念。Herbert H.Clark和Susan E.Brennan（1990）做了如下描述：
二重奏、握手、下棋、跳华尔兹、教学和恋爱都需要有两个人。这两个人必须协调他们要做什么（内容）以及怎么做（过程），这样才能成功完成这些行动。Alan和Barbara在演奏钢琴时，演奏的必须是同一曲莫扎特二重奏。这是内容上的协调。他们还必须协调双方的演奏时机，最强音和最弱音的高低，并适应彼此的节奏和力度。这是过程上的协调。他们只有掌握大量相同的信息，或叫共同点，如共同的知识储备、共同的理念和共同的假定，才能开始内容上的协调（参见Clark and Carlson 1982，Clark and Marshall 1981，Lewis 1969，Schelling 1960）。而要协调过程，就需要不断地更新或者修正共同点。所有共同行动的基础都是双方具有的共同点以及共同点的不断扩大。
Brennan（1990a）在人机界面中运用共同点这个概念时，提出共同点是一个共同居住的“空间”，在其中“居住”的各个参与者的协作以及后续求同让意义成形。Brennan的工作目标是设计出能够提供特定共同点建立方式的人机界面，这种共同点建立方式类似于人们日常对话中的打断、发问以及表达理解程度的言语或手势（Brennan 1990b）。
成功的图形界面——Macintosh是早期的典范——通过在屏幕上显现物体的外观和行为，明确地表现Clark所称交互“知觉共同点”（perceptual common ground）的一部分（Clark 1996）。这种表现中有一些部分完全源于人或者计算机一方，有一些部分则是双方协作的结果，其中双方的特征、目的和行为交织在一起，密不可分。
共同点的概念不只为对话过程提供了更好的模型，同时还支持这样一种思想：界面并不只是让人和计算机彼此接触的一种方式；相反，它形成了一种共享的行动环境，人和计算机均是其中的行为者。当传统的你来我往模式闯进来时，“对话”很可能会被破坏，再次在人与计算机之间打开“神秘沟壑”，其中充满了隐藏的过程、武断的判定或误解，以及彼此竞争而非协作的权力不对等关系。错误、意外结果以及出错消息是交流出现问题的典型征兆，此时共同点这块陆地已被误解的海洋淹没。
1.1.2 界面比喻
引入界面比喻是为了在概念上帮助人们摆脱误解，通过采用人们熟悉的物体或者环境来引导人们的期望。其中最广为人知的是桌面比喻。它最早由Alan Kay在1970年开发Xerox PARC的时候提出，但是借鉴了20世纪60年代斯坦福研究所（Stanford Research Institute，SRI）Douglas Engelbart所做的一些工作。Xerox Alto（1973）是第一台使用了桌面比喻和图形用户界面（Graphical User Interface，GUI）的计算机，其后则是1981年的Xerox Star工作站和1983年的Apple Lisa。1984年，Apple Macintosh问世。这是一款供公众而非商业机构使用的计算机，让桌面比喻第一次被广泛了解。Macintosh使用图标，将单独的文件表现为“文档”，将分层组织单元表现为“文件夹”。“桌面将会消失”只是夸大的流言。虽然这些年已经有许多非桌面的“可供性”（affordance）衍生出来（例如滚动条和Dock），但是在现代个人计算机，以及智能手机图标编排及其含义中，仍然可以看到桌面的基本轮廓。
但是，再好的比喻，有时候也无法达到预期效果。Mac问世几年之后，有人对懂Macintosh的大学生做了一次非正式调查，其中很多人在描述Finder时没有使用“桌面”这个词。如果界面比喻与其借用的实体概念偏差很大，那么人们在描述屏幕上特定“物体”的行为时，就会对系统操作进行即兴的解释，而这种解释往往是不正确的。这就是计算机世界的“朴素物理学”（参见Owen 1986）。在这种情况下，比喻就不再是共同点的一种标志，而成了一种认知中介，其用语可能比计算机科学家的术语容易懂一些（但很可能含义更加模糊）。
Mac诞生之后，我们已经看到了各种各样的界面比喻，有的局限在一个地区，有的全世界通用。在万维网出现后，我们开始使用网页这个概念，就像它们是厚厚的书本中的一页又一页。但是，事实没这么简单，网页内外还有超链接，所以万维网的“地形”被重新审视，网站之间的“地理关系”被考虑了进来。Web门户的概念就基于这样一种观点：一个聪明的门户提供商会为我们打开万维网的一面，让我们有路可循，并为我们提供一致的信息表现，但是这也可能带我们深入类型各异的网站和页面，让我们不经意踏入狂野的网络（Wild Wild Web）。不过，如果我们想要保证安全，也可以选择停留在四周竖有高墙的花园中。
技术和设计的进步也伴随着名称的变化而变化。例如，在20世纪40年代，一些人使用借助无线电工作的“汽车电话”。可靠的蜂窝通信系统开发出来以后，出现了叫做“蜂窝电话”（手机）的手持移动设备。当移动电话开始具有浏览器、“应用”和通信功能后，我们改称它们为“智能手机”。人们根据自己对技术的简单理解，而不是采用比喻，起了这些名字。但是，我们身边仍然可以看到比喻的存在。例如，我们会使用“笔记本”或者“平板”来描述具有特定尺寸和功能的计算机，尽管一般来说我们不能在上面写写画画、撕下来一页或者卷起来一页。
更为成功也更为流行的行为比喻是“直接操纵”的概念（后面将详述），即用户可在屏幕上四处移动对象，就像在现实世界中移动物体一样。虽然直接操纵界面需要的操作和约定俗成需要循序学习，不易直接上手，但是这种比喻的价值在于让大多数人乐意学习。
尽管界面比喻在多个方面都存在缺陷（本书后面将会讨论），但是它们的流行让界面设计领域得以扩展，开始接受图形设计、工业设计、语言学、心理学、教育学和其他领域专家的贡献。采用比喻的做法让界面设计成为一种跨学科的课题，汇聚了多个学科的人才，他们或者服务于界面设计，或者使用界面设计。
“user”指什么
很多场合中，我不喜欢使用“user”这个词，因为它有时候暗含着贬义（比如“drug user”，指的就是吸毒的人）。在人机交互中，“user”暗示双方能力不对等，常常错误地表征技术和人的一种体验。早在20世纪70年代和80年代，我们开始为人机交互下定义时，“user”这个词很快变得过于泛化。说人的时候，我们一般不会说他是
《纽约时报》的user（除非他用报纸来装狗狗的便便），或者一辆汽车或者一位医生的user。这么多年以来，我一直向我的学生强调，除非“user”的的确确是正确的用词，否则不要用它。例如，最好把计算机游戏的user叫做player（玩家），把电子书的user叫做reader（读者）。Char Davies把参与VR（虚拟现实）的人叫做“immersants”（沉浸者）。因为本书介绍了多种多样的人机交互，所以我使用了“交互者”（interactor）这个词作为一般性的术语。
1.1.3 界面交叉科学
界面设计越来越呈现出跨学科性，尽管推动这些现象产生的主要原因在于硬件的发展，但是设计者对人机交互体验有越来越敏锐的感受也是动力之一。技术、研究和想象力是点燃变化的火花。稍后的小节不会详细介绍历史，但是会简要描述一些原型，并与戏剧设计进行比较。
最初只有工程师
工程师是第一批人机界面设计者。Douglas Engelbart坚持致力于让世界变得更好。在设计界面的过程中，他和他在斯坦福研究所（SRI）的团队立足于工程学、易用性（人因）以及心理学和价值观的汇聚点。早期，在Vannevar Bush的规范性论文《As We May Think》（Bush 1945）的影响下，Engelbart在SRI创建了一个叫做The Augmentation Research Institute的项目（参见Engelbart 1962）。该项目最出名的发明就是鼠标，但是人们常常忘记，这个团队还发明了超文本和联网计算机，并为图形用户界面做了一些奠基性的工作。当然，他们在其他方面也有出色的成就。
“Computer”指什么
Computer最早指的是人，她们（这些人主要由女性构成）的工作是“执行一些必要的重复性计算，例如，为天文年鉴计算航海表、潮汐图和行星位置”（Kopplin 2010）。
写本书第1版时，Macintosh进入市场不过5年。个人计算机仍是一个革命性的设备。Alan Kay最早提出了笔记本电脑的概念，他称其为“Dynabook”（Kay 1972）。1979年，Lee Felsenstein为Adam Osborne的公司设计出Osborne Computer。Lee的主要设计目标是Osborne 1必须能够装在一个飞机座位下，而他也成功地做到了这一点。1981年，第一款成功实现翻盖样式的便携计算机Grid Compass问世。
从那之后，个人计算设备开始呈现爆炸性增长，并且种类多样，包括笔记本电脑、平板电脑、智能手机和智能手表。变化仍将继续发生。我用到“计算机”这个词的时候，采用的是《牛津英语词典》（Oxford English Dictonary，OED）中给出的如下定义：
〈名词〉一种电子设备，能够接受特定格式的信息（数据），并按照预先确定，但是不固定的一组过程指令（程序）执行一系列操作，得到信息或者信号结果。
这里使用的这个术语专门用在个人计算领域。OED将个人计算机定义为一次供一个人使用。但是，如果考虑联网应用，如大型网络游戏，那么
这个定义可能存在误导，因为这类应用的大量处理由大型机完成，它们处理同时发生并且彼此之间存在联系的大量玩家的交互。代码存放在哪里，以及哪个设备完成主要处理工作，这些对于我这里使用的“计算机”并不是特别重要。相反，最重要的是产生的表现，以及规范并约束人与个人计算机交互的界面可供性。我们并不关心什么东西在运行计算机。
Engelbart相信，人机交互的前景一片光明。“增强”（augmentation）的概念驱动着他继续工作，并让他的团队紧密团结起来，尽管这个概念并不是一个比喻。他的工作超越了时代，直到多年之后才得到认可。可以想见，新生的行业以短期赢利为诱惑，抢走了他的团队中的一些关键成员。
Engelbart在1968年做了一个带有传奇色彩的演示，这是一个不可思议的成就，在戏剧领域和技术领域都是如此。Englebart后来也被称为“演示之父”。当时，Englebart坐在旧金山的舞台上，而他的团队则在门洛帕克。Engelbart回忆道：
我们的计算机放在SRI，地址就在门洛帕克。为了进行演示，我们采用两个微波链路向旧金山发射两个视频信道，它们的信号通过机场上方的大锅反射过来。在西海岸，只有一个视频投影仪强大到能够支持我们的会议厅使用，就是我从NASA借出来的一个瑞典制造的Eidophor。它很大，大约6英尺高。然后我们自建了一个2400波特的调制解调器，用来把我在旧金山发出的信号通过租用线路传回SRI。
舞台右边是一个22英尺高的大屏幕。在我的监视器的一侧，有一台摄影机正对着我的脸。另一台摄影机则捕捉着我的手在键盘上的动作——想得很周到。屏幕的一侧显示我的脸，另一侧显示文字。有时候则显示一个拆分屏幕，在我进行解说的时候，门洛帕克的那些人展示相应的东西。有人告诉我，这就是最早的视频会议演示（Jordan and Englebart 2004）。
现场表演和使用先进技术对于戏剧人士来说十分熟悉，但是对于当时的计算机业界则遥不可及，所以，观众们留下了深刻的印象。Engelbart的演示仍然存活在SRI和PARC的文化中。MIT Architecture Machine Group（即后来的MIT Media Lab）仍然依赖于演示（常常是实体模型），并且一旦完成演示，就把它们拆除。另外，这次演示的内容标志着界面设计的实践、技术和目的开始发生重大变化。
心理学家登上舞台
从计算机时代一开始，理解人机交互的征程上就有心理学家的身影，他们的贡献主要体现在人因设计等学科上。从20世纪70年代直到80年代，认知心理学家在人机交互方面形成了重要的理论观点；与关注其他分支的同行们相比，他们更关注界面设计。加州大学圣地亚哥分校（University of California at San Diego，UCSD）的Institute for Cognitive Psychology创始人Donald A.Norman完成的工作尤有借鉴价值。在20世纪80年代，Norman在UCSD建立了一个实验室，催生了当时关于人机交互最具创新性，最切中要害的观点（参见Norman and Draper 1986，这是该团队的成员和朋友所写的论文合集）。Norman的观点高度面向任务。在他的著作《The Psychology of Everyday Things》（1988）中，Norman一再强调，无论是为计算机还是门拉手进行设计，设计有效的界面首先应该分析一个人要用该界面做什么，而不是先考虑该界面像什么，或者显示什么。
Norman强调行动是界面支持和表现的实质，这让我们走出了比喻的迷宫，走到了阳光下，这里所发生的要比人与计算机的交谈更重大、更复杂、更有基础意义。
Norman的观点与持“共同点”的语言学家很好地契合，他所建议的界面概念不只局限在屏幕上。界面变成了一些有意识活动的表演场，人与计算机各占一席之地。界面所表现的不只是任务的环境和工具，也是交互的过程，即双方所做的贡献和任务进展的证据。我相信，Norman的分析支持这个观点：界面设计应该关注于表现涉及多个行为者的完整行动。另外提一下，这正是戏剧的定义。
在界面形成的另一个关键概念中，Norman也扮演了重要的角色。这个概念就是直接操纵。直接操纵界面运用了心理学家掌握的，关于人们如何与现实世界中的物体进行交互的知识，设计者相信人们可以迁移这些知识，把它们运用到操作代表计算实体和过程的虚拟对象上。“直接操纵”这个术语是由马里兰大学（University of Maryland）的Ben Shneiderman发明的，他列出了如下关键条件：
1.?感兴趣对象连续表现。
2.?物理行动或者按下带标签的按钮，不要求复杂的语法。
3.?操作快速、增量式且可逆转，其对感兴趣对象的影响可以立刻显示出来（Shneiderman 1982）。
Shneiderman（1982）指出，直接交互界面可以“在用户中产生一种强烈的热情，大不同于常见的满腹怨言地接受界面，或者干脆对界面持敌对态度。”在对直接操纵进行认知分析时，Edwin Hutchins、James Hollan和Don Norman认为如上定义的直接操纵只是产生这种积极感受的部分原因。他们提出了一种伴随效应，叫做“直接参与感”，即“当用户与领域中的对象直接交互时”产生的感受（Hutchins et al.1986）。他们还补充了几个必要条件，即输入表达式必须能够使用之前的输出表达式。系统必须创造即时响应的假象（除非即时响应不适合该领域），并且界面必须做到不带有侵入性。
看上去直接操纵和直接参与感很可能是同一枚硬币的正反面：一个关注行动的本质，另一个关注主观回应。基本问题是，在表现世界中产生行动的感觉需要什么，界面的“元上下文”被分离开单独考虑。Hutchins等人总结如下：“尽管我们相信，这种直接参与感极为重要，但是我们对于如何产生这种感受知之甚少”（Hutchins et al.1986）。
大约20年后，Norman（2004）在他的著作Emotional Design中写道：
我们认知学家现在认识到，情感是生命的必要组成，它影响着你如何感受、如何行为以及如何思考。事实上，情感让人变得聪慧。
如果是近些年，Norman可能会说，直接参与感来自设计良好的可供性产生的愉悦感。即时性且没有繁复的操作步骤让直接操纵成为良好的体验。
我认为，这是心理学、界面设计和戏剧的一个重要汇合。在戏剧中，直接参与感首先来自于实时表演及其引起的（观众的）高度注意。观众（和演员）对舞台上的行动立时作出情感上的反应。在表演进行过程中，情感会产生更大的共鸣，理想的情况下会产生“移情作用”（即感同身受）。界面（场地、舞台设施等）并不是要直接关注的地方；当观众被表演行动直接吸引的时候，这些元素会从清醒意识中消失。而且，戏剧观众期待得到情感上的愉悦感。下一章将探讨这种愉悦感的本质。
剧作家、演员和其他戏剧艺术家都熟悉心理学，因为心理学关注人的心智、行为和情感。理解心理学和戏剧的异同可以揭示二者在人机交互领域能够做出的不同贡献。这两个领域有一些共同点。二者都关注行为者在交流、打斗、解决问题、建造东西、娱乐——人类的各种活动——的过程中，彼此如何建立联系。二者都从情感、目标、冲突、发现、想法改变、成功和失败的角度来解释人类行为。二者都观察和解释人类行为，但是目的不同：一般而言，心理学试图理解在现实世界中人类如何面对混乱与迷失；而戏剧试图表现某种可能发生的东西，并且为了逻辑和情感上的清晰性，对其进行了简化处理。心理学详细解释人类行为，而戏剧则通过表现人类行为，提供理性和情感的了结。戏剧受到了心理学的指导，但是通过直接表现行动，让自己走出了心理学的领域。
图形设计、动画和声音
在Shneiderman（1987）和Hutchins等人（1986）的分析中，连续表现和物理行动严重依赖于图形表现。Hutchins认为直接操纵的起源是Ivan Sutherland的图形设计程序Sketchpad（Sutherland 1963）。在交互中，图形（以至多感官）表现是产生身体和情感直接参与感的基础。
图形设计师在界面设计中的作用在很多方面与舞台设计师在戏剧表演中的作用相似。二者都创建物体和环境的表现，为行动提供一个背景环境。在戏剧中，舞台设计师准备一些物品，如茶杯和椅子（道具），用帆布遮盖的木制框架，在绘图以后用来表现墙面（景片），以及装饰用品，如布帘和小地毯（布景）。这些元素的行为也被设计好：门会打开，假炸弹会爆炸，不结实的椅子在酒吧打斗中会散架。灯光设计师使用颜色、照明强度和灯光方向等展示行动及环境，并让我们的注意力集中在关键的地方和事件上。在界面设计中，随着处理能力不断增强，动画用得越来越多。
场景和灯光设计师使用光线、阴影、颜色、材质和风格来暗示环境信息，如地点、年代、时间、季节、基调和气氛。在设计现实和非现实作品时，戏剧设计师还采用比喻（并强化剧作家提供的比喻）：在《推销员之死》（Death of a Salesman）中，威利•罗曼房子周围影影绰绰的城市景象暗指他的孤独和梦想的破灭；纱布搭成的网代表培尔•金特个性构成中的层层错觉。俄亥俄州立大学（Ohio State University）的Advanced Computing Center for the Arts and Design（ACCAD）与Departments of Theatre and Dance协作，创造实时视觉效果，包括从动作捕捉工作室把角色投影到舞台上，与“真实的”演员交互。
在界面设计中，图形设计师和动画师的贡献相仿。他们呈现物体，为应用程序或系统的行动设计发生环境，给某些物体赋予行为，并使用光线、阴影、颜色、强度、材质和风格等元素，表现背景环境的具体与短时特点。熟悉的一些比喻，如桌面和窗口，暗示出它们所支持的活动具有的行为或者发生的环境。
听起来不错
一些早期的街机和游戏机游戏中的游戏特别难听。Vasikalis是一名极为成功的游戏声音制作者，他解释道，“早期的视频游戏音乐完全是工程师自己创作的……当时，在游戏中嵌入声音唯一的方法就是把它们通过编程写入计算机芯片”（Vasikalis 2012）。这就难怪了。
虽然Pac Man很成功，但是在20世纪80年代早期，我仍然认识到声音在计算机游戏中具有强大潜力。产生这种信念是因为我观察到，打开广播时，我脑中会浮现行动和角色，但是如果电视没有声音，我脑中并不会创建音轨。纯声音的游戏一般会引起人们好奇，但是无法在市场上获得很大成功（如Kenji Eno在1997年制作的Real Sound）。直到空间化音频出现，情况才得以改变。立体声录音为VR（虚拟现实）和吸引人的音频游戏（如移动游戏The Nightjar）提供了空间化音频。
我最早使用立体声实地录音创建空间化声音，是为了制作Placeholder，这是班夫艺术中心（Banff Centre for the Arts）在1993年完成的一个虚拟现实项目。我们需要的音景之一是瀑布以及穿过瀑布的声音。我让我的搭档Rob完成录制，这需要他在头上戴上特制的麦克风。考虑到录制的是瀑布，我们还需要找东西保护麦克风。我们派出一个搜索队去市里找来一些安全套，然后把它们套到麦克风上。所以你会看到一个人脑袋上戴着奇怪的东西，艰难地趟过湍急的河流，然后（短暂地）站在瀑布下，忍受300psi（磅/平方英寸）的水流打到他的头上。那时，我在想要是一个不知情的徒步旅行者看到这种情形会想些什么。
Placeholder的录制带来了两个成果。其一，虽然它使用不同的摄像方法呈现了三个场景，但是录制的音频将整个世界联系了起来。其二，自那以后，Rob和我继续进行环境声的立体式录制，合作非常愉快。
交互式媒体（尤其是游戏）中的声音和音乐设计变得越来越重要、越来越复杂。空间化声音在20世纪90年代末进入计算机游戏，加快了声音设计工具、技术、技能和课程的发展。简单一些的声音会让我们意识到“真的”有行动发生了，如发送消息时“嗖”的响声，或者在Mac上把一些东西拖动到“垃圾箱”时“纸张”的脆响。
戏剧设计和界面设计的目标都是创建接近现实的表现，但是都做不到完全相同。场景设计并不是完整的戏剧，因为完整的戏剧还包括表现角色和行动。同样，界面设计的元素只是完整表现（我们称为人机交互）的一部分。
界面如何设计出来？在有效的交互设计中，界面并不是最后设计的，而是在整个设计过程中不断改善。界面与功能紧密结合在一起，对交互者十分贴心，有时候甚至会限制交互者不能或者不需要有效接触的功能。如果把一个应用程序视为一个有机体，那么创建应用程序的过程也应该是有机组成的。