交互设计·超越人机的交互 重点知识整理

认知交互、社会化交互与情感交互 1. 认知交互 认知可以划分为两个模式：经验认知和思维认知。经验认知是一种心智状态，指的是直观和轻松的观察操作和响应我们周围的事件。要求具备某些专门知识，并达到一定的熟练程度。思维认知不同于慢性思维，涉及思考、注意力、判断和决策，这种认知是新想法和创造力的来源。描述认知的其他方法是根据其发生的情景、所使用的工件、工件的开发和界面、所涉及的人来确定的。根据发生的时间、地点和方式，认知可以分配、定位、扩展和实施，认知的具体过程包括： 注意力 感知 记忆 学习 阅读、说话和聆听 问题解决、规划、推理和决策 许多认知过程是相互依赖的，与交互设计最密切相关的是注意力和记忆过程。 注意力是指在某个时刻，从众多可能的事物中选择一个，并把精力集中在这个事物上。信息的呈现方式也会极大的影响，人们捕捉到适当信息片段的难易程度。多重任务对记忆的影响取决于任务的性质和每个任务需要多少关注度，此外还包括个体差异。 感知是指如何通过不同的感觉器官如眼睛，耳朵，手指等从环境中获取信息，并转化为对物体事件声音和味觉的体验。 记忆就是回忆各种知识，以便采取适当的行动。影响后续信息检索程度的因素，一是编码处理，二是信息编码的情境。设计数字内容系统时应优化这两个检索过程，系统应该向用户提供多种方式来编码文档，并支持查找内容，确定优先级等。用户不喜欢遵循手册来学习相反，他们更喜欢边学习边实践，GUI和直接操作界面就能够很好地支持这个方式。他们不仅能提供交互式讲解，还允许用户撤销自己的操作。GUI图形用户界面，指采用图形方式显示的计算机用户界面。交互式技术的主要好处就是提供了传统技术无法实现的信息表示和交互方式，并使学习者能够以不同的方式探索新想法和新概念。 解决问题、规划、推理和决策涉及思维认知的过程，他们包括思考如何做、有哪些选择以及执行某一行动可能产生的后果。目前我们更应该关注人们面对信息过载时如何决策，应该减少用户决策成本，找到关键决策点，将关键信息可视化。 人们开发了许多基于认知理论的概念框架以及理论，来解释和预测用户行为： 内部框架，主要侧重于心理过程；外部框架用于解释人们如何在其发生的情境中进行交互和使用技术。 内部框架包括心智模型、执行和评价的鸿沟、信息处理。 外部框架包括分布式认知、外部认知、具身认知。 心智模型是指一个成功系统的概念模型，应使用户能轻松地学会系统的使用，并且有效地使用系统人们积累了有关使用系统的知识，而且在一定程度上也积累了有关系统如何工作的知识，人们对系统及其功能了解的越多，他们的心智模型就越完善。在认知心理学中，心智模型被视为外界的某些因素在人脑中的反映，操作心智模型，使得人们能够进行推理和推测。心智模型涉及两个过程，构建和运行。开发一个符合概念模型的心智模型，需要设计的更为透明。透明度包括：响应用户的输入，并给出有用的反馈；提供易于理解的直观的方式与系统交互；清晰易懂的说明；适当的在线帮助和教程；情景敏感性指导，即针对用户的经验水平，在给定任务的特定阶段，不知道怎样做的时候，解释如何进行下去。 执行和评价的鸿沟描述了用户和界面之间所存在的鸿沟，设计师和用户需要关注如何在两者之间搭建桥梁，以减少执行任务所需的认知努力。一方面可以设计用户的心理特征相匹配的可用界面，另一方面可以通过用户学习创建目标、计划和适合界面工作原理的动作序列来实现。 使用“隐喻和类比”（信息处理），将心智概念化为储藏库、电话网络和数字计算机。在这些阶段中，心智需要对心理表征（包括图像、心智模型、规则和其他形式的知识）进行各种处理（包括比较和匹配）。信息处理模型提供了对人类执行任务的效率进行预测的基础，从信息处理理论得到的第一批HCI模型中的一个是人类处理器模型。该模型将认知概念化为一系列处理阶段，其中感知、认知和运动处理器有机结合，可以预测用户与计算机交互时，涉及哪些认知过程，用户执行各种任务需要多长时间。 人们趋向在认知发生的情境中，研究认知活动，主要目标是分析环境中的结构如何既能帮助人类认知，又能减少认知复合负荷。三种外部框架认知方法：分布式认知、外部认知和具身认知。 分布式认知方法，研究认知现象在个体、工件、内部和外部标准中的性质。他通常描述认知系统中发生了什么，其中涉及人员之间的交互，人们使用的工件以及工作环境。分布式认知方法的主要目的是如何通过不同通道传播信息来描述这些交互，即考虑信息如何表示，信息在流经不同个人以及使用不同工件时如何重新表示，这个信息的转变也称为“表征状态的转变”。这种描述和分析认知活动的方法与其他认知方法形成对比，因为他不集中于个体大脑里发生的事情，而是集中于系统内的个体之间以及不同工件之间的关系。 外部认知是要解释当我们与不同的外部表征交互时所涉及的认知过程，主要目标是解释在不同认知活动和认知过程中使用不同表示方法的好处。主要包括外化以减轻记忆负荷、减轻计算负担，标注和认知追踪。外化，是通过修改表示方式以反映正在发生的那些我们希望标记的变化。标注，就是修改外部表示，例如划去某些项或某些项上加上下划线；认知追踪，就是重新安排某些事物的顺序或结构。认识追踪也用做一种交互功能。基于外部认知方法的交互设计的一般认知原则是在界面提供外部表示，以减轻用户记忆负荷和计算负担，我们可以开发不同种类的信息可视化，以便用户解决某个问题，GUI还能够通过提供外部表示来显著减少记忆负荷。 具身交互从社会和物理环境的实际参与角度理解交互。具身交互提供了框架和组织原则，帮助研究人员发现现有技术的设计和使用以及新系统设计中的问题。具身交互已经广泛应用于HCI，其中包括专注于技术交互中的情感质量，专注于物理共享空间中公开可用的行为，以及专注于我们的身体对我们技术交互中的调节作用。这些实现认知的理论更多地以人类与物理世界交互方式为基础，但仍然强调从特定情境中使用抽象的价值。 2. 社会化交互 社交是人们日常生活的一个基本行为，人们总在交换有关项目活动、人物、事件的新闻以及变化和进展。虽然面对面的对话仍然是我们许多社会化交互的核心，但社交媒体的使用还是明显地增加了。 远程的交互实际上与面对面的交互没有多大差别，除了人们的说话声音较大并且不断讨论视频系统之外。虚拟呈现，使得人们感觉到他们就好像在现场，或者通过将他们的肢体、动作、声音和面部表情投射到另一个位置或人上来，呈现出他们在另一个位置的假象。最具创新性的原型之一是BiReality，它采用遥控操作移动机器人代理作为物理移动的一个代替者来访问远程位置。 共存是指可共享页面，它可以允许多个人同时使用，其目的是使同一位置的群体在工作学习和社交时能有效地合作。首先需要考虑人们在面对面交互中使用的协调和意识机制，然后看看如何改变或替代这些机制，这些机制包括物理协调、意识和共享界面。 周边意识指的是一个人，通过关注他们的视线周围发生的事情来保持和不断更新，对物理和社会环境中所发生事情的感知能力。另一种意识形态是态势感知，指你通过周围发生的事情，以了解这些信息事件和自己的行为，将如何影响正在进行和未来的事件。具有良好的态势感知，对于需要丰富技术的工作领域是至关重要的。在这些工作领域中，人们必须时刻了解复杂和不断变化的信息。此外，紧密合作的人们还根据对他人正在做的事情的最新认知，制定各种策略来协调他们的工作。对于相互依赖的任务尤其如此，人们需要其他人的活动结果，来完成他们的任务。 共享界面可以提供更多种类的灵活协作机会，使同一位置的用户能够同时与数字内容进行交互。由于手指的行动是高度可见的，因此可被其他人观察到，这就增加了建立态势感知和周边意识的机会。人们也认为共享界面比其他技术更自然，这就促使人们去接触他们而不会感到恐惧，或者因他们的行动后果而感到尴尬。改变人们与共享界面交互的方式，可以对团体参与产生影响，更多保守的成员有可能做出贡献，而不会感觉到那种不得不说话的压力。各种用户研究结果还表明了设计共享界面来鼓励更平等地参与群众活动不是一种直接的方式，还有可能带来恐惧。在共享界面对正在进行的写作任务添加和操作内容采取谨慎和易接近的方式，可以更有效地鼓励那些通常难以或根本不能在群组发言的人参与，其中如何更好地表示在线社交网络活动的参与者也是很多研究的主题，一个有影响力的社交原则是“社会半透明性”，这是指设计的通信系统能够使参与者及其活动彼此可见。 如何使用协作技术开发具有更少入侵性的机制，人们研究调查了如何使用基于计算机的匹配技术，其可以基于一种算法。该算法确定在人们之间共享哪些偏好和观点，将会使他们成为合适的对话伙伴人。 我们需要关注数字泡沫的问题，区分无意识交互与有意识交互。无意识交互指的是我们对周围发生的事情无动于衷，不知道发生了什么以及对其很盲目，我们如何开始重新思考，我们与未来更加有意识的数字技术间的关系，意味着察觉到、意识到、知道某事或某人，可能通过更多的思考如何使用设备工具和数据来时事情实现这种技术，鼓励我们对彼此和周围环境进行更多的思考。我们可能并不需要许多屏幕告诉我们无用的数据，我们需要思考，人们从技术甚至更多无意识交互和数据成瘾的形式中想获得什么。 3. 情感交互 情感交互关系到我们在与技术交互时的感受和反应，它涵盖了用户体验的不同方面，包含从我们第一次发现一个新产品直到丢弃它整个过程的感受。它研究人们为什么对某些产品逐渐产生情绪依赖，社交机器人如何能帮助人们减少孤独感，以及如何通过使用情绪反馈来改变人类的行为。 理解情绪如何影响行为和行为如何影响情绪的一个好的切入点是检查人们如何表达自己的感受和解读彼此的感情，这些包括理解面部表情、身体语言、姿势和语调之间的关系。 情绪的作用比简单的因果模型更复杂，情绪可以是既简单而短暂的或既持久而复杂的。他们可以迅速发生，通常在几分之1秒内，并且可以同样迅速消散。有意识的情绪，往往发展缓慢，同样消散缓慢，需要注意的是，我们学习和适应自身行为的能力的基础是不同的。理解情绪如何工作，提供了一种考虑如何设计可以引起用户情感和反应的界面和应用程序的方法，设计师可能会考虑如何设计可以让人们感到快乐的产品，并假设之后使人们具有创造性。 情绪和行为的模型根据大脑的不同层次来表达，最底层是大脑的部分，预先连接他们已自动响应发生在物理世界中的事件，称为本能层；下一层是控制人们日常行为的大脑过程，称为行为层；最高层是大脑思考过程，称为反思层。本能层迅速反应判断好坏、安全或危险、愉快或厌恶，触发生理和行为反应组合所表达的情绪反应来达到刺激；行为层是大多数人类活动发生的场所；反思层需要有意识的反思，需要人们在实践中归纳或对日常事件进行审视思考。 使用该模型的一种方法是考虑如何根据三个层面设计产品，本能设计指的是使产品外观质感和声音良好。行为设计是关于使用和等同于可用性的传统价值观念。反思设计是关于考虑在特定文化中产品的意义和个人价值。 通过各种声音表示、各种操作和事件、震动触觉反馈、使用动态图标、动画、各种声音的语言信息来传达系统状态，告诉用户、需要做什么。 界面的风格也能对用户的情绪产生作用，在界面设计中应当使用美观的图像给用户带来愉快的体验。美学上令人愉快的界面设计已成为交互设计的主要关注点，实证研究表明，界面的美学能对人们关于系统可用性的感知产生积极的影响。然而，在许多情况下，计算机界面也可能无意地引起人的消极的情绪反应，如愤怒和厌恶，通常发生在某物使用或设置是本应很简单，但却很复杂时。 令人厌烦的界面包括：当程序无法正常工作或崩溃；当系统不执行用户想要进行的操作；当无法达到用户的期望；当系统没有提供足够的信息，让用户知道该怎么做；当弹出显示模糊或措辞尖锐的错误消息；当界面过于杂乱，艳丽、花哨或过于敷衍；当系统要求用户执行许多操作步骤来执行任务才指出，前面某个地方出错，导致他们需要重新开始；当使用过多文本和图形的网站时，用户很难找到所需信息，并且访问速度变慢；闪烁动画，尤其是闪烁的横幅广告和弹出广告，它覆盖了用户正在查看的内容，并且需要用户主动点击复选框关闭他们；当过度使用声音效果和音乐，特别是在选择选项，执行操作运行教程或观看网站演示时；当操作数目过多；当布局不当的键盘、平板、控制面板和其他输入设备，导致用户持续按下错误的按钮。 一项经验性的研究表明，与错误道歉信息相比，人们未收到道歉信息时也不会感觉多么失望。 开发试图以人类相同的方式进行认知和表达情绪的计算机系统的方法，称为情感计算。人工智能和人工生命的一个长期研究领域，就是创造出能够仿人类和其他生物行为的智能机器人。最近交互设计感兴趣的研究领域是自动情绪分析，许多感测技术现在用于自动测量和分析用户的情绪，并且从收集的数据预测他们的行为。用于揭示某人情绪状态的其他间接方法包括眼球追踪、手指脉搏、语音，以及他们在社交网站上发状态、在线聊天或发帖时所使用的词语。 【例】更温和的情感化技术的例子，是一个已经开发的应用程序，月亮短语。用于帮助人们反映他们的情感状况。该应用程序通过分析人们在社交媒体上发布的内容，让人们思考自己的情绪状态和感受，目的是通过识别情绪的触发因素来帮助人们更好地应对压力和焦虑。该工具分析用户在社交媒体中表达自己的方式，及分析他们所使用的单词类型、心情标签、表情符号和所使用的表达及其频率，之后根据一系列传达正面和负面情感的月亮图标来可视化这些数据。这种模式可以帮助用户更多的了解自己，以及可能导致自己情绪波动的事物。 说服技术：各种技术越来越多的用来吸引人们注意某些类型的信息，试图改变他们的行为或想法，应用在计算机屏幕上的一些方法有弹出广告、警告、消息提醒、提示、个性化消息和推荐，人们有意地设计改变人们态度和行为的交互式计算系统。最近交互技术以用来诱发、吸引和说服人们做他们可能没有做过的事情，除了使用交互技术作为更有针对性和个性化的广告形式之外，还可用于改变非商业领域人们的行为，例如安全、预防性医疗保健、健康、个人关系、能源消耗和学习。 【例】最近市场上有许多移动应用程序和个人追踪设备，旨在帮助人们监控各种行为，然后根据收集和反馈给他们的数据来改变他们的行为。比如健身和睡眠手环。自动收集关于行为的量化数据的另一种方法是要求人们手动写下他们现在的感受或评价他们的心情，然后反思他们过去自己的感受。 如何使实时反馈有效，其中一个维度是反馈频率，另一个维度是所使用的表示类型。如果太明确，可能会涉及到个人隐私，导致人们反感，相比之下，更匿名但更醒目的简单表示可能更有效。另一个维度是社会规范，即将用户与其他同水平的用户相比较。 拟人论是人们将人类的特性赋予动物和物体，而拟物论是一个物体的形状或以动物的形式设计。将人类的特性和其他类似人类的属性赋予技术，会使人们在与其交互时感到更愉快更有趣，然而虚拟代理、机器人和玩具在某些情况下，也可能是恼人的，他们也没有那么精细的情绪智能可以以人类之间微妙的方式来回应。对各种会话机制的建模包括：认识和使用语音和非语音输入；产生语音和非语音输入；处理对话机制，如处理对话过程中的协调障碍、发言次序等；使用信号表示对话状态，为对话提供新建议。 4 交互界面的类型及发展趋势 1. 界面类型 目前有许多形容词用来描述交互方式的特点，有些交互形式主要侧重功能性，有些专注于实用性，有些涉及输入输出设备，有些则涉及一些平台所设计的产品。 界面类型包括基于命令的界面、WIMP和GUI、多媒体、虚拟现实、信息可视化和仪表盘、网络、消费电子产品和家电、移动、演讲、笔、触摸、隔空手势、触觉、多模态、可共享、实物界面、增强和混合现实、可穿戴设备、机器人和无人机、脑机界面。 早期的交互方式要求用户输入到电脑的是典型的缩写命令，另一种方式是靠组合键，目前命令行界面很大程度上已经被一些图形界面取代。但命令行界面依旧有自己的优点，比如更快速更精准。最相关的设计准则是一致性。选择用于标记/命名命令的方法尽可能一致，例如使用缩写时始终使用命令行的第一个字母。 原始WIMP可以看作是命令行界面后的第二代人机界面。包括窗口、图标、菜单、指针。WIMP的基本构建单元仍然是现代GUI的一部分，并作为计算机显示方式的一部分存在，但是其已经演变成多种不同形式和类型。基本单元的构建设计： 窗口设计。Windows的发明克服了计算机显示器的物理限制，使得用户能够在同一屏幕上观看更多的信息并执行任务。打开多个窗口的缺点之一，是很难找到特定的窗口。GUI中常用的特定窗口就是对话框。基本上所有的确认错误信息检查表和表单都通过他们来呈现对话框中的信息，通常用来指导用户交互，且用户遵循对话框所提供的一系列选项选项。这种交互方式有一种缺陷，即将过多的信息和数据输入框加入一个对话框中选择界面过于混乱和拥挤、难以阅读。为了增加在窗口中所呈现信息的易读性和易用性，应该使用间隔、分组等简单设计原则。 菜单设计。界面菜单为用户提供从可用选项集合中选择的优化方式。标题作为菜单的一部分，使用户能够很容易地扫描到他们想要的内容。菜单型界面的风格，有很多种包括平面列表、下拉菜单、弹出菜单、情境型、拓展型（如滚动型和级联菜单）。平面菜单适用于尺寸小的显示器，他们通常需要在每个选项中嵌套选项列表，需要用户采取多个步骤来获取包含目标选项的列表，一旦在嵌套菜单中深入，用户必然要使用相同数量的步骤来返回菜单顶部，这样的方式会让人觉得乏味。扩展菜单允许在某个屏幕上列出比单个菜单平面菜单更多的选项。这使得导航更加灵活，因为可以在同一窗口中选择选项，属于计算机界面一部分的最常见扩展菜单是级联菜单，它提供了第二级、甚至第三级菜单，显示在主激活下拉菜单的旁边，这样可以获得更多的相关选项。情境菜单提供人们常用的访问命令，这与特点项相关联，情境菜单的优点是提供了与界面元素相关联的有限数量的选项，克服了与级联菜单和扩展菜单相关联的一些导航问题。平面菜单最适合同时显示少量选项，而扩展菜单适合显示大量选项。 图标设计。之所以要使用图标，而不是文本标签，是因为他们更容易学习和记住。目前图标已经成为交互的标志。它们出现在每个应用程序和操作系统中，并且用于除了表示桌面对象之外的所有功能。图标可以设计为在界面处表示对象和操作的具体对象和抽象符号，最有效的图标通常是同构的。当前，GUI提供的更大的灵活性使开发人员能够创建可区分、可识别和可记忆的图标集。为了帮助消除图标的歧义，文本标签可以在去图标的下方、上方或侧面使用，此方法对与具有小图标集的工具栏有效，但对于大图标集的应用程序就不是那么有用。 多媒体在单个界面中组合不同的媒体，即图形、文本、视频、声音和动画，并将它们与各种形式交互相连接。它不同于以前形式的媒体组合，因为不同的媒体是交互式的。一个假设是媒体和交互性的组合可以比其中任何一个提供更好的呈现信息的方式，即整体大于部分之和。多媒体的一个显著特征是其增强了快速访问多种信息的能力，多媒体在很大程度上是为培训教育和娱乐目的而开发的，通常假设通过与参与的多媒体交互界面交互，可以增强学习和娱乐。 虚拟现实（VR）是用计算机生成的图形模拟来创建“参与合成环境的错觉，而不是外部观察这种环境”。VR是一个通用术语，指的是与人工环境交互的体验，这使得他在感觉上是真实的。虚拟环境（VE）专门用于描述使用计算机技术生成的内容。优点之一是与其他形式的图形界面相比，对世界物体的模拟可以有更高的保真度水平。该技术提供的错觉可以使虚拟物体看起来像是按照物理规律运行一样，并且非常符合生活化的行为；另一个显著特点是可以提供不同的观点。第一人称视角通常用于飞行驾驶模拟和游戏；第三人称视角，更常用于游戏、学习环境和模拟中，其中重要的是看到相对于环境和其中对象的自我表示。某些虚拟环境中可以两个视角切换，使用户能够在同一游戏或训练环境中体验不同的视角。 开发虚拟环境是需要考虑的核心设计问题是如何防止用户体验不好的事情；确定用户利用导航的最有效方式，例如第一与第三人称；如何控制他们的交互和运动；如何最好的使他们能够与其中的信息进行交互；以及如何使用户能够在虚拟环境中与他人协作和沟通；一个中心关注点是目标的真实程度，是否有必要将化身和环境设计成和他们居住的环境相似，而且使用丰富的图片或者可以使用更简单更抽象的形式。交互设计师面临的挑战之一是在设计交互界面是使用现实还是抽象形式， 在交互界面中使用现实主义的好处之一是，它可以使人们在第一次学习应用程序时感到更舒适。这是因为这样的呈现方式可以很容易地贴近人们对物理世界的理解。因此，现实主义的交互界面可以帮助用户在一开始理解底层概念模型；然而更抽象的交互界面的优点是，他们可以更高效地使用。此外，用户的经验越丰富就越可能喜欢抽象的界面。对于某些类型的应用程序，使用现实主义对新手和有经验的用户都非常有效，基于计算机的游戏就属于这一类，特别是那些用户必须对虚拟世界中实时发生的动态事件做出快速反应的游戏，例如驾驶飞机或玩虚拟足球游戏。使游戏中的角色与人类在外观、移动、穿着和行为方面相似，也使他们看起来更令人信服和逼真，增加了趣味性。 信息可视化是计算机通过计算复杂数据生成的图形，这些图形通常是交互和动态的，其目标是增强人类认知，使用户能够看到可视化中的模式、趋势和异常，并从中获得洞察力。具体目标是希望提高发现、决策和解释现象的能力。用于描述信息和数据的常用技术是3D交互式地图，其可以放大和缩小，并通过网络树、簇，散点图和互联节点呈现数据，其想法是观众可以放大可视化的部分，以详细的了解某些数据点，同时也能够看到整个数据集的整体结构。 仪表盘已经成为一种日益流行的可视化信息形式，它们显示在一段时间内更新的数据的屏幕截图，一目了然。与其他类型的信息可视化不同，它们往往不是交互式的，数据片段旨在描绘系统或过程的当前状态。仪表盘应该用来提供可理解的清晰的信息，以便用户可以了解到什么是最重要的，所以需要考虑如何很好的设计仪表盘的空间布局，以便在首次查看时直观地阅读。它还需要仔细设计以便引导用户在异常或未料到的偏差境况下的注意力，这涉及如何最好地结合和对比不同的元素。 一个重要的准则是设计一个易于理解和容易推理的可视化，如果在同一个可视化中描述太多的变量，它可能使观看者更难阅读，并且很难理解表达的内容。 在21世纪初，以用户为中心的编辑工具和编程语言出现使网站设计突飞猛进地发展，为设计者和工作创造了创建网站的机会，使其更像多媒体环境。 消费电子产品和家电包括用于家庭、公共场所或汽车的机器和个人设备。它们的共同点是大多数使用他们的人都会试图在短时间内做某些具体的事情，用以消耗时间，人们不太可能有兴趣花时间探索界面或花时间查看手册以了解如何使用设备。简单见和可见性这两个基本设计准则是至关重要的。状态信息应该以非常简单的形式呈现，并且出现在见面的显著地方。 移动设备已经变得普遍，人们在日常生活和工作各个方面越来越多地使用它们。移动设备已经成为达成重要交易的商业工具，成为现实世界的遥控帮助人们应付日常的各种活动，成为一个促进情感交流的设备。 语音或语音用户界面是人与具体口头语言应用的系统交谈的地方，例如火车时刻表，旅行计划者或电话服务，它最常用于查询特定信息或执行交易，是一种基于对话交互类型的自然语言交互的特定形式，其中用户对着界面说话并聆听。语音技术最流行的应用之一是呼叫路由，是公司使用自动语音系统，使用户能够访问他们的一项服务。 基于笔的设备使人们能够使用发光笔或指示笔在界面上书写、绘制、选择和移动对象。数码笔允许用户以类似于纸质版本的方式快速轻松地注释现有文档。 由手势提供的数字交互的灵活性已经成为体验数字内容的新方式。多点触摸表面已经用作桌面和智能电话的界面，其支持一系列更加动态的指尖动作，诸如滑动、轻拂，挤压、推动和敲击。通过在屏幕上滑动手指，而不是在键盘上敲击来输入的好处之一，是加快打字速度同时可以降低错误率。 隔空手势。相机捕捉传感器和计算机视觉技术已经发展了多年，使得现在的机器可以相当准确地识别人们的身体，手臂和手势。使用基于空气的手势输入的关键设计点是考虑计算机系统如何识别和描绘用户的手势，特别是如何确定手或手臂运动的开始和结束点，以及如何知道手写手势和挥动手势之间的差异，另一个设计的关键问题是相比那些不需控制设备的游戏或其他活动来说，手势设备是否感觉更直观更直观。 触觉交互界面通过使用嵌入在人们的衣服或其携带的设备中的执行器向人体施加震动和力来提供及时反馈。振动触觉反馈还可以用于模拟想要通信的远程人员之间的触摸感觉。触觉现在通常用于游戏控制台和控制器，以提高其体验。触觉反馈也在服装和其他可穿戴设备中作为模拟被触摸，抚摸，刺戳或发出嗡嗡声的方式开发，感觉运动技能是有前景可观的应用领域。 多模态交互旨在通过增强界面体验与增加控制信息的方式，使用户体验丰富且复杂，人们可以使用不同的模态，即触摸，视觉，声音和语音。其中一个假设是多模态交互可以支持更灵活，高效和具有表现力的人机交互手段，更类似于人类在物理世界中经历的多模态体验。多模态交互的最常用技术组合是语音和视觉处理。 可共享界面用于多人使用，优点是提供了大的交互空间支持灵活的群组工作，使得群组能够同时创建内容。对可共享见面的早期研究，主要集中在交互问题上。一个关键的研究问题是，当团体使用自己的设备工作时，共享界面是否可以促进新颖的和增强的交互形式。一个好处是更容易分享和更公平的参与。核心的设计问题，包括显示器的尺寸、方向和形状，是否会影响协作。用户研究表明，与垂直桌面相比，水平桌面在合作的小组中支持更多的轮转和协作工作，而提供更大尺寸的桌面不一定能提高小组的工作效率，但可以鼓励更多的分工。 实物界面使用基于传感器的交互，其中物理对象与数字表示相结合。当个人操纵物理对象时，其由计算机系统通过嵌入在物理对象中的观测机制来检测，从而引起数字效应；另一种类型的实物界面是物理模型被叠加在数码台面上，移动桌面周围的物理碎片会导致桌面上发生数字事件。现在已经建立了许多实物系统，目的是鼓励学习设计活动，提供娱乐性和完成协作。一个关键的设计问题，是在物理活动和效果之间该使用什么样的组合？这包括根据已经操作的物理工件如何确定提供数字反馈的位置，数字媒体的类型和布局在很大程度上取决于使用实物界面的目的。另一个关键设计问题是，使用什么样的物理工件来使用户能够以自然的方式执行活动。 物理和数字世界已经被诸如增强现实的方式所连接，其中虚拟表示叠加在物理设备和对象上，而增强现实则将现实世界的视图与虚拟环境的视图相结合，了。现在增强现实应用程序可用于很多情境中，从教育到汽车导航，其中数字内容覆盖在地理位置和对象上。在设计混合现实环境和增强现实时，一个关键的研究问题是数字增强应该采取何种形式，应该何时何地出现在物理环境中。信息需要突出，但不能分散用户在现实世界中持续活动的注意力。 对于可穿戴界面的设计关注点主要是舒适度。关键的可用性问题是用户控制嵌入衣服中的设备方式，使触摸，语音，或者更传统的按钮和拨号。 无人机是远程控制的无人驾驶飞机的一种形式，目前存在的一个伦理问题是，是否可以创建在行为上向人类或动物般的机器人，将机器人看作宠物或人，提出了是否鼓励这种拟人化的道德问题；另一个伦理问题是，是否可以接受未经许可使用无人机拍摄一系列图像或实地的视频。 脑机界面提供人的脑部和外部设备之间的通信路径，用户经过训练集中于该任务。几个相关的研究项目已经发现这种技术如何用于辅助和增强人类认知或感觉运动功能。BCI的工作方式是检测大脑中神经功能的变化。 2. 发展趋势 NUI（自然用户界面），是人们能够通过使用他们的声音、手和身体，以与物理世界交互的相同的方式与计算机进行交互，其代替了键盘和鼠标。自然用户界面，允许用户对机器讲话、触摸他们的表面、在空中做出手势、在垫子上跳舞，检测脚的运动以及通过微笑后的反应等等。自然是指他们利用我们所学到的日常技能，例如说话、写作、打手势、行走和拾取物体的方式。在理论上相比学习使用GUI，NUI应该更容易学习与映射到人们与世界的交互中。所谓的自然用户界面可能不像图形用户界面那么自然，它取决于任务用户和情境。 然而，设计很少的手势来映射一组控制功能是很困难的，即使这些功能可以被系统准确识别，同时也很容易被公众了解和记住。手势、语音和其他类型的NUI不会取代GUI作为交互界面设计的新面孔。此外，已经证明新的姿势语音和触摸界面，对于视力受损的人非常有效。 使用大脑、身体、行为和环境传感器，现在可以实时捕获人们的认知和情绪状态的微妙变化，促进了人机交互的新发展。它还允许信息用作连续和离散输入，潜在地使得新输出能够进行匹配，并且在任何规定时间都可以与人们可能想要会需要的事物保持一致。然而，脑、身体和其他传感器数据与GUI数据不同，未来的研究需要考虑如何充分利用这些更微妙的输入类别，以实现新的交互方式。在实践中哪种交互界面最合适最有用，最有效最有吸引力最受支持，将取决于多种因素的相互作用，包括可靠性社会接受性因素伦理和位置因素。 作为任何类型交互设计基础的一个重要问题是如何向用户呈现信息，以便他们能理解其真正进行的活动。情景感知或监控人的新界面引发了越来越多的数据伦理问题。