从人机交互HCI到人机智能交互技术HCII：最全人机交互技术盘点！只看这一篇就够了

朝菌学园ZhaoDesign

编辑于 2024年10月30日 19:31

追踪前沿技术热点，探索新技术与设计的交叉创新机会，是我们设计专业同学的学习日常。无论大家是在备战考研，还是计划保研&留学，寻找工作机会，或者是单纯对人机交互设计、用户体验设计等专业知识感兴趣，技术知识学习也都是必不可少的一环。

一般来说，设计师学习的技术知识可分为两大类——

一类是以新兴应用工具等设计应用技巧为主，比如chatGPT、Claude.ai（大语言模型基础工具）；Midjourney、Stable Diffusion（AI生图工具）；Gen3、Kling ai（AI视频生成工具）；Cursor（AI编程工具）；Dify（AI 工作流与程序搭建）等工具的学习，帮助我们实现全新的设计落地方案。

ChatGPT Canvas 模式学习

第二类，是以基础理论与新兴专题知识的学习，如机器学习、深度学习等人工智能基础理论知识（以及基础的编码语言等知识）；AR & VR、人工智能交互、车联网、智能硬件、可穿戴设备等前沿专题知识学习，为我们构建具体的设计情景与设计方案奠定认知基础。

案例百科班一二期专题合集

本篇推文，我们参考一篇基于文献计量学方法的综述性论文——《人机智能交互技术、方法与应用现状及发展趋势：基于文献计量学的研究》，来为大家提炼当今学界关于【人机智能交互（HCII - Human–Computer Intelligent Interaction）】的专业知识点。

这篇论文对2000年至2023年发表的5,781篇HCII论文进行了深入分析，全面梳理了HCII的核心概念和关键技术，还总结了这一领域的研究热点和未来趋势，通览一篇即可收获浓缩了5000+论文的人机智能交互前沿知识，干货满满，值得大家收藏学习哦～～

什么是人机智能交互HCII？

人机智能交互（HCII）建立在传统的人机交互（HCI）基础上，整合了诸如自然语言处理（NLP）、机器学习（ML）等先进技术，旨在研究人类与计算机之间的智能交互方式，是一种新兴的交叉学科。

在传统的计算机科学中，人们通常只关注如何让计算机更好地执行任务，而在HCII的研究中，则更注重于如何让人与计算机之间更加自然地交流和互动。这种交互方式不仅需要考虑人的认知特点和行为习惯，还需要结合各种先进技术，如机器学习、深度学习、自然语言处理等，来实现智能化的交互体验。

HCII是一个涉及多个学科领域的综合性研究方向，包括计算机科学、心理学、神经科学等多个学科。对于交互设计专业的同学来说，在人工智能蓬勃发展的当下，了解HCII的基本概念和发展趋势是非常有必要的。

论文图例1:人机智能交互中AI与HCI的关系

人机智能交互

应用程序架构的五个层次

在数字化时代，设计师们不再只是创造美观的界面，更是在探索如何让这些界面更加智能、更加自然地与人交流。在进行智能人机交互设计时，我们需要了解其应用程序的框架，论文展示的HCII的五个层次的应用程序架构值得我们作为设计时的理论依据——

论文图例2:HCII的五个层次的应用程序架构

我们先用一个设计实例来帮助大家理解，HCII的五层架构就像是制作一个"智能管家"的过程，用智能音箱为例来解释——

当你你对智能音箱说"播放轻音乐，并把灯光调暗"这个指令时，首先，底层的"传感器层"就像是智能管家的"耳朵"，通过麦克风收集你的声音。接着，"信号处理层"就像是管家的"听力理解系统"，把收到的声音转换成文字指令。然后，"智能决策层"就像是管家的"大脑"，它明白"轻音乐"通常配合"暗一点的灯光"更舒适，会做出相应决策。

"用户界面层"就像是管家的"表达系统"，它会通过声音回答"好的，为您播放轻音乐并调暗灯光"，同时手机上的APP界面也会相应更新。最后，"应用层"就是管家真正执行的动作 - 音乐响起，灯光变暗，营造出舒适的环境。这五层像是一条流水线，让用户的简单指令最终变成了智能、贴心的服务。

从交互设计的角度来看，这个架构展示了一个完整的人机智能交互系统是如何层层构建的：

从底层的数据采集（Layer1 传感器层）
到中间的数据处理和决策（Layer2 信号处理层和 Layer3 智能决策层）
最后到用户可以看到和使用的界面（Layer4 用户界面层）
最终形成完整的应用（Layer5 应用层）

虽然交互设计师的主要工作在用户界面层，但要设计出更好更合理的交互体验，就需要了解整个架构框架，知道系统在每一层都能做什么，有什么限制，这样我们的设计才会有理有据，环环相扣。下面我们来一一拆解每一层的具体含义——

Layer1 传感器层（Sensor Layer）

这是最底层，是系统的"感官"：
麦克风：收集声音
摄像头：捕捉图像
眼动追踪器：跟踪用户眼球运动
各种传感器：收集温度、光线等环境数据

Layer2 信号处理层（Signal Processing Layer）

这一层负责处理各种输入信号：
语音识别：把说话声转换成文字
人脸识别：识别并分析人脸
手势识别：理解人的动作
图像处理：处理摄像头拍摄的画面

💡 这一层相当于系统的"感知系统"，把各种原始信号转换成计算机可以理解的信息

Layer3 智能决策层（Intelligent Decision-making Layer）

这是系统的"大脑"，负责理解用户意图并做出决策
包含三个关键技术：
机器学习：让系统能从数据中学习规律
深度学习：更复杂的学习方式，可以处理更难的问题
自然语言处理：理解人类语言的技术

Layer4 用户界面层（User Interface Layer）

这是用户直接接触的交互界面，包含三种主要交互方式：
图形界面：就像手机APP上的按钮、图标等
语音界面：可以用说话的方式与设备交互
手势界面：通过肢体动作来控制设备

💡 这层的设计直接影响用户体验，是交互设计师最常打交道的部分

Layer5 应用层（Application Layer）

这就像是成品展示层，展示了最终用户能看到的完整应用场景
比如智能家居系统（可以控制家里的灯光、温度等）
智能交通系统（比如自动驾驶、智能红绿灯等）

了解完人机智能交互系统的框架后，为了方便大家直观地一览论文中提到的技术名词与HCII应用场景，并将其作为参考应用于个人的设计方案的落地探索过程中，我们以思维导图的形式进行了梳理。

人机智能交互

有哪些值得关注的知识点？

HCII热点技术与应用领域知识点总结

论文利用CiteSpace进行文献计量学分析，确定了过去五年中HCII的主要研究领域，包括数据处理、脑机接口、多模态情绪识别、动作识别和语言处理。论文进一步总结了HCII的关键技术与研究热点，当代人机智能交互（HCII）研究的主要中心如下——

多模态和情绪识别技术

多模态和情绪识别技术是HCII领域的一个活跃研究方向。未来的HCII系统将更加注重开发多样化的数据库，并实现更高的准确性和更好的用户体验，目标是使人类与计算机之间的对话和合作更加自然，类似于“人对人”的互动。

这些数据库能够捕捉到人类交流的复杂性，包括语言、声音、面部表情、手势和生理反应。通过结合这些不同的数据源，HCII系统将能够更准确地理解和响应用户的情绪状态，从而提供更加个性化和自然的交互体验。

例如，一个多模态的情感识别系统可以在用户与客户服务机器人交互时，通过分析用户的语音语调、面部表情和语言选择来识别用户是否感到沮丧或满意。这种对情绪的敏感性可以使系统提供更有针对性的响应，比如在用户感到沮丧时提供主动的情绪支持或需求询问。

MEmoR：一种使用情感生物标志物的多模态情绪识别技术

新型交互媒体和场景

新型交互媒体和场景的开发正在改变我们与技术的互动方式。虚拟现实(VR)眼镜和其他沉浸式技术提供了一种全新的交互体验，使用户能够沉浸在一个完全由计算机生成的环境中。

这种技术的应用不仅限于游戏和娱乐，还扩展到了教育、训练和远程工作、非遗活化等领域。例如，在医疗培训中，VR可以提供一个模拟的手术环境，让医生在没有风险的情况下练习复杂的手术程序。此外，随着增强现实(AR)技术的发展，我们预计会看到更多的交互场景，其中虚拟信息和对象被无缝地融入到用户的现实世界中，从而创造出一种混合现实的体验。

ANIMA RES

人工智能算法的进步

自然语言处理（NLP）已经成为了人工智能的主流，深度学习算法的不断改进使得计算机自然语言更加稳健、准确和多样。

自然语言处理(NLP)和深度学习算法的进步正在推动HCII领域的发展。NLP技术使得计算机能够更好地理解和生成自然语言，这对于改善语音识别、情感分析和机器翻译等应用至关重要

深度学习算法，特别是卷积神经网络(CNN)和循环神经网络(RNN)，已经在图像和语音识别方面取得了显著的成果。这些算法的改进不仅提高了识别的准确性，还使得系统能够处理更复杂的任务，如理解上下文和用户意图。例如，一个先进的NLP系统可以分析用户在社交媒体上的帖子，以提供有关公众情绪和趋势的洞察，这对于市场研究和品牌管理非常有价值。

Cloud Campaign 推出的

脑机接口开发

脑机接口(BCI)技术的发展为HCII领域带来了革命性的变化。BCI技术允许用户通过脑电波信号直接与计算机通信，这对于身体有缺陷的用户来说是一个巨大的突破。神经学与HCII的整合有望使身体有缺陷的患者通过EEG信号与外部设备进行交互。

通过BCI，这些用户可以控制轮椅、假肢或其他辅助设备，并提供多模态神经互动游戏和智能康复设备等应用，而无需任何物理输入，这将显著提高患者的生活质量。

论文脑机接口在中风后运动、认知和言语康复中的应用

此外，BCI技术在娱乐和教育领域的应用也在不断扩大，例如，多模态神经互动游戏可以为用户提供一种全新的沉浸式体验，同时也可以作为认知训练和康复的工具。随着BCI技术的成熟，我们预计会看到更多的创新应用，这些应用将进一步提高用户的独立性和生活质量。

智能人机交互系统

未来的HCII系统将变得更加智能和复杂，智能用户界面(IUI)将能够提供多种感官选项，包括视觉、听觉、触觉甚至嗅觉，甚至可能变得去物理化，从而提供更加自然和直观的用户体验。

这些系统将能够根据用户的行为和偏好自适应地调整其界面和功能，从而提供更加个性化的体验。例如，一个智能的家居控制系统可以学习用户的日常习惯，自动调整家中的温度、照明和音乐，以创造一个舒适和高效的生活环境。

AirTouch 和 Zimi 集成融合了舒适、节能、智能家居

随着技术的进步，我们甚至可能看到去物理化的界面，用户可以通过手势、眼神甚至思维来控制设备，这将为HCII领域带来全新的交互方式。

Neuralink

智能人机交互模式

论文也总结了HCII中的五种主要交互模式——语音交互、视觉交互、手势交互、多模态交互和情感交互，并将其与传统HCI进行对比，为未来HCII的技术进步提供了一条路线图。

其中，高级算法的使用将使HCII系统更加直观，从而实现人类与计算机之间更复杂和自然的交互。多模态情绪识别领域的快速进展将使人类与计算机之间的互动更加微妙和有效，进一步缩小人与人之间和人与机器之间的沟通差距。

为帮助大家在基础知识积累与案例学习过程中遇到的痛点问题，学园开设了案例百科班，选用行业/学界关注的前沿热点专题，以专题化、模块化的形式，将琐碎的知识点案例串联起来，提炼案例中包含的用户需求、真实痛点、技术细节、设计思想、与能启发自己的灵感方向，并掌握专题案例与学习资源的搜索技巧，突破低效、机械地 “浏览” 与 “了解” 某一技术点或产品案例的学习方式。

案例百科班学员评价

如果大家希望更为全面系统地学习HCI人机交互的专业知识，学园也开设了【人机交互设计基础】系统课，开设智能感知、人机交互接口技术、IoT、XR、多元界面等专题板块，帮组大家补足HCI学习过程的基础。

人机交互基础课程大纲

扫码试听课程

人机智能交互

新兴行业与未来发展趋势

HCII新兴的应用程序和行业

HCII系统预计将在各种新兴场景和行业中找到应用。这些可以包括金融领域的智能客户服务、零售业中的智能购物车、城市设施的智能控制，以及在游戏产业中更具真实感和参与性的虚拟现实交互。

总之，HCII领域正在迅速发展，为研究和实际应用提供了广阔前景。先进的算法、新的交互媒介和跨学科方法的结合预计将彻底改变人类与计算机之间的交互方式，从而影响从医疗保健到工业制造等多个领域。

HCII发展趋势与社会贡献

本文预测了未来HCII更广泛的应用场景和更高的研究价值，特别是在多模态交互和情感识别方面。更准确的算法和模型、复杂的数据库以及智能用户界面的发展迫在眉睫。神经交互游戏、多感官交互和去物理化界面等创新正在涌现。

论文增强触觉感知和触觉反馈环作为实现沉浸式交互的人机界面

随着HCII继续发展，它有望提供更智能、更直观和更高效的交互方式，从而对人类社会各个领域的进步做出重大贡献。综上所述，HCII正处于其发展的关键点，具有改变人类与技术互动方式的巨大潜力。随着它继续整合 从人机交互和人工智能的进步来看，HCII有望在医疗保健、工业制造等各个领域掀起革命。

“人工智能X设计”时代

设计师如何学习技术？

上文为大家总结介绍了《人机智能交互技术、方法与应用现状及发展趋势：基于文献计量学的研究》论文中值得我们设计师关注的知识点。最后，我们参考《写给设计师的技术书:从智能终端到感知交互》（作者：薛志荣）一书的第一章节的观点，为大家再补充设计师如何学习技术的指南。

在数字化浪潮的推动下，设计师的角色正在经历一场革命性的转变。过去，设计师的工作往往局限于视觉和创意的表达，但随着技术的发展，设计师们开始意识到，掌握技术知识已成为他们职业发展中不可或缺的一部分。“设计师要不要学技术？”这个问题的答案在《设计师为什么要懂技术》一章中得到了明确的阐述。

作者指出，行业的改变和进步要求设计师不仅要有创意，还要懂技术，这样才能在竞争激烈的市场中脱颖而出。首先，让我们来看一个比喻：如果设计师是建筑师，那么技术就是他们的工具和材料。没有对工具和材料的深刻理解，建筑师就无法建造出既美观又实用的建筑。同样，技术是实现创意的关键，设计师需要了解技术，才能创造出既符合用户需求又技术可行的产品。

接下来，设计师们面临的另一个趋势是“全链路设计”的兴起。这意味着设计师需要掌握从商业分析到技术实现的全方位技能。“我们期待你是全链路设计师”，这不仅是对设计师能力的要求，也是对他们角色的重新定义。设计师不再只是创意的提供者，更是产品从概念到实现的全程参与者。

然而，技术的发展也带来了挑战。互联网泡沫和资本寒冬导致设计师供大于求，而新一代设计师和人工智能的崛起更是加剧了这一现象。“互联网泡沫、新一代设计师和人工智能同时带来的挑战”，这要求设计师们不仅要有创意，还要有技术能力，以适应不断变化的市场需求。

infotech推出的生成式AI构建路线图

最后，随着AR/VR、车联网、智能硬件等新赛道的出现，设计师们需要掌握的技术知识也越来越多。这些新领域的设计与传统互联网设计有明显区别，不懂技术的设计师很难把握设计的“度”。“AR/VR、车联网、智能硬件等新赛道的出现”，这要求设计师们不仅要有创意，还要有技术能力，以适应不断变化的市场需求。

总结来说，设计师为什么要懂技术？因为技术不仅是实现创意的工具，也是推动行业发展的动力。未来的设计师需要具备跨学科的能力，才能在竞争激烈的市场中脱颖而出。正如书中所说，设计师应该成为推动创新的关键角色，而这需要他们具备深厚的技术知识和计算思维能力。

参考资料：

https://link.springer.com/article/10.1007/s11042-023-18096-6

http://www.tup.tsinghua.edu.cn/Wap/tsxqy.aspx?id=09766701

https://viterbischool.usc.edu/news/2022/05/virtual-textures-i-cant-believe-its-not-wood/

https://www.1control.eu/blog/en/smart-home-or-home-automation-a-journey-between-differences-and-advantages/

https://www.airtouch.net.au/smart-home/

https://emgantennas.com.au/blog/building-a-smart-home-from-the-ground-up/

https://svn.bmj.com/content/7/6/541

https://www.nature.com/articles/s41467-022-32745-8

https://www.cloudcampaign.com/blog/how-to-leverage-ai-in-social-media

https://resources.magicleap.com/ja-jp/news/news/anima-res-makes-medical-education-more-interactive-and-engaging-with-the

https://www.sciencedirect.com/science/article/abs/pii/S0262885622001123

https://www.infotech.com/research/ss/build-your-generative-ai-roadmap

https://fortytwofficial.com/neuralink-ilk-insan-beyni-implantiyla-tarih-yaziyor/

领取论文文件与知识大纲

课程活动推荐

在第三期课程，我们计划邀请到清美信息艺术设计交叉学科（硕士毕业）&萨凡纳艺术设计学院（二硕在读）的学姐，带来游戏设计与游戏研究的案例解读，每周解锁一大专题，8周两月持续动态更新！

案例百科班第三期课程专题预告两月持续动态更新

游戏设计与游戏研究专题

游戏设计与游戏研究专题是本次课程的核心组成部分。课程会通过深入分析CHI、MIT MEDIALAB Research等顶级人机交互(HCI)会议和期刊，以及国际顶尖实验室的项目，为大家提供最前沿的游戏设计理论和实践知识。

课程也将结合案例，探讨如何游戏理论应用于游戏设计实践中，重点关注玩家体验、界面设计和交互方式的创新。通过真实的游戏设计案例分析，我们将学习如何将理论研究转化为实际的游戏设计解决方案，并详细拆解分析游戏设计项目中的【游戏机制设计】、【游戏策划撰写】、【游戏原型制作】以及【游戏开发】、【游戏测试】等流程。

课程也会介绍目前游戏设计中使用的最新工具和技术，如虚拟现实(VR)、增强现实(AR)和人工智能(AI)，鼓励大家探索社交游戏、教育游戏等新兴游戏类型，了解前沿的游戏设计项目如何利用新兴技术创造独特的游戏体验，将所学案例灵活应用到个人的设计项目或备考复习中。

注1：第三期课程专题与分享学长学姐名单持续更新中，分享专题内容以实际课程为准。

注2：第三期课程开课时间与正式报名方式将在近期公布。

感兴趣的同学-可以扫码填写报名意向表

开启报名后，填写报名表的同学报名课程将减免100元