人机协同

《人机协同》引入面向新型人工智能应用的人机协同概念，系统介绍人机协同理念与机制，并通过智慧餐厅与服务机器人、交互式图像分割等场景应用及发展人机协同技术。在前沿技术方面，深入介绍互补人机协同、混合人机协同、多人多机协同、人机协同中的伦理与安全等人机协同的核心内容。在应用实践方面，《人机协同》结合营销智能国家新一代人工智能开放创新平台建设，按照人机交互、人在回路、机器服务、人机混合系统的路线，通过实际案例，完整介绍人机协同体系。

吴信东，教授，合肥工业大学大知识科学研究院院长，明略科技集团首席科学家、明略科学院院长，国家特聘专家、长江学者、海外杰青、IEEE Fellow、AAAS Fellow，营销智能国家新一代人工智能开放创新平台负责人，国家重点研发计划“大数据知识工程基础理论及其应用研究”首席科学家，教育部“大数据知识工程”重点实验室（合肥工业大学）主任。

目录
“新一代人工智能创新平台建设及其关键技术丛书”序
前言
第一篇 基础知识篇
第1章 人机协同的背景 3
第2章 人机协同理念 7
2.1 基本定义与机制 7
2.2 人机协同的发展与趋势变革 8
2.2.1 人机协同与人工智能交替发展 8
2.2.2 人机协同与人工智能相互驱动发展 10
2.2.3 人机协同与人工智能深度协同发展 12
2.3 人机协同基础知识支撑 13
2.3.1 机器学习基础 14
2.3.2 深度学习 22
2.3.3 强化学习 31
2.3.4 知识图谱 35
2.3.5 计算机视觉 39
2.3.6 自然语言处理 47
2.4 本章小结 53
第二篇 前沿技术篇
第3章 互补人机协同 57
3.1 互补人机协同概念 57
3.2 互补人机协同场景 58
3.2.1 医疗机器人 58
3.2.2 智能制造 64
3.3 交互人机协同概念 68
3.4 交互人机协同场景 83
3.4.1 智慧城市 83
3.4.2 医疗辅助诊断 92
3.5 本章小结 99
第4章 混合人机协同 100
4.1 人类控制 100
4.1.1 人类监督 100
4.1.2 混合系统 100
4.2 基于规则/技巧的协同 102
4.3 人在回路 103
4.3.1 人在回路的概念 103
4.3.2 人在回路的基础 104
4.3.3 主动学习的引入 105
4.3.4 人在回路、机器学习与人机交互 108
4.3.5 机器学习辅助人工与人工辅助机器学习 110
4.4 人类知识 111
4.4.1 知识图谱的概念 111
4.4.2 知识图谱的构建 112
4.4.3 知识抽取 117
4.5 混合人机协同场景 120
4.5.1 医学图像分割 120
4.5.2 知识图谱微调 122
4.6 本章小结 124
第5章 多人多机协同 125
5.1 多智能体系统与多智能体决策 125
5.1.1 多智能体技术 125
5.1.2 协同多智能体系统 128
5.2 人类行为建模 131
5.2.1 马尔可夫决策过程 131
5.2.2 模仿学习 134
5.3 高效通信与交互 135
5.3.1 目标驱动的通信学习 135
5.3.2 类自然语言的通信学习 138
5.4 多人多机协同场景 140
5.4.1 HAO智能系统 140
5.4.2 城市大脑 144
5.4.3 智慧餐厅与服务机器人 153
5.4.4 智能家居与智慧养老 156
5.4.5 智能制造 159
5.5 本章小结 162
第6章 人机协同中的伦理与安全 163
6.1 人机协同系统中的伦理问题 163
6.1.1 人工智能时代的伦理问题 163
6.1.2 伦理风险与挑战的学理透视 164
6.1.3 建构和谐共生的伦理关系 165
6.2 安全可信的人机协同系统 166
6.3 人机协同系统的公平性 169
6.4 本章小结 169
参考文献 170

第一篇 基础知识篇
　　第1章 人机协同的背景
　　18世纪以来，人类已经经历了三次工业革命。第一次“蒸汽时代”，蒸汽机的诞生引领了农耕文明走向工业文明。第二次“电气时代”，电力和发电机驱动了钢铁、铁路和石油化学等重工业的兴起。第二次世界大战之后开始的第三次“信息时代”，电子计算机的发明启动了信息共享和资源交流的全球化进程。每一次工业革命都颠覆性地改变了人类文明发展的进程，从民众生活到国际关系都得以重新塑造。历史的车轮还在滚滚向前，人工智能(artificial intelligence)正在以迅雷不及掩耳之势席卷全球，开启了“人工智能时代”的第四次工业革命，而人机协同实现复杂问题求解将成为人工智能时代的一个主要标志。人机协同技术旨在集成人类智能和人工智能，由人类和机器人一起组成团队，自主交互，协作共赢。
　　人工智能研究和开发具有“智能”的计算机，旨在模拟和延伸人类智能，机器人是人工智能的一个应用领域。随着人工智能能力的不断提升，机器可以进行一些传统的人力劳动工作；与此同时，机器人技术的进步，也扩大了人工智能与现实世界交互的深度与广度。人工智能技术可能会给个人和社会带来新的机会，但是它同时也给现阶段靠劳动力生存的人们带来威胁。人工智能驱动下的自动化正在颠覆劳动力市场，劳动力市场也在随之做出调整。整个20世纪末期，技术变革不断通过各种不同方式产生作用。计算机和互联网的出现增加了相对生产力，这被称为技能偏向型技术进步。
　　未来，我们很难预测人工智能会对哪些职业产生冲击。因为人工智能不只是一种特定的技术，它是应用于不同任务的技术集合。基于当前人工智能发展的轨迹，可以进行一些具体的预测。以前，机器人大部分进行一些重复的机械性工作，如组装、削面等，但*近机器人还学到了更多技能，如做菜、看护患者、卖东西等。德国一个名为PR2的机器人，跟着指南网站WikiHow学会了煎薄饼和做比萨。软银、阿里巴巴、富士康开发的情感机器人Pepper在日本推出了企业版，据介绍，企业版的Pepper会预设一系列程序，让Pepper带有一身工作技能去上班，例如跟附近的人打招呼、做调查问卷或策划书、展示商品或者图像、接待客人、给来访者登记等。因此，受教育程度较低的工人比受过高等教育的工人更可能被自动化取代，换句话说，越机械、越单纯用体力、越不动脑的工作越容易被代替。
　　当人们试图与机器人共事时，许多冲突都来自双方对彼此的不了解，如果机器人能够理解它可能对人类情绪造成的影响，就有望与人类和谐地共同生活。MIT TR35(《麻省理工科技评论》“35岁以下科技创新35人”)得主、加利福尼亚大学伯克利分校助理教授Anca Dragan认为，机器人与人工智能的正确观点应该是机器人试图优化人的目标函数。机器人不应该将任何客观的功能视为理所当然，而应该与人类一起去发现他们真正想要的是什么。人在进行复杂运算和精确操作时，需要机器的协同处理，由人类负责对柔性、触觉、灵活性等要求比较高的工序，机器人则利用其快速、准确的特点来负责重复性的工作。计算机运算复杂性数据的效率远远高于人脑的效率，而且运算量也是人脑远远不能比拟的。计算机运行处理数据很快，但是不会随机应变，缺乏人类的常识；人脑有思维能力、推理能力，但是，数据处理和运算能力并不突出。计算机和人脑互相结合，会在处理事物的路上向前更进一步。
　　站在机器和人类两者之间，如何形成人机交互的良好协同，机器需要做更多的算法优化，人要找到更适应机器的工作场景模型。狭义层面的人机融合，是指人类将自己的神经系统与计算机等机器相连接，以达到弥补人类感官、运动缺陷的效果，甚至还可能实现将人类意识与计算机人工智能融合的结果。人工智能与机器人的高度结合，有望发展出能够改变生命本身的技术，使人类与机器进一步融合，进而加强人类(特别是残疾人和老人)的机能，提升人类的生活质量，提高学习者的效率和增强学习动机，实现人机跨载体的协作学习。
　　不过，广义的人机融合还包含人机协作，人与机器之间不再是主仆关系或替代关系，而是伙伴关系。人同时操控多个机器人协同工作，可以提高效率，增加灵活性；人与机器人协调互动，不仅会提高机器人的加工精度和加工速度，还能增强机器人的自我学习功能。机器人发展的下一个阶段中，人机共融的模式将成为主流。德国菲尼克斯电气(中国)有限公司副总裁杜品圣表示，“未来的自动化制造，不是机器换人、工厂无人、机器造人，而是机器助人、工厂要人、智能学人。”
　　未来的人工智能技术将基于多模态交互，能够认知整合包括文本、图像、声音等在内的各种信息，从而使人机交互变得更自然、更精确、更稳定。要实现人工智能的多模态交互，需要进行跨模态研究，包括机器记忆、预测与数据校准、知识抽取、推理、归纳、表达和自主学习等。
　　随着人口老龄化，劳动力成本不断增加，智能机器人逐渐成为各大国家政策扶持的对象，智能机器人开始走下人工智能理论的云端，越来越“接地气”。智能机器人的适用范围已经大量覆盖了医疗、农业、金融、军工、物流、家政、教育等领域。
　　信息技术的高速发展使人类的生产生活发生了翻天覆地的变化。在智能时代的背景下，计算机技术广泛地融入人类生活的方方面面：移动互联网的普及使人们可以时刻在线上交流；触屏交互技术极大地便利了人类对工具的无障碍使用；3D电影、虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)眼镜等产品技术兴起，使人们能足不出户地体验到媲美现实的数字世界。高科技成果不仅为人们带来了便捷和快乐，而且极大地促进了人机交互技术的发展。与此同时，人工智能的发展进入井喷期：深度学习在图像识别、语音识别等领域取得了瞩目成绩，基于强化学习的围棋应用AlphaGo连续击败了国际顶尖的围棋职业选手，引起了学术界的广泛关注。
　　作为这个时代*具变革性的力量之一，人工智能的突破使机器能更好地理解人的意图，满足人的需求。人工智能改变人与机器的协同方式，影响人们的生活，重新定义人与机器的关系，而传统人机协同技术并未因为人工智能所取得的成就得到同步发展，智能时代下各种新型交互协同方式的出现使得以多媒体为媒介的传统人机协同产品无法很好地适应新的需求，传统人机协同基础理论已无法支撑人机交互应用场景的变化带来的新问题，人工智能的发展为人机协同的发展提出如下新挑战。
　　(1) 主动协同。机器的主动协同是指在对用户心理、行为状态及所处场景等综合识别的基础上，主动地应对用户需求。长久以来，人机协同一直延续着人类“输入”、机器“反馈”的循环模式，人类始终是主动的，机器始终是被动的。随着语义理解、图像理解等人工智能认知技术的提升，机器应逐步建立起对用户和场景的全方位识别网络，不断对用户画像进行学习，从而准确地把握用户需求，基于此提供贴心化的服务，从而有效地提升用户的生活效率和生活品质。
　　(2) 情感协同。在人机协同过程中，机器基于表情、文本等方式的情感识别能力已有很大的提升。目前市面上出现的如情感陪护机器人、智能音箱、智能汽车等已经初步具备一些情感识别能力，可以根据不同的场景、对象，进行适当的情感交互协同。但是人的情感状态往往是通过语言、表情、动作等方式综合传递的，机器应实现多维度的情感识别融合机制，从而具备更加完善的人类思维理解、情景理解能力，情感交互能力也应更智能、更体贴。
　　(3) 多场景衔接协同。人工智能技术的进一步成熟和落地，以及人工智能与大数据、物联网的有机结合使得人工智能将从单品智能、独立场景转向互联智能、场景融合进阶。未来，机器应实现互联互通，更进一步融合场景实现多场景衔接。VR/AR等人机交互技术应促进线上和线下、虚拟和现实的连接，加速扩展到更多产业和实体，AR中现实与虚拟将从简单叠加到有机融合，实现用户可以源自自然意识进行人机协同。
　　由此可见，人与机器迫切地需要被定义一种新的关系模式，走向更为紧密的深度融合，实现人机协同。具体来说，机器在学习过程中的主体性作用应逐渐增强，智能设备应该能够分担认知活动，应从学习系统的工具、中介性角色演变为纳入学习系统本身的主体性角色。与此同时，人的认知不仅依赖自身，也依赖机器。人机协同智能设备应改变传统人机交互中信息加工完全取决于人类记忆系统和其中知识表征和储存的方式，分担原本全部由学习者大脑完成的信息存储、信息感知、信息识别、规律认知等认知活动，通过底层的信号采集、信号解析、信息互通、信息融合及智能决策等关键技术，使人脑和机器真正地成为一个完整的系统。人机协同智能设备将通过使用人类智慧形成的数据训练机器智能模型，并与人类智慧集成来实现人机融合智能，进而达到人机协同的目标，人机协同能改善、弥补学习者原有认知能力的不足，突破个体认知极限。
　　本书对人机协同这一领域的相关知识、技术及应用场景进行了全面系统的阐述与介绍。在后续章节中，第2章引出人机协同的核心理念，从宏观层面总结人机协同的基本定义与机制，展望人机协同领域的发展与变革趋势，并以人机协同基础知识为支撑，为展开后续相关人机协同技术做铺垫。第3～5章循序渐进地系统论述人机协同的概念、目标、技术和应用场景。第3章从初级的互补人机协同入手，着重描述互补人机协同和交互人机协同的概念与应用场景。第4章更深层次地探讨混合人机协同中的人机交互技术，展开讨论人类与机器的混合系统，包括人类控制、基于规则/技巧的协同、人在回路、人类知识等，并通过多个混合人机协同场景进行应用示例。第5章介绍人机协同的真正目标——多人多机协同，以多个多人多机协同场景为出发点，从多智能体系统与多智能体决策、人类行为建模以及高效通信与交互三个方面进行深入讨论。*后，人机协同中的伦理与安全是人机协同系统中不可或缺的一部分，同样也是近年来人工智能关注的热点。伦理问题、安全可信的人机协同以及人章性等问题，是第6章的重点讨论内容。