全部
作 者：[加]RichardS.Sutton，[美]AndrewG.Barto
出 版 社：电子工业出版社
出版时间：2019年09月
定 价：168.00
I S B N ：9787121295164
所属分类： 专业科技 > 计算机/网络 > 人工智能
标 签：
《强化学习（第2版）》作为强化学习思想的深度解剖之作，被业内公认为是一本强化学习基础理论的经典著作。它从强化学习的基本思想出发，深入浅出又严谨细致地介绍了马尔可夫决策过程、蒙特卡洛方法、时序差分方法、同轨离轨策略等强化学习的基本概念和方法，并以大量的实例帮助读者理解强化学习的问题建模过程以及核心的算法细节。
《强化学习（第2版）》适合所有对强化学习感兴趣的读者阅读、收藏。
Richard Sutton（理查德?萨顿）
埃德蒙顿 DeepMind 公司的杰出科学家，阿尔伯塔大学计算科学系教授。他于2003年加入阿尔伯塔大学，2017年加入DeepMind。之前，曾在美国电话电报公司（AT＆T）和通用电话电子公司（GTE）实验室工作，在马萨诸塞大学做学术研究。
1978年获得斯坦福大学心理学学士学位，1984年获得马萨诸塞大学计算机科学博士学位，加拿大皇家学会院士和人工智能促进会的会士。
主要研究兴趣是在决策者与环境相互作用时所面临的学习问题，他认为这是智能的核心问题。其他研究兴趣有：动物学习心理学、联结主义网络，以及能够不断学习和改进环境表征和环境模型的系统。
他的科学出版物被引用超过7万次。
他也是一名自由主义者，国际象棋选手和癌症幸存者。
Andrew Barto （安德鲁?巴图）
马萨诸塞大学阿默斯特分校信息与计算机科学学院名誉教授。1970年获得密歇根大学数学专业的杰出学士学位，并于1975年获该校计算机科学专业的博士学位。1977年他加入马萨诸塞州阿默斯特大学计算机科学系。在2012年退休之前，他带领了马萨诸塞大学的自主学习实验室，该实验室培养了许多著名的机器学习研究者。
目前担任Neural Computation （《神经计算》）期刊的副主编，Journal of Machine Learning Research （《机器学习研究》）期刊的顾问委员会成员，以及Adaptive Behavior （《自适应行为》）期刊的编委员会成员。
他是美国科学促进会的会员，IEEE（国际电子电气工程师协会）的终身会士（Life Fellow），也是神经科学学会的成员。
2004年，因强化学习领域的贡献荣获IEEE神经网络学会先锋奖，并因在强化学习理论和应用方面的开创、富有影响力的研究获得 IJCAI-17卓越研究奖；2019年获得马萨诸塞大学神经科学终身成就奖。
他在各类期刊、会议和研讨会上发表了100多篇论文，参与撰写多部图书的相关章节。
译者简介
俞凯
上海交通大学计算科学与工程系教授，思必驰公司创始人、首席科学家。清华大学自动化系本科、硕士，剑桥大学工程系博士。青年千人，国家自然科学基金委优青，上海市“东方学者”特聘教授。IEEE 高级会员，现任 IEEE Speech and Language Processing Technical Committee 委员，中国人工智能产业发展联盟学术和知识产权组组长，中国计算机学会语音对话及听觉专业组副主任。
长期从事交互式人工智能，尤其是智能语音及自然语言处理的研究和产业化工作。发表国际期刊和会议论文 150 余篇，获得Computer Speech and Language, Speech Communication 等多个国际期刊及InterSpeech等国际会议的优论文奖，所搭建的工程系统曾获美国国家标准局语音识别评测冠军，对话系统国际研究挑战赛冠军等。
获评2014“吴文俊人工智能科学技术奖”进步奖，“2016科学中国人年度人物”，2018中国计算机学会“青竹奖”。
第1章 导论 1
1.1 强化学习 1
1.2 示例 4
1.3 强化学习要素 5
1.4 局限性与适用范围 7
1.5 扩展实例：井字棋 8
1.6 本章小结 12
1.7 强化学习的早期历史 13
第I部分 表格型求解方法 23
第2章 多臂赌博机 25
2.1 一个 k 臂赌博机问题 25
2.2 动作-价值方法 27
2.3 10 臂测试平台 28
2.4 增量式实现 30
2.5 跟踪一个非平稳问题 32
2.6 乐观初始值 34
2.7 基于置信度上界的动作选择 35
2.8 梯度赌博机算法 37
2.9 关联搜索 (上下文相关的赌博机) 40
2.10 本章小结 41
第3章 有限马尔可夫决策过程 45
3.1 “智能体-环境”交互接口 45
3.2 目标和收益 51
3.3 回报和分幕 52
3.4 分幕式和持续性任务的统一表示法 54
3.5 策略和价值函数 55
3.6 最优策略和最优价值函数 60
3.7 最优性和近似算法 65
3.8 本章小结 66
第4章 动态规划 71
4.1 策略评估 (预测) 72
4.2 策略改进 75
4.3 策略迭代 78
4.4 价值迭代 80
4.5 异步动态规划 83
4.6 广义策略迭代 84
4.7 动态规划的效率 85
4.8 本章小结 86
第5章 蒙特卡洛方法 89
5.1 蒙特卡洛预测 90
5.2 动作价值的蒙特卡洛估计 94
5.3 蒙特卡洛控制 95
5.4 没有试探性出发假设的蒙特卡洛控制 98
5.5 基于重要度采样的离轨策略 101
5.6 增量式实现 107
5.7 离轨策略蒙特卡洛控制 108
5.8 ? 折扣敏感的重要度采样 110
5.9 ? 每次决策型重要度采样 112
5.10 本章小结 113
第 6 章 时序差分学习 117
6.1 时序差分预测 117
6.2 时序差分预测方法的优势 122
6.3 TD(0) 的最优性 124
6.4 Sarsa：同轨策略下的时序差分控制 127
6.5 Q 学习：离轨策略下的时序差分控制 129
6.6 期望 Sarsa 131
6.7 最大化偏差与双学习 133
6.8 游戏、后位状态和其他特殊例子 135
6.9 本章小结 136
第7章 n 步自举法 139
7.1 n 步时序差分预测 140
7.2 n 步 Sarsa 144
7.3 n 步离轨策略学习 146
7.4 ? 带控制变量的每次决策型方法 148
7.5 不需要使用重要度采样的离轨策略学习方法：n 步树回溯算法 150
7.6 ? 一个统一的算法：n 步 Q(σ) 153
7.7 本章小结 155
第8章 基于表格型方法的规划和学习 157
8.1 模型和规划 157
8.2 Dyna：集成在一起的规划、动作和学习 159
8.3 当模型错误的时候 164
8.4 优先遍历 166
8.5 期望更新与采样更新的对比 170
8.6 轨迹采样 173
8.7 实时动态规划 176
8.8 决策时规划 179
8.9 启发式搜索 180
8.10 预演算法 182
8.11 蒙特卡洛树搜索 184
8.12 本章小结 187
8.13 第I部分总结 188
第II部分 表格型近似求解方法 193
第9章 基于函数逼近的同轨策略预测 195
9.1 价值函数逼近 195
9.2 预测目标 (VE ) 196
9.3 随机梯度和半梯度方法 198
9.4 线性方法 202
9.5 线性方法的特征构造 207
9.5.1 多项式基 208
9.5.2 傅立叶基 209
9.5.3 粗编码 212
9.5.4 瓦片编码 214
9.5.5 径向基函数 218
9.6 手动选择步长参数 219
9.7 非线性函数逼近：人工神经网络 220
9.8 最小二乘时序差分 225
9.9 基于记忆的函数逼近 227
9.10 基于核函数的函数逼近 229
9.11 深入了解同轨策略学习：“兴趣”与“强调” 230
9.12 本章小结 232
第10章 基于函数逼近的同轨策略控制 239
10.1 分幕式半梯度控制 239
10.2 半梯度 n 步 Sarsa 242
10.3 平均收益：持续性任务中的新的问题设定 245
10.4 弃用折扣 249
10.5 差分半梯度 n 步 Sarsa 251
10.6 本章小结 252
第11 章 ? 基于函数逼近的离轨策略方法 253
11.1 半梯度方法 254
11.2 离轨策略发散的例子 256
11.3 致命三要素 260
11.4 线性价值函数的几何性质 262
11.5 对贝尔曼误差做梯度下降 266
11.6 贝尔曼误差是不可学习的 270
11.7 梯度 TD 方法 274
11.8 强调 TD 方法 278
11.9 减小方差 279
11.10 本章小结 280
第12章 资格迹 283
12.1 λ-回报 284
12.2 TD(λ) 287
12.3 n-步截断 λ- 回报方法 291
12.4 重做更新：在线 λ-回报算法 292
12.5 真实的在线 TD(λ) 294
12.6 ? 蒙特卡洛学习中的荷兰迹 296
12.7 Sarsa(λ) 298
12.8 变量 λ 和 γ 303
12.9 带有控制变量的离轨策略资格迹 304
12.10 从 Watkins 的 Q(λ) 到树回溯 TB(λ) 308
12.11 采用资格迹保障离轨策略方法的稳定性 310
12.12 实现中的问题 312
12.13 本章小结 312
第13章 策略梯度方法 317
13.1 策略近似及其优势 318
13.2 策略梯度定理 320
13.3 REINFORCE：蒙特卡洛策略梯度 322
13.4 带有基线的 REINFORCE 325
13.5 “行动器-评判器”方法 327
13.6 持续性问题的策略梯度 329
13.7 针对连续动作的策略参数化方法 332
13.8 本章小结 333
第III部分 表格型深入研究 337
第14章 心理学 339
14.1 预测与控制 340
14.2 经典条件反射 341
14.2.1 阻塞与高级条件反射 342
14.2.2 Rescorla-Wagner 模型 344
14.2.3 TD 模型 347
14.2.4 TD 模型模拟 348
14.3 工具性条件反射 355
14.4 延迟强化 359
14.5 认知图 361
14.6 习惯行为与目标导向行为 362
14.7 本章小结 366
第15章 神经科学 373
15.1 神经科学基础 374
15.2 收益信号、强化信号、价值和预测误差 375
15.3 收益预测误差假说 377
15.4 多巴胺 379
15.5 收益预测误差假说的实验支持 382
15.6 TD 误差/多巴胺对应 385
15.7 神经“行动器-评判器” 390
15.8 行动器与评判器学习规则 393
15.9 享乐主义神经元 397
15.10 集体强化学习 399
15.11 大脑中的基于模型的算法 402
15.12 成瘾 403
15.13 本章小结 404
第 16 章 应用及案例分析 413
16.1 TD-Gammon 413
16.2 Samuel 的跳棋程序 418
16.3 Watson 的每日双倍投注 421
16.4 优化内存控制 424
16.5 人类级别的视频游戏 428
16.6 主宰围棋游戏 433
16.6.1 AlphaGo 436
16.6.2 AlphaGo Zero 439
16.7 个性化网络服务 442
16.8 热气流滑翔 446
第17章 前沿技术 451
17.1 广义价值函数和辅助任务 451
17.2 基于选项理论的时序摘要 453
17.3 观测量和状态 456
17.4 设计收益信号 460
17.5 遗留问题 464
17.6 人工智能的未来 467
参考文献 473
译者序
“思想总是走在行动的前面，就好像闪电总是走在雷鸣之前。”德国诗人海涅的诗句再恰当不过地描述了我第一次读到本书英文原版时的感受。
纵观人工智能技术的发展历史，就是一部思想、理论、算法、工程应用的成就交替出现而又交相辉映的历史。传统人工智能领域的三大学派：以逻辑推断和贝叶斯学习为代表的符号主义学派、以神经网络为代表的联结主义学派以及以控制论和强化学习为代表的行为主义学派，在不同的历史阶段都产生了很多绝妙的思想和理论成果，而技术应用的水平和范围也让它们受到的关注度起起落落。20 世纪 40 年代到 50 年代，行为主义的控制论因其在航空、航天、机械、化工等领域的巨大成功受到了极大重视，也独立产生了自动控制等技术学科，甚至连早期的计算机专业也都是从控制相关的专业中分出来的，但其应用往往不被认为是一种“智能”，因而长期独立发展，游离于人工智能研究者的视野之外；而20世纪50年代人工智能的概念被正式提出以后，符号主义的数理逻辑以及贝叶斯学习等经典机器学习理论一直一枝独秀，引领着人工智能的研究和应用，尤其是专家系统和经典机器学习理论的大量成功应用，使得它成为 20 世纪在人工智能研究中占据统治地位的主流学派；联结主义的神经网络的发展则一波三折，20世纪60年代类脑模型的研究和80年代反向传播算法的提出都使得神经网络的研究在短时间内出现过热潮，然而理论局限和应用瓶颈一次又一次地把神经网络的研究打入冷宫，直到21世纪初，深度学习理论被提出，借助GPU等计算机硬件的算力飞跃并与大数据结合，迅速产生了巨大的产业技术红利，使得联结主义一跃成为当前人工智能研究最炙手可热的学派。而无论技术应用如何风云变幻，产业发展如何潮起潮落，在人工智能的发展历程中，始终有一批思想的先行者以近乎顽固的执着态度在不同时代的“非主流”方向上进行着思考和探索，而正是这些执着甚至孤独的思想者，在技术应用热潮冷却后的暗夜里保留了火种，照亮了人类不停息的探索之路。
本书的两位作者Richard S. Sutton和Andrew G. Barto就是这样的思想先行者，而本书所介绍的“强化学习”，则是后深度学习时代技术发展的重要火种之一。以联结主义的神经网络为代表的深度学习毫无疑问是21世纪初人工智能领域的最重要、最具实用意义的技术突破之一，它为基础研究走向产业应用做出了巨大贡献，也相应地赢得了巨大的声誉和关注。然而，如火如荼的产业应用掩盖不住冷静的研究者们对人工智能未来走向的担忧，越来越多的研究者把深度学习的改良性研究视为工业界的应用技巧，而开始关注与联结主义的经典深度学习不同的人工智能范式探索。这其中，不同学派的思想融合产生了两个重要趋势。一个是将联结主义与符号主义融合起来，将神经网络的“黑箱学习”与先验知识、符号推理和经典机器学习结合，实现可解释、可推理、可操控的新一代“白箱学习”；另一个则是将联结主义与行为主义融合起来，将基于静态数据和标签的、数据产生与模型优化相互独立的“开环学习”，转变为与环境动态交互的、在线试错的、数据（监督信号）产生与模型优化紧密耦合在一起的“闭环学习”。强化学习就是“闭环学习”范式的典型代表，正如本书中所介绍的，它与传统的预先收集或构造好数据及标签的有监督学习有着本质的区别，它强调在与环境的交互中获取反映真实目标达成度的反馈信号，强调模型的试错学习和序列决策行为的动态和长期效应。这使得强化学习在人工智能领域的一些难题，如我本人所从事的认知型人机口语对话系统的研究中，具有无可替代的重要地位。而这些宝贵的思想，也为联结主义的深度学习在小数据、动态环境、自主学习等方面的进一步发展提供了重要的基础。在 AlphaGo战胜李世石之后，AlphaZero以其完全凭借自我学习超越人类在各种棋类游戏中数千年经验的能力再次刷新了人类对人工智能的认识，也使得强化学习与深度学习的结合受到了学术界和产业界的前所未有的关注。
《强化学习》的英文第2版正是在这样的背景下出版的。本书并非一本实用主义的算法普及材料，而是一本强化学习思想的深度解剖之作，是强化学习基础理论的经典论述。本书没有从复杂的数学角度对强化学习的相关理论和方法给以极其严格的形式化推导，而是从强化学习的基本思想出发，深入浅出而又严谨细致地介绍了马尔可夫决策过程、蒙特卡洛方法、时序差分方法、同轨离轨策略等强化学习的基本概念和方法，并以大量的实例帮助读者理解强化学习的问题建模过程以及核心的算法细节。自1998年第1版出版以来，本书就一直是强化学习领域的经典导论性教材。在第2版中，原作者又加入了很多新的内容，包括对深度强化学习应用（如 AlphaGo）的介绍，以及更新的思想和理解等，使得本书既保持对核心理论的清晰简明的讲解，又包含了与时俱进的最新应用成果和作者的最新思想。本书既可以作为一到两学期的强化学习课程的初级教材，也可以作为研究者自学的入门教程。在本书的翻译过程中，Richard S. Sutton 和 Andrew G. Barto还特意为中国读者写了一段寄语，其中提到希望本书的中文译本能够促进中国学生产生更多的新思想，为世界范围的强化学习的研究繁荣做出贡献。这一期望也使我倍感荣幸，希望本书的中文译本能够让他们的思想为更多的中国研究者所了解，并作为一个种子，在中国孕育并产生人工智能前沿研究的新思想。
本书的翻译得到了上海交通大学计算机系智能语音实验室同学们的大力支持，尤其是刘奇、陈志、陈露和吴越同学付出了大量的精力进行组织和排版整理，卞天灵、曹瑞升、杜晨鹏、黄子砾、金凯祺、兰鸥羽、李晨达、李大松、李福斌、李杰宇、李沐阳、刘辰、刘啸远、卢怡宙、马娆、盛佩瑶、王晨、王鸿基、王巍、吴嫣然、吴章昊、徐志航、杨闰哲、杨叶新、叶子豪、张王优、赵晏彬、周翔等同学都为本书的翻译做出了贡献。同时，也特别感谢苏州大学刘全教授，陆军军医大学王晓霞博士，清华大学刘乐章同学和北京交通大学张智慧同学对翻译稿进行了试读并帮助审校。本书的翻译也得到了电子工业出版社的大力支持，在此一并表示衷心的感谢。翻译过程难免存在疏漏和错误，欢迎读者批评指正。
俞凯
2019 年 4 月
装 帧：平装
页 数：548
版 次：2
开 本：16
纸 张：胶版纸
您现在的位置：
