深度学习与围棋

封面

版权信息

版权声明

内容提要

战罢两奁分白黑，一枰何处有亏成（译者序）

序

前言

资源与支持

致谢

关于本书

目标读者

学习路线图

关于源代码

关于作者

第一部分 基础知识

第1章 走近深度学习：机器学习入门

1.1 什么是机器学习

1.2 机器学习示例

1.3 深度学习

1.4 阅读本书能学到什么

1.5 小结

第2章 围棋与机器学习

2.1 为什么选择游戏

2.2 围棋快速入门

2.3 更多学习资源

2.4 我们可以教会计算机什么

2.5 如何评估围棋AI的能力

2.6 小结

第3章 实现第一个围棋机器人

3.1 在Python中表达围棋游戏

3.2 跟踪游戏状态并检查非法动作

3.3 终盘

3.4 创建自己的第一个机器人：理论上最弱的围棋AI

3.5 使用Zobrist哈希加速棋局

3.6 人机对弈

3.7 小结

第二部分 机器学习和游戏AI

第4章 使用树搜索下棋

4.1 游戏分类

4.2 利用极小化极大搜索预测对手

4.3 井字棋推演：一个极小化极大算法的示例

4.4 通过剪枝算法缩减搜索空间

4.5 使用蒙特卡洛树搜索评估游戏状态

4.6 小结

第5章 神经网络入门

5.1 一个简单的用例：手写数字分类

5.2 神经网络基础

5.3 前馈网络

5.4 我们的预测有多好？损失函数及优化

5.5 在Python中逐步训练神经网络

5.6 小结

第6章 为围棋数据设计神经网络

6.1 为神经网络编码围棋棋局

6.2 生成树搜索游戏用作网络训练数据

6.3 使用Keras深度学习库

6.4 使用卷积网络分析空间

6.5 预测围棋动作概率

6.6 使用丢弃和线性整流单元构建更深的网络

6.7 构建更强大的围棋动作预测网络

6.8 小结

第7章 从数据中学习：构建深度学习机器人

7.1 导入围棋棋谱

7.2 为深度学习准备围棋数据

7.3 基于真实棋局数据训练深度学习模型

7.4 构建更逼真的围棋数据编码器

7.5 使用自适应梯度进行高效的训练

7.6 运行自己的实验并评估性能

7.7 小结

第8章 实地部署围棋机器人

8.1 用深度神经网络创建动作预测代理

8.2 为围棋机器人提供Web前端

8.3 在云端训练与部署围棋机器人

8.4 与其他机器人对话：围棋文本协议

8.5 在本地与其他机器人对弈

8.6 将围棋机器人部署到在线围棋服务器

8.7 小结

第9章 通过实践学习：强化学习

9.1 强化学习周期

9.2 经验包括哪些内容

9.3 建立一个有学习能力的代理

9.4 自我对弈：计算机程序进行实践训练的方式

9.5 小结

第10章 基于策略梯度的强化学习

10.1 如何在随机棋局中识别更佳的决策

10.2 使用梯度下降法修改神经网络的策略

10.3 使用自我对弈进行训练的几个小技巧

10.4 小结

第11章 基于价值评估方法的强化学习

11.1 使用Q学习进行游戏

11.2 在Keras中实现Q学习

11.3 小结

第12章 基于演员-评价方法的强化学习

12.1 优势能够告诉我们哪些决策更加重要

12.2 为演员-评价学习设计神经网络

12.3 用演员-评价代理下棋

12.4 用经验数据训练一个演员-评价代理

12.5 小结

第三部分 一加一大于二

第13章 AlphaGo：全部集结

13.1 为AlphaGo训练深度神经网络