本书共7章。第1章介绍了机器学习的分类、强化学习的学习机制以及深度强化学习的概念；第2章通过强化学习的基本概念、马尔可夫决策过程和贝尔曼方程、贝尔曼方程的求解方法、无模型控制等介绍了强化学习的基本算法；第3章通过深度学习、卷积神经网络(CNN)、循环神经网络(RNN)介绍了强化学习中深度学习的特征提取方法；第4章通过行动价值函数的网络表示、策略函数的网络表示介绍了深度强化学习的实现；第5章通过策略梯度法的连续控制、学习算法和策略模型等，介绍了深度强化学习在连续控制问题中的应用及具体实现等。