摘  要：

 人工智能（Artificial Intelligence，AI） 的快速发展为网络空间安全对抗提供了新的思路和 技术手段，然而 AI 在网络安全领域的应用将加剧网络攻防对抗的速度、烈度、复杂度。通过研究 基于深度强化学习的网络空间智能安全防护，探索了网络空间安全防御智能化问题的解决方法和 过程。此外使用深度学习提取网络安全态势数据特征，构建智能体，回报函数将网络攻击威胁度 作为奖惩引导学习，强化学习判断策略和动作好坏，通过在虚拟网络空间综合靶场训练学习获得 安全防护智能体和最优安全防护策略。

内容目录 ：

1　深度强化学习基础理论

2　基于 DRL 的智能网络安全防护

2.1　状态集合设计

2.2 　动作集合设计

2.3　回报函数设计

2.3.1　回报函数

2.3.2　基于动态贝叶斯的网络攻击威胁度评估

2.4    网络安全防护智能体训练过程

2013 年深度思考（DeepMind） 公司开发深度 学习和强化学习结合构建价值网络训练智能体挑战 雅达利 2600（Atari2600） 中的游戏。2016 年， 阿尔法围棋（AlphaGo）在围棋领域的成功是强 化学习领域的里程碑事件， AlphoGo 将深度学习和 强化学习结合构建价值网络和策略网络训练智能体，在对弈阶段采用蒙特卡洛树搜索。随后推出的阿尔法元（AlphaGoZero） 在 AlphaGo 的基础上将  策略网络和价值网络合并成一个深度神经网络进行  强化学习，在不使用已有知识经验的条件下自我训  练 3 天即击败 AlphaGo。Atari 游戏、围棋、国际  象棋都属于完美信息博弈，每个参与者可以在任何  时候