因子选股系列之九十五：DFQ强化学习因子组合挖掘系统-20230817-东方证券-39页.pdf

金融工程 | 专题报告 报告发布日期 2023 年08 月17 日 DFQ 强化学习因子组合挖掘系统 ——因子选股系列之九十五 证券分析师 杨怡玲 研究结论 yangyiling@ ⚫ 传统的Alpha 模型往往单独挖掘每个因子，在挖掘过程中只关注每个因子自身的选 执业证书编号：S0860523040002 股效力，忽略了单因子在应用中的组合需求。实际上我们更关注的是可以协同工作 证券分析师 刘静涵 并产生综合效果的因子组合。 0213211 liujinghan@ ⚫ 本文展示了一种新的因子组合挖掘框架，直接使用因子组合的表现来优化一个强化 执业证书编号：S0860520080003 学习因子生成器，最终生成的是一组公式因子集合，这些因子协同使用具有较高的 香港证监会牌照：BSX840 选股效力。这样做既能保留遗传规划算法公式化的优势，也能提升模型泛化能力， 适应多种股票池，还能大幅提升运算效率。 ⚫ 基于强化学习的因子组合生成模型，由两部分组成：1) Alpha 因子生成器：使用 Maskable PPO 模型生成动作，并以token 序列的形式生成公式化的Alpha 因子。 2) Alpha 因子组合模型：组合Alpha 因子，并给出奖励信号。这两部分互相依赖： UMR2.0——风险溢价视角下的动量反转 2023-07-13 因子生成器通过生成新因子提高因子组合的性能。因子组合模型的性能作为奖励信 统一框架再升级：——因子选股系列之九 号来优化因子生成器。通过不断重复此交互过程，提升因子组合的选股效力。 十四 ⚫ DFQ 强化学习模型分别在沪深300、中证500、中证1000 指数成分股内进行训练 集成模型在量价特征中的应用：——因子 2023-07-01 测试。采用2015.1.1-2018.12.