说到机器学习的前沿阵地，ICML 绝对是绕不开的标杆。在今年的 ICML 2019 上，支付宝不仅带去了多篇高质量论文，还组织了一场围绕“金融智能”的专题 workshop。现场气氛相当热烈，讨论一直延续到散场后。

从技术趋势来看，这次亮相传递出几个重要信号：

• 金融AI正在从“大规模数据训练”向“小样本高效学习”加速演进。
• 同时，向“数据隐私保护”方向加速演进。

会议期间，来自学界和工业界的专家们集中探讨了如何把前沿的机器学习技术真正落地到金融场景中。他们重点解决真实世界里的数据稀缺、模型鲁棒性等棘手问题。

在论文层面，支付宝AI团队这次贡献的研究方向非常有针对性：

• 强化学习的样本效率问题
• 分布强化学习的理论保障
• 高维贝叶斯推理的精度突破

每一篇都直击当前AI应用中的核心痛点。下面挑了三篇代表性研究，和大家拆解其中的关键思路。

Adversarial User Model for Reinforcement Learning Based Recommendation System

把强化学习塞进推荐系统，这个想法并不新鲜。核心优势在于能着眼用户长期满意度，而不是一次又一次地争取单次点击。但卡脖子的问题也很直接——强化学习太吃样本了。在线试错代价高，一个不小心就会把用户体验搞砸。

解决方案是什么？既然真实环境样本宝贵，那就先用生成对抗网络训练出一个“模拟用户”。在仿真环境里让推荐策略先练个熟手。等到上线时，根据真实反馈做微调即可。这样一来，对线上实时数据的依赖程度大幅降低，策略上线前的安全性也有保障。

这套思路在金融场景里尤其有价值——毕竟牵扯到资金和信任，任何一次糟糕的推荐都可能造成实质性影响。

Nonlinear distributional gradient temporal difference learning

再说分布强化学习。自从DeepMind的C51算法出来后，整个领域就开始重新审视“奖励”这件事。传统强化学习只盯着期望值，而分布方法则把长期奖励的整个概率分布都纳入考虑。想象一下，只关心平均收益和把赚赔的概率全盘算清楚，做出决策的精准度差别有多大。

但问题是，分布强化学习和神经网络搭配后，再用off-policy方式进行训练，收敛性就成了悬在头顶的达摩克利斯之剑。有没有办法既能享受分布信息带来的稳定和快速收敛，又能保证算法理论上靠得住？

这篇论文给出的答案是：把分布学习和梯度时序差分学习融合，把优化目标换成Distributional Mean Squared Bellman Error。这不仅在理论上开了一个口子，也为后续研究铺了一条新路。

Particle Flow Bayes Rule

最后聊聊贝叶斯推理。高维情况下的后验概率计算，一直是公认的大难题。原因很简单——积分维数一高，计算量和精度就跟着失控。更麻烦的是，很多金融场景中，观测数据是陆续到达的，后验概率需要反复迭代更新。

理想状况下，算法应该支持在线学习，不需要存下全部历史数据再做重新计算。针对这样的场景，研究团队提了一个很有意思的解决思路：粒子流贝叶斯定理。它本质上是一个基于常微分方程的贝叶斯算子。经过元学习训练后，这个算子能够以非常高的效率完成高维贝叶斯更新。

在多组经典的高维实验中，它展现出的后验估计精度和计算效率，相比现有算法都有明显优势。这就好比在弯曲的山路上，别人还在绕弯，你的车已经顺着一条预设的数学轨道直接滑向山顶——又快又准。

《夸克》非常好用的免费AI浏览器

下载APP查看