Releases: alibaba/x-deeplearning
Releases · alibaba/x-deeplearning
XDL1.2 Release Notes
New Features
1.性能优化
1.1 大batch/单样本海量特征场景性能优化
- 背景：XDL1.0侧重吞吐优化，采用one request per thread处理模型，能显著提高超高并发下的极限吞吐。但是在某些低并发/单个batch含有超多特征的场景下，这种单线程的处理方式会显著增加延迟。
- 优化方法：XDL1.2采用one request per thread及独立工作线程池两种处理模式，通过识别请求的特征数量自动选择合适的处理模式，达到吞吐和延迟兼顾的效果。
- 效果：在大batch/单样本海量特征场景性能提升超过100%
1.2 参数分配及通信优化
- 背景：XDL1.0采用动态rebalance参数分配策略保证了每个server io及cpu负载的均衡，从而使系统整体可以达到最高的性能。但是由于1.0中每个参数是独立存储，为了达到最高的通信和计算效率，内存分配难以在每个server保持均衡。随着参数规模的不断扩张，内存浪费的问题会越来越严重。
- 优化方法：
- 参数统一存储和平均分配：保证计算，通信，内存三者在所有server上的平均分布
- 请求合并：自动分析计算图中无依赖的通信节点，进行合并，减少通信次数，提高通信效率
- 效果：
- 简化用户使用成本，不再需要提供embedding参数大小的预估值，不再需要定期做rebalance
- 模型加载和保存速度提高4倍
- ps动态扩容支持
- 在海量特征的场景下，性能及扩展能力进一步提高
1.3 计算优化
- 优化embedding计算中unique，ksum，kmean等算子，单个算子性能提升3-5倍
- 优化XDL到Backend(TF)的内存拷贝，变为zerocopy
- 优化cpu和gpu之间的数据拷贝
2. 流式学习特性
XDL1.2提供一套完整的流式训练（包括实时和增量训练）解决方案，包含众多流式训练的核心特性，包括：
- 特征准入：XDL1.2提供按照概率过滤和基于CBF(counting bloomfilter)精确过滤两种方式
- 模型增量导出：XDL1.2支持模型增量导出，能有效减轻IO压力，更好的满足在线学习对模型更新时效性的要求
- 自动稠密特征学习：XDL1.2支持在训练阶段进行特征级别的counting统计，比如pv/click，从而大幅简化离线特征处理流程
- 特征淘汰：XDL1.2内置基于访问时间的淘汰策略，用户也可基于python接口进行个性化定制