创新技术领域取得突破性进展度小满三篇文章被CIKM录用

　　创新技术领域取得突破性进展度小满三篇文章被CIKM录用在金融服务领域，精准获客、成本控制、风险预测等各种复杂场景都离不开创新技术的支撑。度小满密切关注行业发展，布局前沿技术领域，不断加强创新技术在金融领域的应用落地。近期，度小满围绕预训练模型、用户表示、序列建模等领域撰写的三篇文章被CIKM录用，这为度小满今后的技术研究再添助力。

　　这次被录用的三篇论文，分别在预训练模型、用户表示、序列建模等NLP任务相关算法上取得突破性进展。其中，用于专家发现任务的ExpertBert模型，弥合了预训练目标与下游建模任务的差距，能够精准识别潜在的信贷需求；ENEF模型，基于非采样策略进行专家发现，增强了问题和用户表示的鲁棒性和稳定性，成为CQA领域兼具性能与效率的*优方法；DeepVT模型，全面有效地捕捉和融合视图和时序模式，使小微客群的行为预测更精准。

　　度小满团队提出的专家发现预训练语言模型ExpertBert，在预训练阶段有效地在统一了文本表示、用户建模和下游任务，能够使预训练目标更接近下游任务，在CQA用户表示方面做出了开创性贡献。

　　据悉，ExpertBert是**个在CQA领域探索专家发现预训练语言模型的方法，且在真实数据集上证明了模型的有效性和性能的优越性。目前，该方法已在度小满信贷获客场景中开展使用，其头部用信人数的召回相对提升了超10%。

　　ENEF可以从所有数据样本中更新模型参数，增强问题和专家表示的稳健性和准确性。值得注意的是，与大多数复杂神经网络方法相比，ENEF使用基础框架和少量参数，达到了更高的训练效率。经对比实验验证，是当前CQA非抽样专家发现模型中，性能*好且训练效率更高的*优方法。

　　DeepVT模型主要关注于用户建模的视图级信息，有效解决了用户画像建模中仅关单一的视图交互或时序信息的问题。该模型构建了2D半因果卷积神经网络（SC-CNN）和多算子注意力（MoA）两个模块。其中，前者可以同时高效地合成视图级别的交互信息和项目级别的时间信息；而后者在自注意力函数中综合不同的相似算子，可以避免注意力偏差，增强鲁棒性。

　　在创新技术领域，度小满成果显著：自创TranS模型在知识图谱「世界杯」OGB挑战赛中斩获榜首；多模态与排序等论文被ACM MM、CIKM等国际顶会录用度小满不断运用金融科技能力，深入挖掘用户的实际需求，为用户提供差异化金融服务。未来，在创新技术加持下，将有更多新的金融场景应运而生，持续的技术创新也将成为金融行业发展的原动力。

　　在金融服务领域，精准获客、成本控制、风险预测等各种复杂场景都离不开创新技术的支撑。度小满密切关注行业发展，布局前沿技术领域，不断加强创新技术在金融领域的应用落地。近期，度小满围绕预训练模型、用户表示、序列建模等领域撰写的三篇文章被CIKM录用，这为度小满今后的技术研究再添助力。

　　这次被录用的三篇论文，分别在预训练模型、用户表示、序列建模等NLP任务相关算法上取得突破性进展。其中，用于专家发现任务的ExpertBert模型，弥合了预训练目标与下游建模任务的差距，能够精准识别潜在的信贷需求；ENEF模型，基于非采样策略进行专家发现，增强了问题和用户表示的鲁棒性和稳定性，成为CQA领域兼具性能与效率的*优方法；DeepVT模型，全面有效地捕捉和融合视图和时序模式，使小微客群的行为预测更精准。

　　度小满团队提出的专家发现预训练语言模型ExpertBert，在预训练阶段有效地在统一了文本表示、用户建模和下游任务，能够使预训练目标更接近下游任务，在CQA用户表示方面做出了开创性贡献。

　　据悉，ExpertBert是**个在CQA领域探索专家发现预训练语言模型的方法，且在真实数据集上证明了模型的有效性和性能的优越性。目前，该方法已在度小满信贷获客场景中开展使用，其头部用信人数的召回相对提升了超10%。

　　ENEF可以从所有数据样本中更新模型参数，增强问题和专家表示的稳健性和准确性。值得注意的是，与大多数复杂神经网络方法相比，ENEF使用基础框架和少量参数，达到了更高的训练效率。经对比实验验证，是当前CQA非抽样专家发现模型中，性能*好且训练效率更高的*优方法。

　　DeepVT模型主要关注于用户建模的视图级信息，有效解决了用户画像建模中仅关单一的视图交互或时序信息的问题。该模型构建了2D半因果卷积神经网络（SC-CNN）和多算子注意力（MoA）两个模块。其中，前者可以同时高效地合成视图级别的交互信息和项目级别的时间信息；而后者在自注意力函数中综合不同的相似算子，可以避免注意力偏差，增强鲁棒性。

　　在创新技术领域，度小满成果显著：自创TranS模型在知识图谱「世界杯」OGB挑战赛中斩获榜首；多模态与排序等论文被ACM MM、CIKM等国际顶会录用度小满不断运用金融科技能力，深入挖掘用户的实际需求，为用户提供差异化金融服务。未来，在创新技术加持下，将有更多新的金融场景应运而生，持续的技术创新也将成为金融行业发展的原动力。