AAAI 2025丨TeleAI多篇论文入选,赋能化学、医疗交叉学科研究

2025-02-25 15:40:55爱云资讯3836

2月25日,人工智能国际顶级学术会议AAAI 2025开幕,在此次大会论文录用结果中,中国电信人工智能研究院(TeleAI)科研团队10篇论文成功入选,不仅覆盖大语言模型偏好对齐、视觉模型参数微调、正激励噪声(PI Noise)采样和表征对齐等技术方面的突破,更包括人工智能与化学、医疗的交叉研究等多个方向的系列创新。

AAAI会议由国际先进人工智能协会主办,是人工智能领域历史最为悠久、最具影响力的顶级学术会议之一。本届大会共收到12957篇有效投稿,最终3032篇文章脱颖而出,接收率为23.4%。

让AI读懂化学反应方程式

人工智能技术的创新在基础科学研究中的作用越发凸显。随着大语言模型(LLM)的快速发展,AI对科学文献和技术专利的理解、分析和描述正得到广泛应用。LLM在化学任务中的重点之一是进行“分子文本描述生成”(Molecule Captioning),即将分子的相关信息转化为自然语言文本描述,并在其之间进行对齐。然而,现有工作主要集中在单分子上,化学反应和自然语言文本之间的一致性在很大程度上仍然未被探索。

作为专利和文献的重要组成部分之一,对化学反应进行准确描述不仅可以更好地理解化学反应的过程,且有助于促进化学合成和逆合成的自动化相关研究。

为此,TeleAI联合华东师范大学等单位提出了一项“ReactGPT”框架,集成了基于化学反应的指纹检索模块、特定领域提示设计模块、两阶段上下文调优模块。

基于化学反应的指纹检索模块利用“化学反应指纹”高效且精准地检索相关反应,并通过计算不同反应指纹之间的相似度,快速从大规模的化学反应数据库中找出与目标反应最相关的若干个反应实例。这种检索方式基于反应的内在特征,而非仅仅依靠简单的关键词匹配,大大提高了检索的准确性和效率。同时,它为后续的上下文学习提供了高质量、有针对性的示例,使得模型能够基于这些相似反应更好地学习化学反应与文本之间的关联模式。

特定领域提示设计模块聚焦设计适用于化学领域的提示信息,以引导大语言模型更好地理解和处理化学反应与文本的对齐任务。该模块会根据化学知识的特点和任务需求,精心设计提示内容。这些提示可能包含特定的化学术语解释、反应条件说明、文本生成的格式要求等。通过精心设计的提示,能够有效激发大语言模型在化学领域的潜力,让其生成更符合化学逻辑和规范的文本描述,从而提升模型在化学反应相关任务中的表现。

在两阶段上下文调优模块中,第一阶段,利用从指纹检索模块获取的相关反应示例和特定领域提示设计模块生成的提示信息,让模型在上下文中初步学习化学反应与文本的对齐模式。第二阶段,对模型进行进一步的精细调优,结合更多的反馈信息和实际任务的要求,调整模型的参数,使其能够更准确地生成化学反应的文本描述。通过这种两阶段的调优方式,逐步提升模型对化学反应的理解和文本生成能力,以适应不同复杂程度的化学反应与文本对齐任务。

ReactGPT框架旨在弥合化学反应与文本之间的差距。实验结果表明,与先前模型相比,ReactGPT在解决化学反应问题和生成结构正确的高质量文本方面表现出色。

让AI理解放射科医学偏好

放射学报告对医生的诊断意义重大,但人工撰写不仅负担重且易出错,现有的自动报告生成技术RRG(Radiology Report Generation)方法多基于监督回归或注入额外知识,生成报告难以契合医生多元偏好。

为应对这一挑战,TeleAI提出多目标偏好优化(MPO),将预训练的报告生成模型根据多个人类偏好进行调整,具体通过多维奖励函数来微调,并通过多目标强化学习(RL)进行优化,从而使模型能够在不同的偏好条件下生成符合特定医生偏好的报告。

研究通过引入两个新的模块来实现与人类偏好的对齐。首先,设计了一个偏好向量融合(PVF)网络,它位于标准的Transformer编码器和解码器之间,利用多头注意力机制和残差连接将偏好向量与编码后的图像特征融合,实现条件生成。其次,提出了一个多目标优化(MOO)模块,该模块使用偏好向量表示偏好权重,并通过点积操作将多维奖励与偏好向量线性组合,形成加权的多目标奖励函数。然后,通过强化学习(RL)算法优化这个加权奖励函数,引导RRG模型与偏好向量对齐。

在训练阶段,模型通过随机采样多样化的偏好向量并优化加权多目标奖励函数进行对齐,从而在整体偏好空间上获得最优策略。在推理阶段,模型能根据给定的偏好向量生成符合特定偏好的报告,无需进一步微调。这种方法不仅能够生成符合人类偏好的报告,而且在单个模型内无需额外的微调即可适应不同偏好,实现了在两个公共数据集上的性能达到了最先进的水平。

人工智能与化学、医疗等交叉学科的结合,能够为各领域的研究工作带去新方法和新视角,为解决复杂问题提供更全面的思路和方向,为培养复合型人才提供实践土壤。未来,TeleAI将结合中国电信在算力、数据、应用场景等多方面的优势,持续推进这种跨学科的合作模式,推动人工智能研究不断开创新的局面。

相关文章

人工智能技术

更多>>

人工智能公司

更多>>

人工智能硬件

更多>>

人工智能产业

更多>>
关于我们|联系我们|免责声明|会展频道

冀ICP备2022007386号-1 冀公网安备 13108202000871号

爱云资讯 Copyright©2018-2024