从脑机接口到抗疫前线，医疗AI落地的几种未来 | 郑冶枫专访

作者：李中梁（智源社区）

2021可谓是AI医疗商业化元年，政策的利好和资本的聚集催生了AI在包括医学影像诊断、慢病管理、医疗信息服务等医疗领域各个子赛道的深度赋能。在更加前沿的领域，国内研究者在临床上的探索也从未止步，与马斯克的侵入式脑机不同，非侵入式脑电帽利用电极收集人脑复杂的电信号，瘫痪病人通过主动的运动想象获得康复的可能。在近日智源社区的访谈中，腾讯天衍实验室主任、AIMBE Fellow郑冶枫博士深入讲述了有关AI医疗落地的几种不同方向。

腾讯杰出科学家、腾讯天衍实验室负责人 郑冶枫

郑冶枫，腾讯天衍实验室主任、AIMBE Fellow。1998年，郑冶枫教授毕业于清华大学电子工程系并保送本系研究生，之后在美国马里兰大学电子与计算机工程系攻读博士学位。毕业后，郑冶枫博士加入西门子美国研究院，专注于智能医学影像分析。任职期间，郑冶枫博士发明了投影空间学习法，用于医学影像中器官的快速检测与分割，并于2011年获得美国专利授权，旋即获得当年的爱迪生专利奖。

采访对象：郑冶枫

采访人员：李梦佳、李中梁

整理：李中梁

腾讯天衍实验室：腾讯天衍实验室是人工智能实验室，聚焦于医疗AI，主要职责是支持公司医疗线的业务。整个实验室主要分为三个方向，一是医学影像分析，二是医学自然语言理解，三是医疗大数据方向。腾讯天衍实验室于2018年9月成立，实验室主要成员为“海归”博士，至今三年已申请300多项专利，发表60多篇论文，获得多次医疗AI竞赛的冠军。目前实验室在脑机接口等前沿研究上亦有布局。

研究历程

Q：郑博士，您能分享下您的研究经历，介绍下自己的代表性工作吗？A：从我98年本科毕业读研究生算起，至今有20多年时间。我一直从事的是计算机视觉相关的研究工作。我在硕士和博士期间做的是文本图像识别（OCR，optical character recognition）。进入医学图像领域也有些机缘巧合，在我博士最后进入西门子美国研究院实习，西门子公司生产CT，核磁共振，超声X光等高端的医学影像设备，硬件生产主要在德国，软件开发和图像的智能分析在美国研究院，最后转正留下，然后就进入这个领域了。

坦率地讲，我挺喜欢这个领域，首先医学图像分析和我之前做课题都属于计算机视觉不同分支，专业非常匹配，而且做医疗比较有成就感，我们做的东西能够给医生用，能够帮助到病人甚至减少医生的误诊，可以拯救病人生命，所以就一直坚持下来。我在西门子从06年工作到17年，在18年1月加入腾讯，至今也快4年了。

Q：从您的角度，国内外的科研环境有什么差别吗？

A：我觉得现在国内的科研环境和氛围在迅速提高，与国外的差距已经不大了。不过，不同的公司在文化上、能触达的用户群体上还是有比较明显的差异。在17年下半年猎头联系我说腾讯在组建医学影像分析团队时，我其实还没有做好准备。不过在和腾讯面试过程中，我发现这家公司非常踏实。在西门子的时候，主要是销售硬件，我们做的软件常常是作为赠品搭配。腾讯不做硬件，会有非常多的资源倾斜在软件开发上，很多产品的设计都是围绕我们AI的能力。例如我们刚拿到的新冠肺炎辅助诊断三类证，它的核心功能就是给定病人的CT图像，用AI算法去判断是不是肺炎。在腾讯还有一个好处是我们可触达的用户群体非常大。去年新冠疫情期间，我们上线了腾讯健康小程序，我们给十几亿微信用户提供自动匹配最近的发热门诊等功能。在工作节奏上，我认为不同的公司文化是有适应的过程。在美国基本上是一年一个项目，大家节奏不是特别快。在腾讯节奏会快一些，我们会根据项目发展形势及时调整，有的方向我们会重点投入，调整优先级。

Q：您的履历中提到了一种投影空间学习法，用于器官的检查和分割，可以给我们介绍些您这些年的代表性工作吗？

A：这个工作是我06年加入西门子就开始做的。当时深度学习还没有火起来，可以说是人工智能的寒冬。我们是最早一批把机器学习应用于医学影像分析的科研人员。当时机器学习的方法不是学术的主流，会遇到一些阻力，CT，核磁图像的器官、病灶的检测和分割主要使用非机器学习的方法。但是我们当时认为，传统方法下限很高，但是上限很低，这种方法可以调整的参数太少，以至于训练图像增加到成百上千，模型的性能也不会发生太大的变化。而机器学习，特别是现在流行的深度学习方法，下限很低但是上限很高。这种方法只有样本数量足够多的时候才能有效果，但是随着样本越来越多，效果也会越来越好。我们当时比较坚信机器学习在医学影像分割上会大有可为，有很多工作可以做，因此提出了一个叫投影空间学习法。

简单介绍这个方法。第一步是做器官的定位，我们用可以旋转拉伸的矩形框去表示这个器官。做完这一步后，我们大概就知道这个器官的位置、姿态和形状。第二步我们做精细分割。在这个方法中，第一步的预测结果很重要，如果没找准，后面分割都会偏掉。我们第一步预测的矩形框包含九个参数：三个参数代表物体中心位置；三个参数代表三个旋转方向；还有三个参数，表示沿不同的方向去拉伸长宽高。当时机器学习算法直接去预测这九个参数很难，所以我们当时把整个过程分成三步。第一步我们预测这个器官/病灶的中心，再预测它的旋转方向，最后预测长宽高。

因为最后预测结果是九维的高维空间的解，而我们每一步的求解都是在一个低维空间中，所以叫投影空间学习法。这个方法速度非常快，在CPU上仅需要零点几秒就能预测器官的姿态。第二步分割的时候我们也采用类似的方法，训练二分类器预测器官的表面位置进行器官分割。投影空间学习法非常通用，在内部有50多个项目使用了我的方法。后面我们也为这个方法申请了专利，2011年拿到了美国的托马斯.爱迪生专利奖。

技术路线与最新进展

Q：天衍实验室的技术路线主要有医学影像和自然语言处理，目前实验室在不同技术路线上哪些新的进展呢？

A：影像方面，我们最近取得的一个里程碑式进展就是我们的新冠肺炎CT辅助诊断系统在八月份获得了NMPA三类证，可以进入临床了。在互联网科技公司中我们是首个获得三类证。目前疫情何时结束还未知，我们希望开发的肺炎筛查系统可以在疫情防控，特别是常态化防控中发挥一些作用。在自然语言处理与大数据上，我们希望用知识图谱的方式，将医学场景中的许多知识表达出来，基于这个知识图谱进行推理。一个突破是，我们提出了知识自动提取的方式。我们让AI学习临床病例，构建知识图谱自动识别系统，进行关系抽取。我们的研究论文也发表于自然语言处理顶会ACL 2021，同时也在一些医疗AI竞赛上获得了冠军。

另一个突破是，图谱的对齐与合并。不同的业务可能会用到不同的图谱，比如“合理用药”这个业务会用到药物图谱，疾病辅助诊断这个业务会用到疾病和症状的图谱。每个业务各自往前发展，图谱不断地丰富，但我们最终需要把它们合并成一个大的医疗图谱，这样就可以有很大的通用性。这两个不同图谱有些节点代表同一个知识，比如说疾病的节点，在药物图谱和症状图谱中都出现了，我们就需要把这个节点自动找出来。人工去匹配很慢，因为图谱节点都是上百万、几千万级别的，所以需要AI自动地去做对齐合并。

Q：有关脑机接口，天衍实验室在这方面有什么进展可以介绍一下吗？

A：脑机接口更偏向前沿探索，我们大概在两年前就开始布局这个方向。脑机接口分为侵入式和非侵入式两种。天衍做的是非侵入式研究，具体来说是运动想象。我们用一种非侵入式的电脑帽，上面有64或者128个电极，被试者戴上电脑帽后可以去有意识地想象一些东西。对于瘫痪病人来说，可以去想象运动左手或者右手，我们用电脑帽收集数据，将这个数据进行解码，后面用AI算法来判断被试的意图，用识别结果来驱动相应的机器人完成动作。

其中的一个挑战是非入侵式的脑机接口收集到的电信号微弱，信噪比低。第二个是人与人之间的差异大。人脑在高速运转，除了在运动想象，还会下意识地完成很多功能，所以电信号非常复杂。目前我们主要用深度学习来进行信号的分解，成果也是受到业界的认可。去年12月我们参加世界机器人大赛，获得了脑控机器人赛道运动想象类的冠军。我们实验室主要是做医疗AI的，所以希望脑机接口可以应用于临床。

中风是中国死亡人数最高的疾病，四个去世的人中有一个就是因为中风。中风病人很多有一些肢体残疾，可能身体左边瘫痪了，左手动不了。在康复过程中，需要每天通过运动来刺激左手，通过一定量的运动刺激来重新建立肌肉运动功能，达到运动康复的目的。中风病人早期进行运动的时候，通常是家人帮助运动，不是主动式运动康复，效果不是太好。我们做的是主动式运动康复，患者带上脑电帽，脑机接口将想象信号解码驱动外骨骼机器人运动，进而患者通过非常努力的主动想象来刺激神经元接管运动控制的功能。目前我们的项目在天津环湖医院开展临床实验，得出严格的临床实验结果还需要时间。

临床落地Q：在临床落地方面，与医生的合作会给你带来哪些新的启发或者思路？

A：我在和不同医生合作的过程中还是会受到不同的启发。例如在自然语言理解的方向上，大家希望利用AI助力分诊，一些小病在基层医院解决，同时利用AI辅助诊断来提高基层医院的诊断准确率。在合作的过程中我们和医生沟通非常频繁，确实会挖掘出医生很多的需求，特别是很多之前没有关注到的需求。我们根据这些需求又新增了鉴别诊断和书写病历报告模块。

我们还开发了“合理用药”的功能。用药是比较复杂的，每个人病情不同，即使是同样控血压的药也有三五种。但是不同的药有不同的副作用，对某些病人来说，他可能不适合某种药。但是给病人开出合适的药需要花许多时间仔细看完病人的完整病历记录，否则有可能开错药。用AI分析病人的完整病历进行用药推荐就非常方便，并且最后是否用AI推荐的药由医生把控。在和医生的合作中我们发现需要让医生先真正用上我们的产品，再根据需求进一步迭代我们的产品。

Q：您和医学背景出身的人一起工作有什么感受，印象最深的是什么？

A：我主要的感受是现在人工智能能力被神化，比如说100%的准确率，超过人类专家，这个有点过了。

好处是能引起大家对这个行业的重视。但不太好的就是对人工智能的期待过高，这是一个很大的挑战。在和不了解人工智能的医生合作前，我们会把用户的期望稍微降低一点，告诉他们算法的优点和缺点。

比如现阶段的这个人工智能算法需要大量数据，需要高质量标注，算法的上限是由数据决定的。更多的训练数据，更高质量标注，算法可能还能够再往前走一点。还有就是算法在某个特定任务上，可以通过大量数据训练出一个非常好的模型，可是训练好的模型举一反三能力比较差，不能期望今天能识别这个疾病，然后明可以立马去识别下一个疾病。

我觉最重要的是两边在期待值层面能够达成一些共识。此外我们研究员跟医生聊之前要花一两天时间看一看相关的基础知识，熟悉医学术语。总体来说，我们跟医生合作还是比较愉快的，中国医生的合作态度比较开放。我在西门子的时候去过德国访问过，在美国好多医院我也去过，发现中国医生对合作创新的态度相对比较开放，会尝试用新的技术，美国、德国医生他会相对保守一点，因为他们的这套流程，做了二三十年，不太喜欢改变。如果说AI算法能帮他们减轻一些工作压力，中国医生还是非常愿意去尝试的。

Q：您和国内哪些知名的计算机或者医疗团队有过合作？

A：我们和高校的合作比较多。最近我们一个重要的合作是腾讯和钟南山院士团队在疫情期间建立了联合实验室。腾讯AI Lab和钟院士团队利用AI技术分析新冠病人入院后有多大的几率会恶化，有多大的几率会需要到ICU治疗。这样我们可以结合AI预测的结果，提前关注病情更容易恶化的病人，在资源和关照方面都对这些病人给予更多的关注，降低他们的死亡风险。这项工作发表在Nature Communications上。

我们和钟院士团队在疫情防控上也做了一些工作。我们分析了全球100多个国家的新冠疫情管控措施，大致分为八类。我们希望可以定量地评估各种防疫措施有多大几率降低新冠传播风险。我们分析了关闭学校、取消集会、取消国际航班等措施对新冠防控的作用。我们发现关闭学校是最有效的，类似的关闭工作场所、取消公众集会都大约会在采取措施的两周后开始生效，大概一个月左右达到效果最高峰，之后效果慢慢衰退。该研究最近刚刚被Value in Health期刊接收，这是我们实验室和钟院士团队合作的第二个项目。

第三个和钟院士团队合作的项目主要做流感趋势预测。我们希望可以提前一到两个星期预测流感高峰的到来，以采取关闭幼儿园等措施来进行干预。这个工作目前也取得了一些阶段性的成果，我们希望最终能形成实时的流感指数，每天或者每周公布一次，预测流感的爆发。

我们在脑科学领域的另外一个工作是和美国Allen Institute（艾伦脑科学研究所）以及东南大学脑科学研究院合作。这个工作开展了两年多，主要目标是解决一个科学问题：分析神经元。大脑中有大量神经元，神经元体积很小，连接关系又特别复杂，我们对大脑工作机理的了解还比较浅显。这个项目的目标就是绘制一个脑图谱，将脑中各个区域的神经元连接关系和形态都提取出来。这项工作成果刚刚发表于Nature正刊。

Q：未来五到十年，您觉得有哪些临床问题，或者说新的场景亟待解决？

A：我不是临床医生，我的回答可能会有些片面，我根据我的接触情况做一点预测吧。医院服务的线上化应该会是一个长期趋势，会持续地普及。因为目前医生短缺，导致病人就诊体验非常差。有个说法“三长一短”，“三长”指挂号时间长，候诊时间长，取药时间长，“一短”指就诊时间短，几分钟就结束了。

医生短缺是一个长期存在的问题。中国医生和美国医生是差不多数量的，但中国人口是美国的四五倍，这就导致了一个中国医生面对的病人是美国的四五倍，导致国内医生短缺。培养一个医生大约要十年的时间，很难从技术上解决“一短”的问题，但是可以用技术解决“三长”的问题。

比如智能挂号服务、交互问答环节推荐就诊科室、预问诊，并自动生成初步诊断报告给到医生，这些动作就是在试图把“三长”的问题变短。在诊断时医生可以做进一步追问，他可以花费更多时间和病人沟通，把医生这几分钟的就诊时间高效利用起来，这是我们预问诊的一个功能。腾讯在医疗支付上也为患者的便利考虑，使用电子医保凭证，把各种医保的信息拉通，不需要患者支付后自己走一遍医保报销途径。在取药环节，我们也响应国家的处方流转政策，患者并非只能在医院病房去等药，也可以把处方流转到连锁药店，或者自动配送到家中，这样可以方便患者

。Q：最后，您对从事医疗影像研究或者是医疗AI的青年学者有什么建议？

A：我谈谈个人体会吧，我在这个行业也将近20年了。首先作为研究员，应该追求推动前沿技术的发展。但是，医疗人工智能是一个应用学科，所以还是需要落地，解决一些实际临床问题，我觉得这样这个学科才能发展更好，如果太偏理论，轻落地，实际上整个行业很难发展起来，所以我觉得还是要跟医生多沟通，去挖掘医生的一些痛点，比如我刚才提到的智能辅诊项目，一开始只做某个疾病的判断，后来又应用于病历的质量控制、智能开药等。

和医生的交流促使你拓展研究领域，发现新的应用方向，最终你的项目、技术可能就落地到医院去了，我个人还挺看重这个的，因为一篇论文可能真的就躺在那儿了，最多有些人引用一下而已，研究成果没有对社会产生太多价值。这个算法真的用到医院去了，医生用了服务到、帮助到病人，个人会有更大成就感，所以我希望我们的青年研究员能够关注一下落地。

另外，医疗是一个很慢的行业，需要长期持续的投入。从idea，数据原型到最终落地，它是很漫长的过程，有些产品还需要严格的认证才能上市，所以我们就不能太追求短平快，几个月就想出结果，这个不太适合医疗领域和行业。当然，这里面就需要一些情怀，因为真的认可这份事业你才能真的去坚持，如果不够认可就可能会去追求其他快速的回报。这就是我个人的一些体会。