通关英语，再战中文，网易有道AI团队首战中文语法错误诊断大赛夺冠

对于英语学习者来说，机器自动批改作文技术已经不再陌生，而全球人工智能专家们正在攻克更具挑战性的堡垒——中文作文批改。

12月初，第六届中文语法错误自动诊断大赛（Chinese Grammatical Error Diagnosis，以下简称CGED）公布最终成绩，作为首次参赛的队伍，有道AI自然语言处理（NLP）团队在比赛中的语法纠错Top3赛道斩获冠军，并且在另外两个赛道（语法纠错Top1、错误定位）位列前三，这也标志着有道AI在中文作文批改上取得的又一重大进展。

（首次参赛的网易有道AI团队拿出了一份亮眼的成绩单）

CGED大赛已经走到第六年，比赛的方式是由计算机自动对外国人写作的中文句子进行错误的检测和纠错，分为检测是否有错误、错误位置、错误类型、纠错等共计6个赛道。来自国内外14支团队参与了今年的比赛，包括科大讯飞、阿里、上海交大、南京大学、外研社、日本东京都立大学、台湾朝阳科技大学和新华社等，科大讯飞和阿里更是前三甲常客。

英文语法错误诊断：有道已实现全面产品落地

AI作文批改技术在英语学习上的应用，网易有道早已实现落地。

2020年年中，网易有道将AI作文批改功能正式落地于网易有道词典App，随后在有道精品课初中英语秋季系统班中成功应用，用户反馈良好。

近日，网易有道推出“有道写作”，将原有内嵌在网易有道词典App的AI作文批改功能，延伸至网页浏览器、Word插件、PC词典等端口，满足用户的多场景使用需求。

AI作文批改受益于有道在神经网络机器翻译任务上的多年数据积累和快速更迭的深度学习技术，使用了基于Transformer架构的核心引擎，能够对用户的英语作文进行评分、评语和纠错，有效解决了不同年龄段英语学习者的自助学习的需求。

中文难于英文：语文作文批改面临更高技术壁垒

相比于英文，中文语法纠错任务的研究还较为早期，无论是任务本身的特点，还是数据的积累都与英文有较大的差异。

一方面，中文字符连写，传统的语义理解及分析的方法基本上都需要依赖于分词等前置处理模块，而存在错误的文本会放大语言的歧义性，带来基础模块识别质量的下降；另一方面，中文的语法不像英文有较为严格的规则，相对更为随意和复杂，不容易通过定义规则来处理。和英语语法纠错任务相比，比赛方能够提供的中文训练数据是非常有限的，因此很难直接使用较为复杂的深度学习模型充分学习建模。

尽管有道AI团队在智能批改纠错方面有较长时间的积累，该任务对技术团队来说仍然是不小的挑战。”

以一段小学生作文为案例：

“人工智能只有通过积累足量的语料后，才可以理解复杂度高的语法错误，进而才能作为产品功能落地。”网易有道首席科学家段亦涛表示，网易有道在教育和学习场景之下深耕多年，在OCR（光学字符识别）、NMT（神经网络翻译）、语音识别技术等方面都已经有良好的技术落地成果，且用户口碑和体验一直好评不断。

机器批改作文：Precision（精确率）在工程实践中更具意义

值得注意的是，有道AI团队在本次比赛中的语法纠错项目中，在CorrectionTop3和CorrectionTop1综合指标（F1）分别获得第1和第3名的情况下，对应的Precision（精确率）要明显高于其他参赛队伍。这在教育实践场景当中对用户体验更为重要。

（CorrectionTop1中的Precision数值对比图）

（CorrectionTop3中的Precision数值对比图）

比赛综合指标F1兼顾了Precision与Recall（召回率），作为模型精确率与召回率的一种调和平均。前者代表参赛系统给出的所有修改片段中，片段被正确修改的比例；后者代表在所有需要被正确修改的片段中，参赛系统修改的片段占的比例。

有道在Precision上的绝对领先，是源于有道AI写作助手的设计理念：错误的修改建议将误导用户进行不正确的修改，从而大大影响用户的体验。而且，在用户本身缺乏辨别能力的业务场景（如：低龄儿童的教育业务）中，该问题还会被进一步放大。

因此，在英文语法纠错任务（如：CoNLL-2014和BEA-2019英文语法纠错任务）中，通常会采用F0.5作为评价指标。该指标的计算方法与F1指标类似，区别在于相比于Recall，该指标赋予了Precision更高的权重。

在CGED获奖之前，网易有道曾试水了第七届NLPCC中的“中文语法错误修正”共享任务比赛，力压包括阿里、北京大学团队在内的5组全球知名研究团队，斩获冠军。在技术优势积累、K12业务拓展的加持下，网易有道在语文作文修改领域的技术升级进展飞速。

目前，网易有道的产品矩阵中已经布局了不少针对CSL（以中文为第二语言）学习者的课程和应用。段亦涛表示，除了设计面向中文学习者的学习工具，未来网易有道还可以与中小学校合作，实现辅助老师进行作文批改等功能，进一步扩大有道AI技术在K12业务上的应用场景。