王士进

科大讯飞研究院副院长

智学网副总经理

以下是王士进的演讲实录：

各位嘉宾上午好！我是讯飞研究院的王士进。非常高兴能够根据汇的嘉宾一起分享讯飞在人工智能以及人工智能和智慧教育结合的一些一些看法，那么今天我的报告的话分为3个部分第一部分的话是简单介绍一下人工智能技术以及讯飞在他们做了一些工作。然后第二个部分和第三部分的话分别介绍人工智能在我们智慧教育中在考试以及教学这一场景一些应用。

讲到智能和人工智能，那么这里边的话关于这个定义其实很多，但是最基本的一个概念的话我们认为如果工智能的话是希望机器能够和人类一样能够去感知世界，能够去认知世界和能够去做一些决策。那么这样的一个卷积这样一个系统，那么今天正好我们也是AI人工智能这个6周年那么在一九，五六年的达到茅斯会议上的话有几著名的专家共同提出了人工智能这个概念，使得人工智能在这个60年，有一个非常快速的这样一个发展。那么在人工智能发展的这个路线上的话有3个阶段。那么第一个阶段话其实大家很清楚，就是从计算机的出现使得计算机在这种运算智能上计算机的话他能存会算，而且现在已经比我们人类要好很多。

那么第二部分的话是感知智能化我们刚提到我们智能的，其中有一部分是希望计算机，能够像人一样去感知外面的世界，所以说的话计算机能不能够做到能听会说能不能够做到？能看会记？其实现在，人工智能进展在这个感知，智能这个领域里面哈很多，技术已经做了，跟人类接近，甚至比原来更好。然后第三个部分的话是认知智能的话其实人工智能我们认为这个最高境界之一，那么他是希望计算机能够跟人类一样真正去思考，那么今天的话在这个第一部分的话，我分别会从感知智能和认识，能去介绍一下我们对人工智能的一些理解。

智能语音技术的话是感知智能一个非常重要的一个技术，那么我们说智能语音技术的话，其实我们是希望计算机，计算机可以和人一样去能听会说，那么这里面其实包含几个主要的技术，第一个是语音合成技术，那么合适的就实话，就是在于我们能够把一段文本能够变成一个语音。那么第二的话是语音识别的技术语音识别技术的话，那么它取决于就是我们把人说的话能够变成一段文本。然后第三部分的话是语音评测的句子，语音评测技术的话就是说它能够去判断你说的好还是不好。好，下面我分别来介绍一下，那么，通用的语音合成技术这块，其实大家应该比较清楚，讯飞做的其实还已经非常好了。但是这里面其实最难的就是怎么去做了个性化的话，个性化的话就是说将来我们每一个人你去去录简单的也许10分钟也许20分钟的语音，那么这个计算机就能按你一样的这种声音去发声任何的。根据你输入文本去发任何声音。那么这个地方我们举一个例子，比如说我们有段评书的合成。

比如说原来比如说我晚上的时候我们小孩经常喜欢要让我给她读的故事，如果说你晚上要忙于工作话，那么用这个计算机的个性化的合成的话，也许可以完成这样一个非常不错的这样一个任务。然后除了中文以外的话，其实讯飞在英文上面也做了非常好的一些合成的一些工作，那么从Challenge2006年开始参加 这个语音合成比赛一直到2016年我们是蝉联11届的冠军，那么这个，大家可以看一下我们今年系统的一个效果。他是去读一篇小说。所以大家可以看到这个小说里面其实有很多种感情因素的这种合成，跟我们听到正常的那种，机器和人因会有一些不太一样。

好，刚才讲的是那个语音合成的技术，那么其实在于语音在语音识别技术里面，我们说语音识别技术什么最难？语音识别技术的话他在我们正常的这种安静的静讲的场合里面其实比较容易，那么在我们反而是在我们，比如说在一些噪声比较大的场合，比如说我们在汽车车载的时候，大家可以知道在开车。这时候我们会有风噪，有胎噪，类似这种各种各样噪声，那么怎么在这里面能够把语音识别能够做到更使用合同？因为我们这个时候大家知道这个3楼这会正在开智能驾驶，这个，这个会议那么其实这种类型的技术的话，在这种跟智能驾驶辅助的话会起到一个非常好的作用，那么讯飞在，跟宝马奔驰还有通用3家公司最近1到2年组织这种国际比赛里面的话都拿下了第一名。也就说我们的技术的话将来会在大家各位开的如果您买这种类型的车的话，那么在上面都会看到讯飞的技术。好语音评测的话，讯飞从最开始做语音评测到现在，包括我们的普通话水平的等级。你考试包括我们的这个英语口语评测的这种技术，包括我们唱歌这种音乐评测技术的话，都已经在，各个地方都已经取得了一些使用效果。

比如说我们在某省高考的时候跟人工专家相比的话，大家可以看，无论是从这个相关度也好，还是从这个分差控制也好，其实做的都还非常不错。好，刚才我们讲的是跟语音相关的这种技术，那么后面我会讲一讲我们对认知智能的。那么我们说，认知智能是希望计算机能够像人一样去思考那么这个的话，其实刚才很多专家也提到，包括这个不仅仅是我们中国，或者我们讯飞意识到这个技术，那么在其实上在全球，无论是政府还是企业，都起动了这种类型的这种竞争，那么美国的话推动美国奥巴马政府的话，推动这种大脑图谱的这样一个计划，然后欧盟的话也推动了这个人类大脑项目，然后中国的话也在积极酝酿中国脑计划。那么怎么衡量一个机器的智能？其实有很多种方法，那么其中有一种方式也看到比如说在美国，在华盛顿的图灵中心的话，那么他们正在做一个美国的考试机器人，希望机器人能够通过美国的高中考试，然后在日本的话，那么他们从这个前几年启动的一个叫Todai高考机器人，那么他们希望这个机器人能够去跟学生去pk，然后能够让机器人能够考入东京大学那么其实中国也进行了一些类似重科研工作。在一四年的时候的话，讯飞正式启动讯飞超脑计划，希望计算机从我们最早做的能听会说来实现我们能理解会思考，并且牵头中国这个类人答题机器人的这样一项工作。

从一四年到现在，其实已经过了比较长的一段时间了，那么我们也做了很多一些工作。那么其中我来介绍几个其中的一些成果那么第一项的话我们，我们叫它叫aiui, aiui的话我因为我们知道随着现在万物互联，包括智能驱智能机器人类似这样的，那么我们人和机器之间的交互的话会变得越来越多，而且场景，你越来越复杂。那么在这种类型的场景里面怎么能够实现更自然和更智能的这种交互其实我们通过这个四五，大的技术来定义，第一个的话远场降噪,因为我们知道我们很多时候跟机器人交流，或者说跟你家里的智能交流时候，你不可能是用嘴去对着，这种，机器人去讲。所以说怎么能够在原厂能够把这个语音识别能够做得跟你近场一样好。这里面有很多技术，然后第二个的话是方言识别其实大家也很清楚，那么因为我们并不是每个人普通话都能讲这么好，那么机器要除了有方言的普通话，还希望能够在你方言味比较重的时候也一样能够理解你的语言。

那么第三个是全双工，因为大家可能看到很多市面上这种交互的这种包括语音交互的这样一些软件那么狠，多都是单工的单工的话，比如说有一些时候的话你一定要等他讲完以后才能去打断或者执行新的指令，那么这个话其实在交互过程中有很多一些不便捷的地方。第三个的话因为大家可能知道，因为我们其实目前识别率其实还蛮准，但是可能在识别过程中的话会有一些小的错误。那么这一块的话怎么能够用语义给一个人够去破解我们语音识别的最后障碍，能够使得我们这种交互会有更高的准确率？好，这是第四个，然后最后一个的话是因为我们知道在交互的过程中的话很多交互并不是一一轮对话能够完成的，所以说怎么能够在多轮的对话里面能够智能的理解你的意图？现在也是我们这个AIUI所研究的这样一些功能。

第二部分的话是我们在机器翻译方面做口语翻译方面做的一些工作，那么我们从2011年起动机器翻译，但是到在人工智能这个领域里面一个比较传统的话题，那么他能够把一个语言能够翻译成另外一个语言。那么讯飞的话那么坐了大概几年时间以后，我们在一四年和一五年的两个非常大的国际比赛里面的话都能拿到第一名，并且在我，我们灵犀在书法的这个软件里面的话都已经取得了应用。大家如果可以去下载我们这个灵犀或者输入法去试一试。我们刚才提到关于机器的智能里面其中有两个重要的功能，那么一个是篇章理解，一个是深度的推理那么在篇章理解的话，讯飞也做了一些非常好的一些工作那么我们是在业界首度提出了，一个全新的，怎么从篇章里面能够读懂篇章的语义，然后来回答你的问题。这一块的话其实大家可以想象在人工智能激竞争非常激烈，今天包括在这里任务尚包括固定卖的，那么他也是发明阿尔法狗的，这个机构包括facebook，包括这样一些机构都在这个数据集上一直在刷新这个结果。那么我们也是有幸能够取得比，别人会更高一点这种成果。然后还有一个的话怎么去把。常识进行更深度的这种推理，那么推理的话我们一直认为原来是人类的强项但其实现在基金，已做得也还不错。那么这个地方的话有一个最近有一个非常有名的比赛叫为了不落的全临泉那么他什么意思？

我举个例子比如说我们说这边有个例子，比如说父亲没法举起他的儿子，是因为它很重。那么我想问你这个地方，他只是父亲还是儿子？那么如果换一句话，如果说父亲没法举起他儿子是因为他很虚弱，那么这个地方它到底是他父亲还是他儿子那么其实这面的话，其实我们人其实非常好理解的因为你，我们在判断这个问题的时候，我们大脑里面或者说在我们学习过程中有很多这种常识，但原来即使这么简单的问题机器也很难去做到。那么最近的话，我们通过一些这种深度的实际上就是通过这种人工智能的一些模型，然后再结合我们这种大的语料，使得我们在面的话其实可以做到一些比较优秀的工作，包括也被mit这个听你口音也有所报道。好，除了我刚才讲到类似这样的话，其实现在人工智能在我们的智慧教育，智慧医疗，还有智慧城市、智慧客服等很多领域都会。就是大家如果说你平时去关注新闻的话，那么会大家会发现越来越多的行业和越来越多的领域会被人工智能的技术去进入。

好，第二部分的话我主要介绍人工智能技术在考试中的应用，那么刚才其实胡院长也提到中国教育的话，其实讲到有一个词就是竞争的话，其实也意味着考试，那么考试的话我们错作为从学生过来的话其实我最关心的就是老师能不能够评得准，能不能够给我更多的反馈意见？那么这一块的话，其实讯飞在上面的话就是，结合我们的这个手写识别，还有自然语言理解，还有我们的智能评测技术实现了这样一个基于，执笔作文的包括纸笔考试的，包括作文，包括翻译题，包括填空选择题，这样的一个自动化的这样一个评判系统。那么这样一个评判系统的话，那么它有几个好处，第一个的话他会大幅降低纸笔考试的这样一个人工阅卷量，这个大概是比较好想象。第二的话在于统一贫富的标准。那比如说我们以最近前段时间比较热门的这个阿尔法狗为例把阿尔法狗为什么能够战胜人类的这个围棋选手？那么就在于他能够固化在之前发生的很多的人类的知识，并且通过这个知识去演化形成新的知识，从而去战胜现在人类，那么其实我们也是一样，大家知道在评分的过程中的话，比如说我们在中高考，或者说在大学的时候集中等你考试里面那么，评分的任务其实是一个非常繁重的，那么在繁荣的过程中的话同时，由于不同老师水平层次不齐，而且他在这么长时间，要去评这么多作文的话，所以说其实不可能每个老师的状态会这么好。然后我们以前还有一些实验验证的话，即使老师是在一个非常认真的这样一个场合里面，你可能今天凭一个比如说作文或者翻译题和你明天翻译题其实会不太一样。那么这地方的话我们机器的价值在于我们能够固化老师在状态好的时候的这样一些知识，并且把这些知识能够复制到你所有题目的这样一个品牌里面，就类似于我们相信实际上相当是一个平分的阿尔法狗来取自动的去运转。那么好我们介绍一下我们刚刚讲的纸笔考试阅卷的一些技术。

那么其实涉及到这个阅卷的话有几个技术，第一个的话我们怎么能够在这种复杂的考不同类型的考试了。版面里面能够做到更复杂，这种把人分析，比如说比如说我们在。一个没有画横线的这样一个作文里面，怎么能够把这个作文切成一行同时能够识别，学生有没有做涂膜，有没有做起有没有做换行类似这样的，那么这个地方的话，大家可以看到我们程序会自动做一些标注在涂抹，在插入这个地方的话都会有些标记。这样的话其实对我大家可以想象对我们后面的评分和诊断都会有一些积极的意义。第二个的话我们会认出非常多的异常，作答包括非规范的比如说，这有个图，还有一些严重涂抹的，还有一些乱写的类似这样的话那么机器都能够，那么在一次考试验证我们在65万份试卷上剪出大概有1万份左右这样类型的试卷经过人工验证以后非常正确率机应该是全部正确。所以这块的话其实现在大规模考试里面的话，卉，非常实用。第二个的话我们把版面切出来，以后的话怎么能够把图变成文字这一块的话讯飞？放心地提出了那么基于人工智能和深度学习，这样一个网络能够在这种学生任意的手写里面能够达到96%以上几率那么，这是我们之前的结果那么现在我们新的上线的系统会比这个其实要好很多。大家可以看上面是学生写的，包括有涂抹，有类似这样的东西都有，下面是电脑从自动做是一出来这个文字，然后基于这个文字以及我们这个理解技术的话，我们可以完成填空作文题和翻译题的评分。

那么对于填空题的话，不止是一个简单的比对，我们还能通过一些常见的一些错误去自动分析和挖掘出来，然后能够找到学生在这里面的错误所在。然后对于总体也是我们能够综合于此汇聚适合内容以及篇章等各个方面的信息，能够给出这种作文的自动评分。并且我们已经在比如说四六级考试在很多中考高考会考以及在很多研究生入学考试里面一般，已经都得到验证。那么其智力的话比人工专家跟完全相当于一个比较好的一个什么专家。同时已经在我们智学网的进超过百所的学校里面，进行这种常态化的使用效果也都非常好。那么然后除了可以评分以外的话，我们还拥有大量的这种范文库，同时能够检索出我们学生在写作文的时候有没有去抄袭？因为很多老师比如说你初看一下文章非常好给予非常高的分数但其实他可能是抄袭的一篇，因为我们老师脑子里面，不可能你有能够装下几百万几千万的作文，而我们电脑可以帮你做到。

好然后结合我们作文评分的技术，以及我们原来在这个机器翻译上面做了很多一些工作，我们能够实现对翻译，已作出一个非常好的这样一个评分效果。好，刚才讲了平分那么其实的话，我们除了可以给出分数以外的话，还可以从各个维度给出我们学生作文的种类型的反馈，那比如说这是我们一个中考的这样一个平标准，我们可以从语言水平内容质量，文章结构等各个层面给出学生分析的结果，并且能够给出他分数评语以及逐句地点评的结果。除了英文作文，我们还可以对中文作文进行类似的这种评阅。然后从这是我们这个高考作文的这种评分标准。我们也是从这个内容表达，和发展等级等各个层面对作文评分，并且给出它的诊断的意见。那么大家可以看到在中文这方面我们在高考比较常见的一个议论文里面其实还做了很多一些其他的一些工作，因为我们知道要写一，议论文的话其实有，它是有一些套路的，所以说我们除了要指出学生字词句的一些问题以外，我们还要告诉他，篇章怎么去行文？所以这块的话我们，在你告诉他之前，首先你得识别出哪些是它的比如说以论据哪些是主旨句哪些是此论点去哪些是事论点句去通过这一些对这些都你的分析和大量优秀范文的这样一些分析。能够实现对她作文的这样一个精确的一个点评？好，刚才讲的是我们在考试中对考试一些结合人工智能技术和我们一些考试中，一些应用的一些痛点去做的一些工作。

那么下面的话我简单介绍一下我们在教学方面做的一些工作。那么其实刚才很多专家都已经提到了，那么现在教育有很多问题，那么这些问题的话会吸，然后这些问题，导致了我们需要进行这种个性化的和针对化的学习，那么这个地方我来讲一下。那么首先从整个国家和教育部对趋势大家可以看到，在十三五的这种教育规划里面就已经明确提到，要使用云计算和大数据来推动优化这样一个教学模式。好同时我们新高考的改革也更加促使我们要去做这种类型的变革原来我们是要大大班教学，现在是要分成走班，所以原来我们这种大众化的教学就使得你必须要去走这种个性化的教学，那么个性化的教学，那么就有人问是不是根据我们学生的分数去，进行一些分层？比如说或者是给一些分层作业的一些报告，那么从尝试里面大家判断可能是不太对的那么这地方话我们也有一些例子，有一个例子来说明那这个地方我们聚了一次，在一五年级115年的一个一次考试为例，那么同样一个学校在同一个班级里面两个分数一样的学生，大家可以看到他们在这个知识点类型的这种掌握里面有非常大的不同，所以说的话其实我们如果说的要精准的，教学的话，一定要基于每个学生去做精确这种推荐。那么如果说要完成这样一个非常好的这种精准推荐，那么它理论上需要一个什么样的一些东西才能够做？我们认为这里面有4点，第一点的话刚才其实很多老师提到就是怎么对形成性的数据和过程性的数据能够做到综合采集、大数据的采集第二点的话怎么基于学生的这个知识点的分析以后怎么能够去做到精准的推荐？然后第三点的话你要去推荐的话，那么你必须要有一个大量的经过，认真标注的这样一个题库存在？然后最后一点的话你拥有了这些技术和这些数据，你必须能够把它教育学形成一个碧，并不是说我今天在你这练一下，明天就在那练一下，最后就可以形成了所以说我下面的报告主要是围绕这4点来讲。

那么其实我们教育现状的话，其实刚才很多老师也提到了我们觉有很多大数据可是这些大数据其实并没有真正，我们能够把它采集下来，并没有真正的把它形成数字化大家可以看到，无论从这个学校的维度从家长为主，学生维度都是这样。也就是说，我们在教学过程中，其实大数据是有缺失的。所以说我们提出的方案的话就是结合学生平时的作业随堂检测，加包括假期作业考试和去年考能够形成这样一个完整的功能最全的覆盖面，最广的这样一个数据产业体系。那么这个采集的话其实我们有一些理念，那么理念的话就是说，采集数据首先对后面的东西有帮助，这个大家都可以理解，但是最关键的是在采集过程中我们采用的是一种伴随式采集办事产业，就是说使得老师和学生对这个的抗，基本上没有什么抗拒心理。。然后第二点的话就是我刚刚讲题库的话目前我们知学网已经拥有国内唯一大规模的基于真实考试，精细化标注数据那么我们现在题库总量有600万套同时我们每个月会更新，6000套左右的试卷，8万到左右的试题。同时我们跟很多内容厂商还有一线的教师去去进行很多的合作，能够使得我们这种内容进行深度内容进行，源源不断去更新。

好，刚讲的第二点提雇员我们讲第三点是我们这个自身学习引擎，那么资金去领钱，我们刚提到那么引起行，他一定有一个输入和输出，那么她抒的话我们这种过程化的学术巨。然后数据过了以后的话，通过我们原来对知识点，还有类似于这样的一些建模能够找到学生，的问题所在，同时规划出它的这种各有个性化的这种学习路径，然后基于对这些类型的判断的话，我会输出包括。对，他是用的试题，对他是用的视频讲解，类似这对他是用的个性化的学习方案，类似这样的一些工作。好，那现在我们是怎么做的大家可以看，那么首先，我们通过线下和线上的最惨系和分析会对老师形成一个知识点的状态跟踪表，然后根据这个错误以及知识点的这种状态的话，会形成这种个性化的这种作业，那么通过我们这种自适应推进的系统形成个性化作业，然后这种文化的作业又给了学生去做完以后的话经过负责更新以后，我们知识点这个表会形成这种迭代，然后通过这种类型这种闭环的形式使得我们学生所不足的知识点，或者是可能会遗忘的知识点，会通过这类的隐形会变得会更好。这其实也跟我们这人这个记忆曲线也很有关系。因为我们知道人类这个g曲线的原理，那么它就是它，现在学习到这个知识，其实它随着时间会很快的遗忘，所以说其实我们在整个过程中的话，我们会在不同的时间点，把他可能遗忘的知识去，或者是有问题只会推出来使得我们这个学生的曲线，它会g曲线会有一点下降以后，马上上升，有一点下降以后马上上升。通过这样的一条路径的话使得我们在整个学习全过程的话可以实现一个非常好的一个自主的这样一个自洽的这样一个学习。

好，我们来看一看我们的一些试点的结果那么，比如说我们在合肥，我们在其实在很多学校都做了很多，试点效果都非常好，比如说我们在合肥一中的话，那么使用了我们这套自适应学习的，那么比如说，3个班的话，那么请大家可以看到每个班经过大概17周左右的学习的话那么明，因此提升都会非常好，那么这个是对学生同时的话，老师使用这套系统去讲课的话，那么老师的效率也得到非常提高，因为以前我们老师讲课的时候起时，我并不知道学生的薄弱点什么地方？那么上课我只能泛泛而抢那么使用这套系统的话老师无论是备课时间还是讲课里都得到了非常大的一个提升，所以说大家可以看到我们智学的这个理念就是基于我们这样一个知识点的资源以及服务的体系能够去完成，第一个步骤是完成我们这样一个动态大数据的采集，然后对采集数据进行大数据的分析然后，结合我们人工智能技术进行，包括进行各类智能这开发各类智能应用，使得我们整个学习可以形成一个比较好这样一个闭环。好，我今天报告就到这里，谢谢大家。

（本报告根据速记整理）

CAAI原创 丨 作者王士进

未经授权严禁转载及翻译

如需转载合作请向学会或本人申请

转发请注明转自中国人工智能学会