Claire J. Tomlin

加州大学伯克利分校电子工程与计算机系教授

斯坦福大学混合系统研究室主任

以下是Claire J.Tomlin教授的演讲实录：

今天我将和大家分享控制理论和机器学习之间的融合，这是从AI的角度分析的，从我的职业生涯当中，我一直为了安全的目的加强设计控制，我在过去为NASA工作过，同时在自动化和无人机这方面也有一些研究。在过去的十年里，我们花了越来越多的时间将AI的技术与控制算法相融合，今天我和大家分析其中一个重点问题，叫可达极，就是为了实现安全，解决不同的问题，来设计的可达性。第二部分分享机器学习怎么样在控制环境当中得到融合，怎么样建立一个完整的安全系统。所以今天我们所开发的主要工具就是可达极，这是一个控制系统，也是我们想要控制的系统，我们的主旨就是如果有一个模型，这里大家看到幻灯片上已经放上了一个模型，它是一个加减式的等式。这里是一辆汽车的行驶轨迹，这里有一些变量，包括它的位置、速度和加速度等等，这些都是变量，还有人的输入和自动的输入，都在这个图标上有所表达。转弯、加速等等都囊括其中了，我们的干扰因素也是我们可以控制的系统中的一部分，但是你必须有所控制，因此有一些环境影响，或者说这些汽车它们必须有一些行为，在这个系统当中你可以去依赖它，但是却不太了解它。这里我们要有清晰的控制，就是要利用这个模型设计一个自动的模式，来进行输入，而且是在干扰的前提下进行输入，所以大家可以看一下。举个例子，如果这个系统出现了很大的问题，我们就会发现这些因素都是系统的一部分，比如说在两辆车即将会车的时候，我们会有这样一种计算，就是在最差的干扰条件之下，它是否会进入这个地区，就是叫向后可达极，既使是有非常高的状态基础，根据我们常年的分析，我们会发现将它应用到其他的问题上也会非常困难，大家会看到更多的例子。这是基于我们的系统模型所制作的，但是如果没有模型的话，我们怎么把机器学习融入其中呢，一会我跟大家再分析。

这里先看一些例子，第一个例子是我研究的空中交通管制和飞机的交通问题，怎么样避免两架飞机的碰撞，比如说这是一架飞机，这是另一架飞机，有一些动作，但是你并不知道它这些动作到底是一个干扰项还是怎样，而且还可谓将飞机的原方向计算到其中，美国联邦航空局他们计算出来这两架飞机是5英里，它们的相对位置，大家看到X轴Y轴，还有相对垂直的距离，大家可以看到计算的结果是怎样的。最开始好像是一个圆柱形的轨迹，它们可能距离小于5英里，然后你会看到它持续的时间是怎样的，如果红色的飞机飞入蓝色飞机的可达轨迹，它们就有可能产生碰撞。在这里更加直观的分析一下，这里有一个模拟图，我们会在这里把某一些极考虑到其中，绿色的这架飞机有一个控制法则，但是另一方面如果我们把这个量计算到极当中，这两个轨迹就不可能交汇了，因此它们的安全验证就可以得到保证。如果是其中一架飞机它在最开始的时候不去触及轨迹上某一点，两者就不会相撞，这是我的第一位带的博士生，他在温哥华建立了一个软件包，就说明了我刚才的理论。
我们也对这个系统进行了测试，我们在伯克利有自己的机器人实验室，我们也有四旋翼的飞行器，在加利福尼亚NASA实验室，我们也对两个无人机做了实验，这里是飞行员的驾驶坐舱，我们也是避免两架飞机的相撞，大家在右上角可以看到视频的截图，下面是相关的数据。因此这两架飞机它们是相对而行，第一个是它的轨迹，蓝色的飞机处于可达极当中的，这样的计算也可以在实时进行。

我们也用真实的飞机进行了测试，比如说这里大家看到的飞机，还有无人机等等，这是波音F15飞机，我们也将它在无人机上进行了实验，我们有一个F15飞机，这也被我们放到第一轨道上，所有这些都是可达极当中的。大家看到这架飞机，根据避免撞击的努力而进行的计算，这里是两个不同的飞机它们的撞击轨迹。这张图显示我们可以实时应用技术，来计算它们的轨迹，这里都是四旋翼飞行器，我之前还在斯坦福当教授的时候就做了类似的实验，在每个街角可以做四旋翼的飞行器，4个学生控制着四架飞行器，下面可以看到相应的控制，每个飞机周围可以看到一个可达极，每一架飞行器和其他三架飞行器了相撞的可能性，还有就是安全区在哪里，如果出现这种撞击的可能，旋翼飞行器上的自动系统就会启动，防止相撞，可以最大保证它们处于安全距离之内。我们习惯用模型在这里进行计算，我们有一个系统可以计算最差的情况，我们认为最差的情况也是有极限的，所以可以找出一些可行的解决方案。我们也可以用这个技术达到我们理想的效果，我们看一下这是一个理想化的例子，我们将所有的这些干扰因素纳入到这个因素当中进行控制，这是非常重要的，我们可以进行路径的跟踪。

我们还可以对它们进行排序，可以看到目标和不同的极子，包括目标极和避免极，这样就可以让我们的飞行员去控制这些干扰的因素，从而控制我们碰撞的情况。另外就是我们在NASA也开展了另外一个实验，在NASA有一个交通管制系统，这是在北部海湾地区的地图，在这张地图上，显示出了海湾的地形情况，这里展示出了我们飞行的最短路径，右边的图显示的就是在这个图形上面也进行速度的分析，以及最短路径的展示，我们可以看到，在人口低密集的地区，我们可以看到这个最短的路径可以更快速的到达，这个要比人口密集的地区更加快速的到达，所以我们可以看到，在人口密集的地区，会存在一些风险的因素，我们需要进行控制。

在这个理论的基础上，我们就开发了一个控制系统来进行无人机的控制，这是一个控制系统，它是基于一个车队开展的控制系统，我们可以看到，在这个模型当中，这些车队都是以同样的速度开发的，我们可以看到，这是我们控制系统其中的一个部分，我们可以看到它们可以加入到高速公路当中，也可以加入车队当中，而且我们可以看到不同的模型的位置，它们也是受到了自动化的控制。我们需要使用这个控制系统，能够让这些车辆安全的进行切换，所以说在这个车队当中，我们因为有了这个控制系统，所以所有的车辆都能够非常安全的驾驶。这是一个例子，我们可以看到可达极的情况，虚线表示的是高速公路，圆圈表示的是目标的位置。我们通过对风险因素的控制，可以让我们保留在一个非常安全的区域，实际上我们是使用一些算法进行计算，所有的计算都是通过自动化的进行计算的。另外我们将侵入者也要考虑进来，它们也是属于干扰的因素，我们的车队需要对这些干扰者，也就是红色的车辆表示的位置进行控制，我们需要对这些干扰的因素进行控制，这样的话我们就能够让车辆从高速公路上再次加入到车队当中，从而进行安全的驾驶。

我们可以看到这里有三个车辆，它们都在追随其他的车辆，形成了一个车队，这里有一个非常小的实验室进行车辆的控制。另外我们还有干扰者，在这里，这个干扰者就进入到了车队的最前端，我们可以看到，这里我们也有一个可达极，我们也可以使用三辆车子形成的进行自动化的控制，从而让这个车队进行安全的控制，这也是我们在NASA开展的实验。

所有我刚才讲的内容都是基于模型的，我们可以在模型上进行计算，进行控制。好的，对于一个模型来说，典型的组成部分就是我们有一个可达极为五，我们要根据环境设置我们的可达极，一般来说需要建立一个非常好的模型，人们的行为和互动也要纳入进去，我们需要更新安全的配置。

我们看一下一个有趣的体验，我们要进行一个基于模型的控制。我们设计了一个使用神经网络和深度学习进行的在线的数据控制系统，这个车辆它有两个操作系统，其中一个正旋曲线系统进行控制，另外一个车辆是使用偏航的系统进行控制，这是我们的培训极，在这个模型基础之上，能够跟踪这些车辆的路线和轨迹，这样我们就可以了解到这些车辆的轨迹，从而对它们进行安全的控制。我认为这个系统运作的非常的良好，可以通过实践来证明它的运作非常良好，通过这个控制系统，我们可以追踪这个车辆的轨迹，这是一个非常简单的两层模型。

再看最后一部分，也就是将学习和安全结合起来。首先，我们将这两方面分离开来，成为两个不同的问题，可能在这个过程中会遇到非常大的干扰因素，但是我们有基于安全的控制，所以我们就会保证在这个驾驶的过程当中的安全，我们有了对于可达极的计算以后，我们就能够确保驾驶在最糟糕的情况下也能够确保安全。另外，我们设置了一个名以上的安全极，我们使用在线的数据的学习，来更新我们的模型。另外我们将学习和安全分为两个不同的因素，并且进行一些函数的运算，保证安全性。

在这里我们使用了四旋翼飞行器进行了实验，实验当中飞行器上上下下进行飞行，在这个实验当中我们找出了实验的安全区。我们在这个曲线当中找到了它的区间所在，以及可达极，然后我们再把这个车辆的模型拿走，需要去学习自己的模型，来控制它的安全性。所以，在这个过程当中，也是将安全和学习分离开来了，这里是我们使用的使用的安全曲线，实际上这个学习的曲线也是非常简单的。我们在运行它的时候发生了什么呢，首先就是这个飞行器落到了地上，但是它并没有触碰到地面，因为在飞行器的底部有一个缓冲器，然后它就会反弹过来，也就是说在这个飞行器坠落与反弹的过程当中，它就会自动进行学习，在线的系统上面对它的轨迹进行追踪，就可以学习到如何追踪这个轨迹了，所以说我们的飞行器总是在缓冲区保护范围之内的，我们可以将这两个简单的部分组合在一起，因为它是整个系统。对于人类的司机来说也是这样的，最开始，人类司机最初学习驾驶的时候也是非常保守的，然后慢慢接近安全的阈值了，所以慢慢就胆大一些，这个道理同样适用于飞行器，因为有缓冲器的保护，所以它也是慢慢的开放的进行驾驶的。这里展示的是一个高斯的过程，是通过函数进行高斯的分配，所以我们可以学到在这个系统当中有一些平均的函数，还有一些方差，还有对干扰因素进行衡量等等。

这里的观点呢，我们通过一些函数的计算进行安全控制，我们需要了解一些不安全的因素，它们的组成是什么，以及它们在函数当中的权重是什么，我们要考虑最糟糕的因子，对这些不安全因素进行控制。随着时间的推移，我们开始建立一个非常好的名以上的模型，在模型当中加入到我们的考虑，我给大家展示一个视频，显示了我们做的实验，而且在这个实验当中我们用实际数据对缓冲器进行了更新。在这里有两个实验进行排序，我们是平行的进行排序，左边进行四旋翼飞行器的实验，这和我们之前的实验是一样的，但是在这个实验当中并没有对数据进行更新，另外一个实验当中，我们对安全性进行了更新，我们只是根据这个模型进行运行，根据一些算法进行计算，对这个轨迹进行追踪，就能够控制它的飞行。我们可以看到，这个飞行器也是下坠，但是由于我们的安全控制，由于缓冲器的保护，它就没有碰到地面，反弹回来了，这里有一个风机，打开风机就会产生风的干扰。在过去的实验当中，我们并没有将它纳入到实验当中，现在我们在这个实验当中，将风产生的阻力的干扰因素纳入进来了，所以这两个是研究会产生不同的结果。我们可以看到在这个实验当中，我们会将不安全的干扰因素纳入进来，然后在这个模型当中进行计算，在左边的图形当中可以看到，缓冲器能够反弹，将飞行器反弹回来。可以看到，开始对这个飞行器的缓冲器进行边界的计算和了解，我们就可以对这个轨迹进行验证，可以更加安全控制这个飞行器的驾驶。我们可以对安全极进行精简。如果我们将风机关闭以后，缓冲器又可以不受干扰进行工作了。

最后总结一下，刚才主要讲了两个要点。首先，我们通过控制理论和可达极，分析了我们的系统模型，非常好用，而且很容易融合到它的运行轨迹当中，而且我们也将来了新机器的能力，我们做了众多的实验，我今天有机会和大家分享了一下，我们希望探索这样的算法，在不同的背景之下去探索，也希望在人机的比赛当中运用这种算法，我们可以学到人更多的规律，还有人的行为规律，我们怎么样去保证数据的收集，同时能够实现实时的数据收集的反应，我相信这是我们今后研究的重点。很多系统当中最大的不确定性是人的行为，我们怎么样用一种参数模型，来为我们的人类行为建立一个框架。

最后，我总结一下，非常感谢各位，我要感谢我的团队中所有的学生，非常感谢大家。

邓伟文（主持人）：我有两个问题，第一个就是可达极，您怎么去定义这个可达极的规模，怎么样监测它的规模？

Claire J.Tomlin：这个问题非常好，关于可达极怎么样看它的规模，怎么样去监测，另外一个飞机也在相同的轨迹上，我相信我们对环境和其他的汽车动作，实际上越来越不确定，我觉得这是基于汽车是动态的，因此我们如果对其他人的行为更加确定的话，我们建立的这种可达极它的范围规模就越大。我相信这个边界应该是一个部分的方差公式，这也基于我们有什么样的可达极，比如之前举了四旋翼飞行器的实验，我们有GPS系统，而且它也知道自己所处的位置，也知道自己的目标是做什么，但是你是否应该相信它的判断是另外一件事了。因为它有可能会犯错，但是它并没有主动的犯错，它没有这个动机，我们还有相应的国家信息网络去监测它们的动机，我们可以基于可能产生的行为，对它的行为进行监测，如果你有相应的信息了，而且对它更信任了，你就不用管干扰极是怎样的，需要一个更小的极，这是基于信息的量，怎么样能够相信你从这些数据极当中拿到的数据呢，还有相关的信息呢，我们在伯克利的实验室研究不同汽车之间的交互，怎么样避免它们的撞击，建立这种防撞区。

提问：怎么样应用在无人机上呢？

Claire J.Tomlin：关于无人机的情况，无人机机队，必须一个无人机感受到它前面的无人机，但是我觉得有一点投机这种说法，首先需要保证它的安全，我们需要去探索所有的自动的机队，自动的交通规矩，它们唯一的责任就是避免撞击它附近的交通工具，而且安全的保证是我们最大的职责，而且也要防止其他的交通工具的干扰，但是这个想法就是有一点保守。

邓伟文（主持人）：谢谢。非常感谢Claire J.Tomlin教授给我们分享了她非常有意义的研究，包括基于模型的控制和基于数据驱动的控制方法等。我相信她的研究将为我们未来智能驾驶系统的研究提供了很多启示。接下来的演讲嘉宾是Joyce Farrell博士。她来自斯坦福大学，是斯坦福大学电气工程系高级研究员、斯坦福大学图像系统工程中心的执行主任，她拥有超过30年在不同公司和机构工作的专业研究经验，包括美国宇航局艾姆斯研究中心，纽约大学、施乐帕洛阿尔托研究中心，休利特帕卡德实验室和Shutterfly，同时也是ImageVal Consulting的创始人兼首席执行官，她今天将给大家报告关于图像系统仿真方法，有请Joyce Farrell博士。

Joyce Farrell：我先跟大家介绍一下斯坦福的图像系统工程中心，我是这里的执行主任，这是斯坦福的工程技术学院和相应的公司一起建立的中心，我们希望能够推进人与人之间的交互，当然也是利用这个图像系统，我们其中一个重要的任务，就是要推进多学科的培训研究和合作，这对我们很关键，我们整个大学的所有教授在神经科学和计算机科学，工程心理学等方面都有他们自己的建树，而且我们也在实现跨学科的研究我在施乐工作了一段时间，当时研究了图像的交汇界面，那会已经认识到了多学科，高素质人才之间合作的重要性，我们当时有不同专长的人才相互合作，建立了HP惠普的研究室，而且我们所有的不同学科的科学家不断地在提升我们的图像系统，我们当时还征询了一些心理学专家的意见。

我离开HP以后做了一段时间的咨询，我也在帮助企业做手机，我们很清楚一点，必须有款学科的团队一起合作，我记得当时去了一个企业，他们给我展示了一张图像，看了以后就问这个图像有什么问题，当时我看到一个团队正在就过程管理进行讨论，我又和光学相关的主任进行了讨论，也和感应器方面的主任进行了交流，还有显示器方面的相关领导进行了交流，我发现他们各自为战，没有太多的交流，我们需要有一个工具让他们一起合作。因为不同的团队，他们有自己的小世界，比如说感应、视觉、光纤、显示器等等，它们应该都是一体的。因此，我们开发了一个图像系统工程工具箱，我们可以把它当做一个模型来推进图像的处理，而且可以让工程师在这个系统上进行沟通。我们也把这个系统介绍给了很多做手机摄像器的公司，而且可以让他们不同团队相互交流，调整图像处理的系统，调整他们的摄像头，我们发现只要有硬件的源头，他们就可以做出一个模拟器。还有手机，包括苹果、华为等等涉及的摄像器，这些都可以模拟整个图像系统处理过程，而且我们也可以从中研究怎么样改变其中的一个部分，就造成整个效果的改变，我一会跟大家详细讲这个问题，这里先指出下一代的图像处理系统，光域360度环绕式拍摄的摄像机，还有头戴摄像器。我们先讲一下电子数码摄像机的图像系统，再讲讲新的图像系统和它们的原形，我先给大家讲工具箱，还有手机的摄像器，我们将利用这个系统开发一个基于机器学习的手机摄像器。很多企业也在用更新的项目实现这种平衡，就是像素、分辨率、动态、范围、滤镜等等，都在实现平衡，我希望能够表现出来图像系统模拟的强大力量。当然，我们也希望把这个进程扩展到其他的图像系统，比如说视频，还有汽车的智能。之后我会跟大家讲更多的应用领域，大家就明白我们为什么要去开发这些工具了。

最开始，我们认为必须要去评估所有的图像系统的部件，我们就建了很多模型单元，进行了计算模拟。我们对光学元件，对感应器ISP和显示器，和人的视觉系统的属性都进行了一些模拟。这是另外一个实验，我们需要有一个非常有意义的单元，有一些单元是非常有意义的，有一些单元是没有意义的，我们要用非常有意义的单元进行描述。比如说我们描述一个场景的时候，我们就会描述这个场景当中每一个因素，百分之百进行一些描述。我们就会将这个场景当中所有物体都进行描述，我们就会看到所有的物理的单元都会在这个单元里展示出来，我们可以看到光电的情况，所有的物理单元都会展示在描述当中，这些都是非常有用有意义的单元。我们还做了其他的事情，比如改变了照明的一些辐射源等等。

我们现在来到光学元件方面，这也是连接到传感器，我们也有一个模型，这里我不跟大家详细展示了，我给大家发送一个软件的链接，大家可以点开链接，在这个图形当中对光子进行描述，在这个场景当中光学元件展示出来，我们就可以对光学元素进行模拟，就可以将辐射源展示出来。可以看到，所有的光子以什么样的速度照射到屏幕上。

接下来我们看一下描述传感器方面的内容，也会对光伏进行捕获，会对传感器每个像素进行描述。我们会将这些传感器当中的光子进行描述，所有的这些内容都来进行计算，我们可以计算出传感器的像素和光伏等等。另外，我们还会将噪音的源头纳入到计算当中，可以看到在这个场景当中，这些噪音是从哪里来的，所以这些所有的属性都会纳入到我们的建模当中。我们从这个传感器来到图像处理这部分，这是苹果公司和其他公司考虑的问题，他们会对一些丢失的传感器的值进行连接，并且对色彩进行转化，并且降噪，他们采取了很多措施制造出非常高质量的图像。我们需要对图像的质量进行优化，这也是很多公司非常关注的问题，后面我会给大家讲讲我们的图像处理系统是如何运作的。

有了这个图像以后就要展示出来，就有一个显示器，在这个显示器上面也会对这个场景进行显示，我们就会知道光源是从哪里来的，我们会对光子进行计算，这也是属于物理单元的一部分。也就是说，每秒钟，每纳米，每平方米有多少光子打到了显示屏当中，这些因素都会显示出来。这部分我不详细讲了，大家可以从显示屏转换到人类的视觉系统的处理当中，这是一个非常复杂的内容，如果大家感兴趣的话，我在另外的项目当中给大家介绍人类视觉系统的运作。

刚才也提到了，我们有一个完整的图像处理系统，在这里举个例子，这个图像处理系统是基于机器学习的，我们可以定制化的定律图像处理，可以进行一些新型的图像处理的工具也是有可能的，因为我们可以进行模拟，找到一些例子进行图像的处理。我们可以对图像处理系统进行模拟，这样可以产生出新的图像处理的方法，在这里发表了很多的论文，如果大家有兴趣我给大家一些链接，可以看到一些算法，如何使用这些图像处理系统。现在人们花了很多时间建立这种图像处理的系统，我们可以看到，有一些光的过滤器，还有一些传感器等等，摄像头就会有非常清晰的图像效果出来。另外，人们还可以使用一些其他的方法来处理图片，我们可以得到非常高质量的图片，像素也是非常高的，而且我们还可以对一些光源进行过滤，这样的话我们的图像质量就会非常清晰。但是我们也存在这些问题，目前还没有图像处理的产品出来，所以我认为所有的图像处理都是要非常个性化的。刚才我给大家介绍了系统，我们有一些多光谱的图像处理的系统，这也是我们的动机。我们要开始进行系统的建立，将所有的像素和光子都能够显示出来，再将光谱的照射描述出来，所以从场景开始，也是从场景结束的。不仅仅是对传感器进行模拟，而且对光学元件也进行模拟，我们对场景进行模拟，我们可以告诉大家，模拟出来的场景是什么样的，在显示屏上显示出来我们有一个场景，我们就会知道理想的效果是什么，从摄像头出来的图片的效果是怎样的，然后就会进入到传感器当中，这是我们模拟预测的结果，摄像头出来图片的效果。可以使用不同的图片，有一些是我们获得的图片，有一些是理想化的图片，有一些是像素非常高的图片。可以将像素纳入到RGB系统当中，我们在使用这个系统的时候也会进一步改进，也会找到最佳的图片效果是如何处理出来的。

我们比较一下，过去的传统图像处理系统也是从RGB开始的，我们再进行一些图像处理的过程，就会有一些校正，这是所有人都会做的。我们会对光影进行校正，然后就会进行个性化的处理，降噪，算法的计算等等。所有的算法都会进行优化，总结成两个步骤，一个是我们要选择正确的像素，对图像进行处理，这也是当地的系统，可以根据这个算法进行图像的处理，所以总结起来它一共包括两个简单的步骤。

我给大家总结一下，我们设计这个系统的原因呢，大家可以看到，右边是RGBW的输出，它的图像是非常灰暗的，光亮度在降低，但是可以从低的光亮度增加到高的光亮度，我们才能看到一个清晰的图片，这也就是为什么我们需要RGBW的原因，有了这个图像处理系统，就可以增加图像的光亮度，但是如果我们使用传统的模式，就不能增加图像的光亮度。我们是基于模拟进行这个系统的建立，也会在真实的场景当中应用这个系统，包括一些传感器和光学元件，我们也在其他的系统当中运用了这个原理，但是基本的观点，就是我们需要制造原形，这是非常重要的。如果没有模拟，这个系统就无法建立。

这是一个非常好的系统，我们再看下一个步骤，就是我们现在需要的步骤。目前系统的应用还是有一些局限性，有一些特定的情况是很难捕获图片，视频的问题也是比较困难的。另外，我们需要一些深度的信息，还有一些生活化的场景，也需要它们进行图片的捕获，这是我们目前受到的极限性，这是展示出来的例子，我们在获取信息的时候遇到的问题，我们需要使用新的图像处理的系统，左手给大家展示的是36度全面视频的图像系统，我们可以使用特定的摄像头寻找解决方案。我们需要在建立系统之前进行模拟，需要对场景进行模拟，我们可以在模拟当中，在这个场景当中去设置一些摄像头，另外我们还需要获得3D的功能，这个新的图像处理系统就能够捕获和展示3D的信息，所以第一件事情就是增加一些有意义的单元，然后就可以进行3D图像展示，可以使用一些工具箱进行图像的展示和视频的拍摄。最终有这样一个检测的系统流程，从光学元件到传感器，到显示屏，再到人类的视觉系统等等。还有模型的演示，我之后会更多跟大家讲解，这里有更多的图片，第一代我之前也讲过，就是基于第一代学生，包括肖博士，他在斯坦福也工作过一段时间。第二代，这是我们更年轻的一批学生，这些都是图像系统模拟当中的一些专家。

大家可能注意到了，我们这里做的就是把光学系统当中的图景取出来，用3D的图像效果进行渲染，进行再追踪，或者用不同的图像作为我们常规的感应器模拟的基础。因此，我们也制作出了3D的网格，和表面质感和色彩方面的模型，还有景深地图等等，这种混合器可以让我们实现3D的虚拟场景的模拟，我们可以控制光线，可以控制色彩光线的位置，还有摄像头的位置，可以发现光线的平谱分布，还可以利用模型调整镜头，我们建立了这个模型，用了混合器，用PBRT提升光学成像，这也是我们尝试做的。当然我们也可以改变场景的光照，也可以改变相继的镜头，比如这里有一个光域，我们用了光域图像系统，还可以改变场景的光照，这些都是我们做过的调整。在这个基础上，我们就有了一个光学成像，它可以考虑景深。

现在我们来看平谱上另外一段，就是就不同的感应器进行建模，比如光域的中心，不同的成像感应器，还有我之前跟大家展示过的不同模型，这种感应器滤镜，可以通过模拟排除噪音，我在这里讲一讲我们如何利用第二代的图像系统，如何应用它，Trisha为我们设计了光学系统，还有360度的环绕成像系统，她创造了一个3D场景，比如说Facebook的镜头可以进行调整，比如平谱系统，还有不同的单元都可以进行模拟，还有光学中心也可以建模。这里我给大家展示一些模拟状况，比如在Facebook系统当中，大家会看到不同的广角感应器照出来的照片效果，虚拟的场景更加写实，大家就知道出来的照片是什么样的，这里我们得到了不同的图像过后，就可以建立一个立体的光域光域照片，也还可以把不同的照片调整变成全景照片，所有这些算法我们也在进行实验。我们也知道理想的全景的照相机应该是怎么样的，如果我们用软件进行计算评估的话，你会发现改变相继的数量或者使用软件改变镜头的种类等等，都可以在模拟当中进行，去观察它的效果，最后的图像质量也会受到影响。

另外一个例子，这是Blasinski教授做的项目，光线是怎么通过媒体进行传播的，我们了很多模型，包括PBRT，光线如何被水折射和散射，因此我们建立了这样的模型，没有水的时候图像将会是什么样的质量，如果有水的话，图像的质量会不一样，大家可以看到这种长波光线都会被吸收，照出来的图像质量就有一点不一样，我们在这方面也会给大家介绍很多论文。

下一步的应用是怎么样的呢，就是利用环境因素，之前跟大家讲过，我们怎么样用环境对于设备进行模拟，产品是用于人类消费的，当然机器学习应用也更需要我们有更多的观察。我们现在知道了现状如何，可能大家比我更清楚，也就是有非常多的训练极可以让我们利用，我们可以培训机器，培训算法，让它们学会识别鱼，还有一些测试图像，让它们识别鱼。当然我们在这里可以让机器人进行深度学习，可以让它们辨认看到场景当中的人物和动物等等，当然也对这些场景进行刚学的处理，这是都是基于GRB图像的。这张图片的具体来源不清楚，我们不知道镜头到底是什么样的质量，什么样的类型，也不知道图像处理算法是怎样的，感应器企业是哪一家，什么都不知道，你也不知道它怎么样进行调整过后会影响机器学习最终的效果和能力。另一方面，自动驾驶方面深度学习的意义，应用非常重要，因此我们在这里装了很多的感应器，这里就有，如果在危险的驾驶条件下或者是环境比较差的环境下比较差，我们都可以进行模拟，现在越来越多的人开始用3D图像模型，建立这种模拟系统进行机器学习，特别是这种自动驾驶汽车，还有自动驾驶的智能，我们认为这个特别好，可以制造这种虚拟的场景。还有图像上相关的标记，还有不同的地点，相关的信息都可以收集的更足，但是我们唯一的限制就是在于它是RGB格式的，还有帖头和光学，我们和吉林大学进行了合作，我们加上平谱光学的工具，之后对感应器的设计进行了模拟和建模，对于深度学习和人工智能的设备进行了测试，所有这些都可以让我们看到这里有一个3D的场景，这是我们得出的结果。我们在这里只要装上照相机，我们就可以发现在不同的场景下，照出来照片的性质也是不同的，我们也可以猜测这个相机可能捕捉照片的样子，还可以改变成像感应器的性能，还可以改变镜头的效果，所有这些都是我们进行的模拟。比如在雾天进行测试，看一下机器学习，算法是什么样的，那有什么挑战呢，3D场景来源很多，但是没有统一的标准，在VR领域工作的人很清楚，我们有非常多的3D的内容，但是没有一个统一的，可以在实际状况之下应用的标准，这是一个大问题。如果我们想增加光谱反射方面的要素，我们必须要让它有一个物理的单位，比如以米为单位，这就是我们的挑战之一。

还有就是在计算硬件方面的条件，当然人力方面有调整，我们可以提升图像的硬件，但是这要求我们去具体其他具体分析，去个性化我们的系统，我们希望有专业人士在这方面努力。未来我们要建立大的，可靠的图书馆，可以叫数据库，当然我们也希望加快光线的跟踪，同时维持我们的计算的清晰度，也希望建立更加活跃的社区，非常感谢。

邓伟文（主持人）：刚才您提到了图像模拟过程，一方面是为了人的感知，另一方面是机器学习，但是否还有一个方面就是为图像处理算法，包括识别、检测等。这个从Volts到Bits的过程有什么区别吗？

Claire J.Tomlin：我们的目标是要输出不同的图像，当然可以保证不同场景之下输出的图像尽量一致。我们希望能够对场景当中的物品进行标记，用汽车智能去实现，这方面我们还不是专家，但是我们希望有更加细腻的数据极，帮助我们运行这个系统，当然也有一些同事现在希望能够实现全景视觉，他们也在推进成像感应器的开发，以及进一步的应用，但是我们必须要思考怎么样具体的去应用，而且要符合大家的需求。

邓伟文/主持人：另外一个问题是，你讲到了人工标注的挑战。对于模拟图像和场景，因为我们有模型，是否我们可以完成自动标注？

Claire J.Tomlin：对，我们可以进行自动标注，这也是它的优势和价值所在，谢谢。

邓伟文（主持人）：我们与斯坦福大学在图像系统模拟方面也有非常紧密的合作。

邓伟文（主持人）：谢谢。非常感谢Claire J.Tomlin教授给我们分享了她非常有意义的研究，包括基于模型的控制和基于数据驱动的控制方法等。我相信她的研究将为我们未来智能驾驶系统的研究提供了很多启示。

（本报告根据速记整理）

CAAI原创 丨 作者Claire J.Tomlin教授
未经授权严禁转载及翻译
如需转载合作请向学会或本人申请
转发请注明转自中国人工智能学会