技术解码 | 多模态大模型AI安全员为无人驾驶保驾护航
2024-11-05 15:17:29爱云资讯阅读量:10,553
作为全球无人驾驶商业化领跑者,仙途智能Autowise.ai凭借前瞻性的视野和强大的产品技术实力,已在全球30余座城市部署了多款无人驾驶产品。为应对多地区、多场景、多产品的运营需求,仙途智能不断整合吸纳前沿人工智能技术和算法,新一代1vN无人驾驶远程运营体系全面引入多模态大模型技术作为AI安全员,凭借其强大的场景理解能力和精准判断能力,为无人驾驶车辆筑牢安全屏障。
“多模态大模型”AI安全员:实时处理图像数据,识别危险场景
多模态大模型是人工智能技术的一个关键进步,它将文本、图像、音频、视频等多种数据形式整合进统一的框架中,具备跨模态理解与生成能力,能够执行图像描述、视觉问答、视频生成等多种任务。依靠先进的多模态大模型技术,无人驾驶中的 AI 安全员能够对车辆运行过程中的相机图像进行实时处理与分析,识别出车辆行驶时遇到的危险场景和异常情况,为无人驾驶提供安全保障。
算法难以100%覆盖的长尾场景,AI安全员从容应对
无人驾驶车辆行驶过程中,除了需要与常规的交通参与者产生交互,还需要应对稀有而复杂的长尾场景。它们的发生概率很低,但一旦出现,会对自动驾驶系统带来巨大挑战。仙途智能无人驾驶清扫车作业时通常会贴边行驶,常见的长尾场景包括不规则的路面坑洞、临时的施工区域、偶发的交通事故等。
长尾场景之所以重要,是因为它们代表了自动驾驶系统必须能够应对的罕见但危险的情况。对于人类驾驶员来说,处理这些边缘情况往往基于直觉和多年的经验积累。对于自动驾驶系统来说,为了在遇到这些罕见情况时仍能安全地操控车辆,需要大量的数据和复杂的算法来模拟人类的决策过程。但由于现实世界复杂多变,算法难以 100% 覆盖全部场景,此时就需要 AI 安全员介入,利用与人类相似的知识与经验理解场景、保证安全。
AI安全员应用实例:理解场景,给出建议
仙途智能基于历史接管数据与闭环仿真数据,利用大模型标注与人工对齐,构建了决策规划的异常数据集。在仙途智能常态化运营真实数据的不断充实下,多模态大模型的AI安全员将能够更加准确地理解场景并给出驾驶建议。
来看几个实例。绿色框线代表无人驾驶车辆的规划轨迹(Planning Trajectory),红色框线代表无人车的关注区域(Region of Interest)。左上角黑色框线中的内容代表AI安全员对当前场景的理解和判断,包括天气情况、场景标签、驾驶建议等。
仙途智能AI安全员场景实例案例集锦
突然发生的交通事故
无人驾驶清扫车正沿右侧辅道执行左贴边作业。雨后路面湿滑,外卖骑手在高速行驶时突然滑倒,非常危险。系统提示交通事故(Traffic Accident)状态码,并预警可能需要远程介入。所幸骑手无大碍,缓慢起身,系统提示减速慢行,小心行驶。
临时交通管制及施工区域通行
无人驾驶车辆辅道作业过程中,同时遇到辅道地面施工及主道高空作业,交警上前疏导交通。系统提示交警管控(Traffic Police Control)及施工区域(Construction Area)状态码,并预警可能需要远程介入。在远程运营的协助下,无人驾驶清扫车从主道第二车道绕行。
应急车辆交互
无人驾驶车辆正沿快速路辅路右侧执行贴边清扫任务,一辆闪烁警示灯的救护车突然出现在视野中并停靠在路边,代表着附近存在人员伤病的紧急情况。系统给出应急车辆(Emergency Vehicles)状态码,提示需要远程介入,同时在确保安全的情况下,车辆减速避让并变道绕行。
弱势道路使用者交互
无人驾驶清扫车正沿右侧辅道执行无人清扫作业,由于道路右侧的临停机动车,辅道十分狭窄,仅容一辆车通行。此时发现左侧有孩童和蹲坐的行人,系统提示高风险行人(High-Risk Pedestrians)状态码,表示需要减速慢行并预警可能需要远程介入。在高精度的感知和规划下,无人驾驶清扫车略微向右避开行人缓慢通过。
AI的安全托底:人类远程安全员多途径辅助脱困
部分紧急和极端场景下,AI安全员将给出请求远程介入的通知指令,主动告知人类远程安全员。远程安全员可以通过高清视频流(前视角及环视角实时画面)和实时传感器数据(高精地图、各类障碍物识别、路径规划等)获取车辆周边环境信息,使用多种挪车方式辅助车辆脱困。目前,仙途智能无人驾驶车辆已支持基于远程运营系统的参考线挪车、方向盘挪车、APP挪车和驾驶舱挪车,为车辆提供在紧急和极端场景下的安全托底和额外保障。
远程辅助驾驶系统操作界面
云端大模型作为AI安全员的使用,极大程度提升了无人驾驶车辆针对长尾场景的识别和理解能力,提高人类远程安全员的工作效率,为远程1vN规模的不断扩大夯实技术基石,全面扩展仙途智能全球化商业版图。
未来,仙途智能将以更加开放的姿态,不断吸纳整合前沿人工智能技术和算法,通过持续创新突破,全方位提升无人驾驶技术的安全性与稳定性,为无人驾驶技术商业化的迅猛发展打造坚实的技术壁垒,为全球无人驾驶技术发展和产业变革贡献卓越力量。
相关文章
- AI大模型迈向多模态,助力具身智能与机器人实现创新
- 值得买科技与人大高瓴人工智能学院首个多模态领域联合研究成果亮相CNCC2024
- 科大讯飞全球1024开发者节举办在即,重磅发布多模态视觉交互及超拟人虚拟人交互能力
- 亮相2024 GITEX海湾信息技术博览会 Soul App多模态大模型实现超拟人互动体验
- 深思考“Dongni.ai”多模态大模型,深耕行业垂直场景,规模化落地
- 商汤又“夺金”!SuperCLUE-V多模态大模型基准发布10月榜单
- 引领多模态大模型新高度,山海UniGPT-mMed登顶MMMU权威测评榜
- 从数据到洞见:心言集团的心元大模型以技术创新领跑多模态智能领域
- 心言集团心元多模态端侧大模型异军突起,业界惊叹其卓越表现
- 蔚蓝科技发布全球首款多模态交互机器狗,加码人形机器人
- 悦灵犀AI多模态应用重大升级,支持海外用户使用
- 即构科技参加云栖大会,共建实时多模态AI互动
- 声网对话式AI解决方案上新 构建实时多模态AI交互
- 拓元智慧受邀参加2024招银浦江大会,共享新型多模态大模型的前沿技术及产业化实践
- 容联云大模型多模态解读及生成算法通过国家网信办备案
- 浩鲸科技多模态大模型平台获2024数字中国大奖