自动驾驶技术历经多年发展，其最大的变革究竟体现在何处？
就在撰写此文的前一日，两位来自汽车行业的友人莅临爱范儿，与我们一同坐下交流。交谈内容丰富多样，涵盖产品推广以及行业趣闻等方面。而自动驾驶作为行业内备受热议的一个分支，自然而然地成为了我们探讨的重点之一。
回顾自动驾驶这些年的发展历程，变化着实不少，包括传感器的更新换代、车端算力的增强、从高精地图向占用网络的转变等等。然而，在这些变化之中，最为引人注目的突破当属大模型的融入。
大模型的出现，使得自动驾驶技术的应用变得更为贴近现实。
10 月 23 日，理想汽车全新一代双系统智能驾驶解决方案「端到端 + VLM」正式开始全面推送，理想汽车的智能驾驶由此迈入了 AI 大模型的时代。
像人类一样思考，像人类一样驾驶，当下的理想汽车，正在将这一愿景变为现实。
好不容易明白了端到端，那 VLM 又是什么呢？
关于端到端究竟是什么？是从哪一个“端”到哪一个“端”？别说是普通消费者了，就连不少媒体从业者都未能彻底搞清楚。
不少厂商都曾对此做出过解释，其中理想汽车的解释最为通俗易懂：
一端，是传感器：诸如摄像头、激光雷达等传感器，它们宛如人的眼睛，负责输入环境信息。此外，还有经过特别设计的输入信息，例如车辆的位置、位姿以及导航等信息。
另一端，是行驶轨迹：在接收了来自传感器的信息后，系统会输出“动态障碍物”、“道路结构”、“占用网络 Occ”以及“规划轨迹”。前三个感知任务主要通过屏幕展示给用户，而第四个“行驶轨迹”，便是我们最终需要从传感器映射出来的内容。
不难看出，从传感器接收信息，到系统输出行驶轨迹的这一过程，与我们自身开车的过程极为相似——我们的眼睛负责接收信息，双手会自然而然地带动方向盘，将车辆引领至正确的轨迹上。
是的，凭借端到端模型，理想新一代智驾系统实现了像人一样驾驶的目标。
长久以来，不论是主机厂还是自动驾驶企业，都在不断宣扬自家的智驾系统有多么贴近人类，多么像“老司机”。然而，一些“老司机”们习以为常的场景，在很长一段时间内，都是难以攻克的行业难题。
最为典型的便是环岛这一场景，由于其场景复杂且感知受限，因此在今年 7 月之前，能够实现“老司机”般进出环岛的车企寥寥无几。
理想智驾技术研发负责人贾鹏曾向爱范儿和董车会表示，对于感知和规控分离的分段式智驾方案而言，在环岛场景中，感知模型需要为规控模型做出“各种各样的假设”。
进行一个掉头操作，还得将掉头线拟合出来，不同路口的掉头情况不尽相同，曲率也有所差异，所以很难做到用一套代码就能搞定所有环岛掉头的情况，其种类实在是太多了。
而一体式的端到端方案则有所不同，它具备更强的复杂道路结构理解能力，可以利用人类驾驶员数据训练出不同的环岛类型、不同出入口的进出轨迹，从而自主选择适宜的行进路线。
如此一来，原本的道路拓扑和人工定义的规则，便不再是必需的了。
关于环岛这件事，贾鹏还分享了一个“有趣的故事”。
在我们（的模型数据包含）大约 80 万 clips（视频片段）的时候，还无法顺利通过环岛，后来突然有一天发现，当我们（提供了）100 万 Clips（之后），它自己能够通过环岛了，我认为是这 100 万（视频片段）中恰好包含了一些环岛数据。
“模型确实非常强大，”贾鹏补充道，“你提供了什么样的数据，它就能学会什么，这便是模型的魅力所在。”
理想如今推出的全量版本基于 V4.8.6 模型，这是在 400 万 clips 的基础上迭代的第 16 个版本。与以往相比，新模型在超车场景和导航信息的理解能力方面有所提升，同时，障碍物的检测更加精准，绕行的幅度也更为合理。
因此，不仅是环岛，像 U 型掉头、拥堵时的蠕行和博弈、十字路口等传统复杂场景，如今的“端到端 + VLM”智驾系统都能够出色地自主处理，甚至还支持 P 档激活——
在路边停车时，用户只需原地双击拨杆来激活智驾系统，不再像以往那样，必须在车道内才能进行激活操作。
介绍完端到端模型的能力后，接下来便是 VLM 模型。
VLM 模型是一种视觉语言模型，理想是首个将视觉语言模型成功应用于车端芯片的厂商，使自动驾驶具备了对未知场景进行逻辑思考的能力。
也就是说，它能够像人类一样进行思考。
举个例子，能够生成行驶轨迹的端到端模型，完全具备通过收费站的能力，但当它面对收费站时，却并不清楚自己应该选择哪条通道，最后只能随意挑选一条。
而 VLM 模型，则能够像人类一样理解物理世界的复杂交通环境和中文语义，能够清晰地分辨 ETC 车道和人工车道，并辅助端到端模型做出正确的决策。
类似的场景还有很多，例如公交车道和潮汐车道的识别、学校路段等路牌的识别、主辅路的进出等。不仅如此，在遇到施工场景、坑洼路面甚至是减速带时，VLM 模型也能够很好地理解，并进行提醒和降速操作。
截至目前，理想汽车的 VLM 视觉语言模型已经拥有了 22 亿的参数量，对物理世界的复杂交通环境具有更贴近人类的理解能力。
此外，在 OTA 6.4 版本中，高速 NOA 功能也得到了优化，在高速&城市快速路场景中，系统能够更早地识别前方慢车，超车动作更加高效且安全。
总之，在端到端 + VLM 双系统的助力下，如今面向用户的 OTA 6.4，其拟人化程度达到了一个新的高度。
理想的“快”与“慢”
从技术架构的角度来看，理想汽车在这两年经历了三次较大的调整。
从需要先验信息的 NPN 网络，到基于 BEV 和占用网络的无图 NOA，再到如今的一体化端到端技术路线。
第一代 NPN 架构较为复杂，包含了感知、定位、规划、导航、NPN 等模块，它们共同支撑起了理想汽车当时 100 城的城市 NOA 推送。
第二代无图 NOA 中，理想汽车引入了端到端大模型，模块数量大幅减少，仅剩下感知和规划，不再需要等待先验信息的更新。
理想的这一举措，使得车企之间的“竞争”，不再局限于无趣的开城数量，真正实现了只要有导航就能开启驾驶的目标。
今年 5 月，理想汽车招募了 1000 位用户，正式开启了无图 NOA，也就是 AD Max 3.0 的公测。当时的用户反馈，远远超出了理想汽车的预期，短短两个月后，理想汽车就为 24 万多位理想 AD Max 用户推送了此次升级。
只不过，此时的端到端，仍然是一个分段式的端到端，第三代智驾方案，才是真正意义上的一体式端到端——从输入到输出，全部由一个模型完成，中间没有任何规则的参与。
在过去，无论是有图方案还是无图方案，都依赖工程师根据各种各样的道路场景编写规则，试图穷尽所有道路状况以及与之对应的方案，以使智驾的范围尽可能地广泛。
通常来说，厂商会将场景大致分为三种：高速场景、城区场景和泊车场景。而这几大场景又可以进一步细分，规控工程师们需要针对这些场景编写代码。
但面对纷繁复杂的现实世界，这样的做法显然不太现实。而一体式端到端，则可以学习人类开车的过程，在接收传感器信息后，直接输出行驶轨迹。
有没有发现，此时，提升智驾能力最为重要的因素，从工程师转变为了数据。而理想，最不缺乏的便是数据。
10 月 14 日，理想汽车迎来了第 100 万辆整车在江苏省常州基地下线，中国首个百万辆新势力车企就此诞生。根据理想汽车公布的数据，在 30 万元以上的理想车型中，AD Max 用户的比例高达 70%——
每过一个月，这些车辆都能为理想提供十几亿公里的训练数据。
另外，理想很早就意识到了数据的重要性，打造了关于数据的工具链等基础能力，例如理想的后台数据库实现了通过一段话查找当时的情况，只需写一句“雨天红灯停止线附近打伞路过的行人”，就能找到相应的数据。
正是凭借着庞大的训练数据和完善的控制链，理想智驾实现了在行业中的“后发先至”，通过端到端和 VLM 构建起了自己的“快”与“慢”。
在理想看来，这套双系统智驾方案，类似于诺贝尔奖获得者丹尼尔·卡尼曼在《思考，快与慢》中的快慢系统理论：
人的快系统依靠直觉和本能，在 95%的场景下保持高效率；人的慢系统依靠有意识的分析和思考，承接 5%场景的高上限。
其中，端到端是那个“快系统”，而 VLM 自然就是“慢系统”了。
郎咸朋认为，一个自动驾驶系统到底是 L3 级别还是 L4 级别，并非取决于端到端，VLM 模型才是真正能够应对未知场景，提升能力上限的关键所在。
“理想同学，我要去这里”
除了在智能驾驶方面的升级，OTA 6.4 在用户交互方面也带来了创新。
这里同样可以分为“快”和“慢”两个部分。
作为“快系统”的端到端模型所对应的通常是文字弹窗，为驾驶员实时提供导航、交规、效率、博弈等执行逻辑和动作。
对于“慢系统”VLM 视觉语言模型，理想为其准备了全新的图文视窗。在特殊场景下，将前方感知到的画面投射到页面内，配合文案讲解模型的思考过程和结果。
在文字弹窗和图文视窗的协同作用下，无论系统执行何种车控动作，驾驶员都能够提前知晓。对于那些初次体验智驾的消费者来说，这种直观的信息展示有助于他们迅速建立对智能驾驶系统的信任感。
不得不承认，理想汽车对用户需求的理解确实十分精准。
在我们对未来的憧憬中，智驾和智舱总是紧密相连的，在 OTA 6.4 版本中，理想也为其智能空间带来了诸多升级。
首先是新增的任务大师 2.0 全面接入了理想同学和 Mind GPT 的能力，在大模型的加持下，任务大师的表现更为智能化。
Mind GPT 加持下的理想同学，不仅能够在周末家庭短途旅行和解答日常小疑问这两个场景中发挥作用，结合新升级的高德 AutoSDK 750 版本导航地图，理想同学可以通过“触控 + 语音”的方式，让驾驶员迅速进行目的地搜索。
比如说，指着地图上的某个位置，让它帮你搜索充电站任一品牌的充电桩，甚至还可以指定功率。
总之，全新的理想同学完全可以让你无需拿起手机，你可以用最为自然直观的方式，轻松设置导航路径。
端到端负责驾驶，VLM 为你思考，而你只需要简单地指明方向。
还木有评论哦，快来抢沙发吧~