引言
ADAS 感知是自动驾驶的「眼睛」：摄像头提供纹理与语义，毫米波雷达提供距离与速度且不受天气影响，激光雷达提供高精度三维点云，超声波负责近距离。单一传感器都有盲区，融合才能可靠。感知的输出是「目标列表 + 自车定位 + 可行驶区域」，供规划控制使用。
工程难点不在算法（学术界论文很多），而在「车规约束下的实时性与可靠性」：感知要在 30~100 ms 内出结果（否则规划来不及），要在 SoC 上跑（功耗与散热受限），要满足 SOTIF（处理性能边界），还要可标定（传感器装配误差影响精度）。
另一个难点是「时间同步」：多传感器数据必须统一到同一时基，否则融合结果错位。这依赖硬件触发（摄像头曝光同步）与 gPTP 时间戳。本文按「分级 → 各传感器 → 同步标定 → 算法 → 融合 → 部署」拆解。
目录
- ADAS 分级与传感器配置
- 摄像头与 ISP 处理链
- 毫米波雷达
- 激光雷达
- 超声波与多传感器融合
- 时间同步与标定
- 感知算法与 BEV 表征
- 融合架构与目标跟踪
- 算力平台与模型部署
1. ADAS 分级与传感器配置
SAE 定义了 L0 到 L5 的自动化分级，不同级别对应不同传感器配置：
分级（SAE J3016）：
L0 无自动化：仅警告（如 FCW）
L1 驾驶辅助：纵向或横向之一（ACC 或 LKA）
L2 部分自动化：纵横向同时，驾驶员监督
L3 有条件自动化：特定场景脱手，需接管
L4 高度自动化：特定场景无需接管
L5 完全自动化：全场景
典型传感器配置：
L1/L2（前视一体机）：
1 前视摄像头（100 万~800 万像素）
1~3 毫米波雷达（前向 + 角雷达）
12 超声波雷达
算力：< 10 TOPS
L2+（高速领航）：
前视 800 万 + 4 环视 + 2 侧视 + 1 后视
5 毫米波雷达（1 前 + 4 角）
1 激光雷达（可选）
算力：50~200 TOPS
L3/L4：
多摄像头（8~12 路）
激光雷达（1~5 个）
高精度 IMU + GNSS
算力：200~1000+ TOPS
2. 摄像头与 ISP 处理链
摄像头是感知主力，处理链从光子到图像：
处理链：
镜头 → CMOS 传感器（Bayer 原始数据）→ ISP → YUV/RGB → 感知算法
ISP（Image Signal Processor）关键处理：
黑电平校正 → 去马赛克（demosaic）→ 白平衡 → 去噪
→ 伽马校正 → 色彩校正 → 锐化 → 输出
HDR（高动态范围）：
隧道口、逆光场景需要 > 120 dB 动态范围
实现：多帧合成（短曝光 + 长曝光）或分像素曝光
多帧合成会有运动伪影，需对齐补偿
LED 闪烁抑制（LFM）：
LED 车灯/信号灯以高频闪烁
普通摄像头会拍到半亮或不亮
需要 > 90 Hz 曝光或特殊算法
接口：
MIPI CSI-2：主流，1~4 lane，每 lane 1.5~2.5 Gbps
GMSL2（Maxim）：同轴电缆，长距离，车载主流
FPD-Link III（TI）：类似 GMSL
8 MP 摄像头 @ 30 fps，RAW12（8 MP = 3840 × 2160）：
3840 × 2160 × 12 bit × 30 fps ≈ 3 Gbps
→ 需要多 lane 或压缩
摄像头参数：800 万像素（3840×2160）已成主流，视场角前视通常 30°/60°/120°（三目）。
3. 毫米波雷达
毫米波雷达用 FMCW（调频连续波）测距测速，不受雨雪雾影响：
FMCW 原理：
发射频率线性扫频（chirp）
接收回波与发射信号混频 → 拍频（beat frequency）
距离 ∝ 拍频
速度 ∝ 多普勒频移（跨 chirp 的相位变化）
角度 ∝ 多天线相位差（MIMO）
频段：
24 GHz：早期，带宽 250 MHz，距离分辨率低
77 GHz：主流，带宽 1~4 GHz
79 GHz：更高带宽，分辨率更好
距离分辨率 = c / (2 × 带宽)
1 GHz 带宽 → 15 cm
4 GHz 带宽 → 3.75 cm
4D 成像雷达：
传统雷达只有距离、速度、方位角（3D）
4D 雷达增加俯仰角（elevation）
→ 可测高度，区分天桥与车辆
实现：更多收发通道（如 12T16R = 192 虚拟通道）
输出点云密度接近低线束激光雷达
输出：
传统：目标列表（距离、速度、角度、RCS）
4D：点云 + 目标
雷达的优势是全天气、测速准；劣势是分辨率低、对静止目标识别差、金属杂波多。
4. 激光雷达
激光雷达提供高精度三维点云，是 L3+ 的标配：
测距原理：
ToF（飞行时间）：
发射激光脉冲，测回波时间
距离 = c × 时间 / 2
905 nm 波长（硅基探测器，成本低）
FMCW（调频连续波）：
相干探测，测距离与速度
1550 nm 波长（人眼安全功率更高）
抗干扰强，但成本高
扫描方式：
机械旋转：360°，精度高，寿命短（早期）
半固态（MEMS）：微振镜扫描，成本低
转镜：旋转棱镜，可靠性好
固态（OPA/Flash）：无机械部件，未来方向
关键参数：
线束：16/32/64/128 线，线束越多分辨率越高
测距：100~250 m（10% 反射率）
角分辨率：0.1°~0.2°
帧率：10~20 Hz
点频：百万点/秒级
128 线 @ 20 Hz：
128 × 2000 点/线 × 20 = 5.12 M 点/秒
数据量：每点 4 字节距离 + 强度 ≈ 20 MB/s
激光雷达的痛点是成本与可靠性（机械件寿命、恶劣天气衰减）。
5. 超声波与多传感器融合
超声波是近距离感知（泊车），融合是最终目标：
超声波雷达（USS）：
频率：40~58 kHz
测距：0.2~5 m
用途：泊车、盲区检测、自动泊车
数量：8~12 个（前后保险杠）
局限：低速才有效（< 15 km/h），受温度影响
多传感器融合的层次：
1. 数据级融合（前融合）：
原始数据（图像 + 点云）统一表征后融合
精度高，但要求时间空间严格对齐
代表：BEV 融合
2. 特征级融合（中融合）：
各传感器提取特征后融合
平衡精度与复杂度
3. 目标级融合（后融合）：
各传感器各自出目标，再关联融合
简单、模块化，但丢失信息
传统 ADAS 常用
传感器互补：
摄像头：纹理、语义、颜色，受光照影响
雷达：距离、速度、全天候，分辨率低
激光雷达：三维精度，受天气影响、成本高
6. 时间同步与标定
多传感器必须统一时基与坐标系：
时间同步：
1. 硬件触发：一个信号同步所有摄像头曝光
精度：微秒级
2. 时间戳：gPTP（802.1AS）打时间戳
精度：< 1 us
3. 软件对齐：按时间戳插值到统一时刻
为什么重要：
120 km/h = 33 m/s
10 ms 时间偏差 → 33 cm 位置偏差
融合时目标错位，导致误判
标定：
内参标定：焦距、主点、畸变系数（摄像头）
外参标定：传感器相对位姿（旋转 + 平移）
在线标定（Online Calibration）：
行驶中根据道路特征估计外参漂移
车辆振动、温度变化会导致外参漂移
需要持续校正
标定精度要求：
外参角度误差 < 0.1°
位置误差 < 5 cm
否则远距离目标融合偏差大
标定场：
产线用标定板（棋盘格、圆形靶标）
标定后写入 ECU，实车在线微调
7. 感知算法与 BEV 表征
BEV（鸟瞰图）是当前感知的主流表征：
为什么用 BEV：
多传感器在同一平面表征，融合自然
规划控制也工作在 BEV 空间
避免了图像空间到 BEV 的重复转换
BEV 生成方法：
1. LSS（Lift-Splat-Shoot）：
预测每个像素的深度分布
按深度投影到 BEV 网格
2. BEVFormer：
用 Transformer 的注意力机制
从多相机图像查询 BEV 特征
3. BEVDet / BEVDepth：
显式深度监督，提升精度
4. 时序融合：
融合历史帧，提升遮挡与速度估计
如 BEVFormer 用 4 帧历史
典型网络结构：
多相机图像 → 骨干网（ResNet/Swin）→ 特征
→ 视角变换（BEV 投影）→ BEV 特征
→ 检测头（目标）/ 分割头（可行驶区域/车道线）
→ 输出 BEV 目标 + 地图
BEV 感知的算力需求大，通常在 200 TOPS 以上平台跑。
8. 融合架构与目标跟踪
目标跟踪把逐帧检测连成轨迹：
跟踪流程：
1. 检测：每帧输出目标（位置、尺寸、类别、置信度）
2. 预测：用运动模型预测目标下一帧位置
卡尔曼滤波（线性）或扩展卡尔曼（非线性）
3. 关联：把检测与轨迹匹配
匈牙利算法 + 代价矩阵（IoU、距离、外观）
4. 更新：用检测修正轨迹状态
5. 管理：新目标创建、丢失目标删除
卡尔曼滤波状态（3D 目标）：
x = [px, py, pz, vx, vy, vz, ...]
预测：x' = F·x（匀速/匀加速模型）
更新：x = x' + K·(z - H·x')
多传感器融合跟踪：
各传感器检测 → 统一坐标系 → 关联到轨迹
雷达测速准 → 用于速度更新
摄像头分类准 → 用于类别
激光雷达定位准 → 用于位置
关联的难点：
密集场景（多目标靠近）
遮挡（目标消失又出现）
传感器时间不同步（需插值）
9. 算力平台与模型部署
感知模型要部署到车规 SoC 上，涉及大量优化：
主流平台：
NVIDIA Orin：254 TOPS（INT8），车规
NVIDIA Thor：2000 TOPS
高通 Snapdragon Ride：700 TOPS
地平线 J5：128 TOPS，J6：560 TOPS
华为 MDC：多种算力档位
特斯拉 FSD 芯片：72 TOPS × 2（冗余）
模型部署优化：
1. 量化：FP32 → INT8，算力提升 4 倍，精度损失 < 1%
2. 剪枝：去掉冗余权重
3. 蒸馏：大模型教小模型
4. 算子融合：减少内存访问
5. TensorRT / 厂商编译器优化
6. 多模型并行：不同任务调度到不同引擎
部署约束：
功耗：Orin 最高 60 W，散热受限
内存带宽：LPDDR5，共享带宽是瓶颈
延迟：端到端 < 100 ms
确定性：不能有动态形状导致延迟抖动
实时性保障：
固定 batch size
预分配内存池
避免运行时编译
权衡取舍
| 决策点 | 选项 A | 选项 B | 建议 |
|---|---|---|---|
| 传感器 | 纯视觉 | 多传感器 | L2 可纯视觉，L3+ 必须冗余 |
| 雷达 | 传统 3D | 4D 成像 | 4D 提升高度分辨，成本略高 |
| 激光雷达 | 机械 | 半固态 | 量产用半固态，测试用机械 |
| 融合 | 后融合 | 前融合 | 精度优先前融合，工程简单后融合 |
| 表征 | 图像空间 | BEV | 多传感器融合用 BEV |
| 算力 | 单 SoC | 双 SoC 冗余 | L3+ 需冗余，L2 单 SoC |
常见坑清单
- 时间不同步：多传感器未统一时基，融合错位，必须硬件触发 + gPTP。
- 外参漂移未校正：振动导致标定失效，远距离偏差大，需在线标定。
- 忽视 LED 闪烁：信号灯拍到不亮，需 LFM 摄像头。
- HDR 运动伪影：多帧合成对运动物体有拖影，需对齐补偿。
- 雷达静止目标误检：地面金属杂波误判，需杂波抑制。
- 激光雷达雨天衰减：雨雾导致点云稀疏，需降级策略。
- BEV 深度估计不准：LSS 深度分布误差导致投影偏移，需深度监督。
- 关联参数写死：密集场景跟踪 ID 跳变，需自适应代价权重。
- 量化精度损失：INT8 量化后小目标漏检，需量化感知训练。
- 延迟抖动：动态形状导致推理时间波动，需固定输入尺寸。
小结
ADAS 感知是「多传感器在统一时基与坐标系下的协同」：摄像头管语义、雷达管测速、激光雷达管精度，融合出统一的目标列表与 BEV 表征。工程的关键是时间同步、在线标定、以及车规算力下的模型优化。
实践路径：先理解各传感器的物理原理与局限，再学时间同步与标定，然后进入 BEV 感知与跟踪算法，最后做部署优化。感知的 SOTIF 合规见 功能安全 ISO 26262 工程实践 ；传感器数据的传输见 CAN FD 与车载以太网 与 SOME/IP 与车载中间件 。
时间同步的底层协议可参考网络时间同步 PTP；座舱侧的感知结果展示见 智能座舱与车载 HMI 开发 。
继续阅读
探索更多技术文章
浏览归档，发现更多关于系统设计、工具链和工程实践的内容。