103 lines
3.9 KiB
Markdown
103 lines
3.9 KiB
Markdown
# 智能挂车AI-Box软件架构设计
|
||
|
||
## 1. 系统概述
|
||
基于深明奥思Fellow 1芯片(138 TOPS)的异构三核架构(MCU+SoC+F1)，实现商用车AI-Box Demo。系统采用双核心管理架构：MCU负责电源管理和硬件监控，SoC负责系统调度和应用逻辑，F1负责大模型和CNN推理加速。
|
||
|
||
## 2. 系统分层架构
|
||
|
||
### 2.1 驱动层 (MCU + SoC)
|
||
- **MCU子系统**:
|
||
- 电源管理状态机（4种模式）
|
||
- SPI/UART/GPIO通信驱动（严格遵循IPCL协议）
|
||
- SoC健康状态监控（1秒周期，3秒超时复位）
|
||
- 硬件故障检测与处理
|
||
- **SoC子系统**:
|
||
- Linux内核驱动（GPIO/I2C/SPI/UART/PCIe/V4L2）
|
||
- Fellow 1 NPU驱动（PCIe 3.0接口）
|
||
- 摄像头V4L2框架驱动
|
||
- 温度监控与保护
|
||
|
||
### 2.2 框架层 (SoC + F1)
|
||
- **通信中间件**:
|
||
- MCU-SoC: SPI(≥10Mbps) + UART(≥1Mbps) + GPIO(RESET_N)
|
||
- SoC-F1: PCIe 3.0 (8 GT/s)
|
||
- IPCL协议栈实现（含CRC校验、重传机制、大文件分片）
|
||
- **推理引擎**:
|
||
- ONNX Runtime + Fellow 1专用NPU加速器
|
||
- INT4/INT8量化支持
|
||
- 模型分片加载与内存管理
|
||
- **系统服务**:
|
||
- 电源模式管理（运行/休眠/低功耗/关机）
|
||
- 唤醒源管理（钥匙/远程/传感器/定时）
|
||
- 故障恢复机制（强制复位、安全模式）
|
||
|
||
### 2.3 应用层 (SoC)
|
||
- **AI服务**:
|
||
- 大模型推理API（Qwen-7B/LLaMA-7B）
|
||
- CNN物体识别服务
|
||
- 多模态交互接口
|
||
- **系统服务**:
|
||
- 电源状态机协调
|
||
- 温度适应性控制
|
||
- 远程管理接口
|
||
- **多模态接口**:
|
||
- OpenAI API兼容层
|
||
- WebSocket实时通信
|
||
- RESTful管理API
|
||
|
||
## 3. 大模型推理引擎集成方案
|
||
|
||
### 3.1 模型格式与优化
|
||
- 统一使用ONNX格式，支持Qwen-7B/LLaMA-7B转换
|
||
- INT4/INT8量化优化，适配F1芯片NPU特性
|
||
- 模型剪枝和蒸馏，满足50g重量限制下的内存约束
|
||
|
||
### 3.2 部署策略
|
||
- 模型分片加载，避免内存溢出（支持512字节SPI包长限制）
|
||
- 共享内存池管理，减少CPU-GPU数据拷贝
|
||
- 异步推理队列，支持多任务并发
|
||
- 温度自适应推理频率调整（-40℃~85℃环境适应）
|
||
|
||
## 4. 电源管理模块设计
|
||
|
||
### 4.1 四种工作模式（基于IPCL规范）
|
||
- **运行模式**: 全功能开启，高性能推理 (~10W, 0ms唤醒)
|
||
- **休眠模式**: SoC降频，必要传感器工作 (~2W, 100ms唤醒)
|
||
- **低功耗模式**: SoC深度睡眠，仅关键唤醒源 (~0.5W, 500ms唤醒)
|
||
- **关机模式**: SoC完全关闭，仅MCU超低功耗 (~0.1W, 2000ms唤醒)
|
||
|
||
### 4.2 状态机与协议实现
|
||
- MCU主导电源状态切换，SoC通过SPI发送POWER_MODE_REQ
|
||
- 严格遵循IPCL电源模式切换流程（6步握手协议）
|
||
- 唤醒源优先级管理：钥匙启动 > 远程唤醒 > 传感器触发 > 定时唤醒
|
||
- 故障处理：SoC异常时MCU通过GPIO RESET_N强制复位（≥100ms低电平）
|
||
|
||
## 5. 摄像头数据处理流水线
|
||
|
||
### 5.1 数据通路（零拷贝优化）
|
||
```
|
||
摄像头 → V4L2驱动 → 图像预处理 → DMA传输 → F1共享内存 → CNN推理 → 结果回调
|
||
```
|
||
|
||
### 5.2 性能与可靠性
|
||
- 零拷贝DMA传输，避免CPU内存瓶颈
|
||
- 多缓冲区流水线处理，支持实时视频流
|
||
- 端到端延迟 < 100ms（满足商用车实时性要求）
|
||
- 极端温度环境下的稳定性保障（-40℃~85℃）
|
||
|
||
## 6. 关键技术指标
|
||
- **硬件平台**: Fellow 1芯片，138 TOPS算力
|
||
- **工作温度**: -40℃ ~ 85℃
|
||
- **尺寸重量**: 60mm × 60mm, 50g
|
||
- **推理性能**: Qwen-7B @ 138 TOPS, LLaMA-7B @ 138 TOPS
|
||
- **通信性能**: SPI ≥10Mbps, UART ≥1Mbps, PCIe 3.0 8GT/s
|
||
- **电源管理**: 四级电源模式，智能功耗控制
|
||
- **可靠性**: 3秒SoC健康监测，强制复位保护
|
||
|
||
## 7. 后续工作计划
|
||
- [ ] 详细IPCL协议栈实现（SPI/UART/GPIO驱动）
|
||
- [ ] 电源管理状态机开发与测试
|
||
- [ ] Fellow 1 NPU驱动集成与优化
|
||
- [ ] 大模型量化与部署验证
|
||
- [ ] 端到端系统集成与环境测试
|
||
- [ ] 故障恢复机制验证 |