feat: update architecture design with IPCL and power specs
This commit is contained in:
parent
d1afcb6688
commit
1b66c9d060
101
ARCHITECTURE.md
101
ARCHITECTURE.md
|
|
@ -1,70 +1,103 @@
|
||||||
# 智能挂车AI-Box软件架构设计
|
# 智能挂车AI-Box软件架构设计
|
||||||
|
|
||||||
## 1. 系统概述
|
## 1. 系统概述
|
||||||
基于深明奥思Fellow 1芯片(138 TOPS)的异构多核架构(MCU+SoC+F1),实现商用车AI-Box Demo。
|
基于深明奥思Fellow 1芯片(138 TOPS)的异构三核架构(MCU+SoC+F1),实现商用车AI-Box Demo。系统采用双核心管理架构:MCU负责电源管理和硬件监控,SoC负责系统调度和应用逻辑,F1负责大模型和CNN推理加速。
|
||||||
|
|
||||||
## 2. 系统分层架构
|
## 2. 系统分层架构
|
||||||
|
|
||||||
### 2.1 驱动层 (MCU + SoC)
|
### 2.1 驱动层 (MCU + SoC)
|
||||||
- **MCU子系统**: 电源管理、硬件监控、低功耗控制
|
- **MCU子系统**:
|
||||||
- **SoC子系统**: Linux内核驱动、V4L2摄像头框架、PCIe/SPI/UART通信驱动
|
- 电源管理状态机(4种模式)
|
||||||
|
- SPI/UART/GPIO通信驱动(严格遵循IPCL协议)
|
||||||
|
- SoC健康状态监控(1秒周期,3秒超时复位)
|
||||||
|
- 硬件故障检测与处理
|
||||||
|
- **SoC子系统**:
|
||||||
|
- Linux内核驱动(GPIO/I2C/SPI/UART/PCIe/V4L2)
|
||||||
|
- Fellow 1 NPU驱动(PCIe 3.0接口)
|
||||||
|
- 摄像头V4L2框架驱动
|
||||||
|
- 温度监控与保护
|
||||||
|
|
||||||
### 2.2 框架层 (SoC + F1)
|
### 2.2 框架层 (SoC + F1)
|
||||||
- **通信中间件**: MCU-SoC(SPI/UART) + SoC-F1(PCIe 3.0)
|
- **通信中间件**:
|
||||||
- **推理引擎**: ONNX Runtime + Fellow 1专用加速器
|
- MCU-SoC: SPI(≥10Mbps) + UART(≥1Mbps) + GPIO(RESET_N)
|
||||||
- **模型管理**: 动态加载/卸载、内存优化、量化支持
|
- SoC-F1: PCIe 3.0 (8 GT/s)
|
||||||
|
- IPCL协议栈实现(含CRC校验、重传机制、大文件分片)
|
||||||
|
- **推理引擎**:
|
||||||
|
- ONNX Runtime + Fellow 1专用NPU加速器
|
||||||
|
- INT4/INT8量化支持
|
||||||
|
- 模型分片加载与内存管理
|
||||||
|
- **系统服务**:
|
||||||
|
- 电源模式管理(运行/休眠/低功耗/关机)
|
||||||
|
- 唤醒源管理(钥匙/远程/传感器/定时)
|
||||||
|
- 故障恢复机制(强制复位、安全模式)
|
||||||
|
|
||||||
### 2.3 应用层 (SoC)
|
### 2.3 应用层 (SoC)
|
||||||
- **AI服务**: 大模型推理API、CNN物体识别服务
|
- **AI服务**:
|
||||||
- **系统服务**: 电源状态机、温度监控、故障恢复
|
- 大模型推理API(Qwen-7B/LLaMA-7B)
|
||||||
- **多模态接口**: OpenAI API兼容层、WebSocket实时通信
|
- CNN物体识别服务
|
||||||
|
- 多模态交互接口
|
||||||
|
- **系统服务**:
|
||||||
|
- 电源状态机协调
|
||||||
|
- 温度适应性控制
|
||||||
|
- 远程管理接口
|
||||||
|
- **多模态接口**:
|
||||||
|
- OpenAI API兼容层
|
||||||
|
- WebSocket实时通信
|
||||||
|
- RESTful管理API
|
||||||
|
|
||||||
## 3. 大模型推理引擎集成方案
|
## 3. 大模型推理引擎集成方案
|
||||||
|
|
||||||
### 3.1 模型格式
|
### 3.1 模型格式与优化
|
||||||
- 统一使用ONNX格式,支持Qwen-7B/LLaMA-7B转换
|
- 统一使用ONNX格式,支持Qwen-7B/LLaMA-7B转换
|
||||||
- INT4/INT8量化优化,适配F1芯片NPU特性
|
- INT4/INT8量化优化,适配F1芯片NPU特性
|
||||||
|
- 模型剪枝和蒸馏,满足50g重量限制下的内存约束
|
||||||
|
|
||||||
### 3.2 部署策略
|
### 3.2 部署策略
|
||||||
- 模型分片加载,避免内存溢出
|
- 模型分片加载,避免内存溢出(支持512字节SPI包长限制)
|
||||||
- 共享内存池管理,减少数据拷贝
|
- 共享内存池管理,减少CPU-GPU数据拷贝
|
||||||
- 异步推理队列,支持多任务并发
|
- 异步推理队列,支持多任务并发
|
||||||
|
- 温度自适应推理频率调整(-40℃~85℃环境适应)
|
||||||
|
|
||||||
## 4. 电源管理模块设计
|
## 4. 电源管理模块设计
|
||||||
|
|
||||||
### 4.1 四种工作模式
|
### 4.1 四种工作模式(基于IPCL规范)
|
||||||
- **运行模式**: 全功能开启,高性能推理
|
- **运行模式**: 全功能开启,高性能推理 (~10W, 0ms唤醒)
|
||||||
- **待机模式**: SoC休眠,MCU监听唤醒事件
|
- **休眠模式**: SoC降频,必要传感器工作 (~2W, 100ms唤醒)
|
||||||
- **低功耗模式**: 仅MCU运行,维持基本监控
|
- **低功耗模式**: SoC深度睡眠,仅关键唤醒源 (~0.5W, 500ms唤醒)
|
||||||
- **关机模式**: 完全断电,支持远程唤醒
|
- **关机模式**: SoC完全关闭,仅MCU超低功耗 (~0.1W, 2000ms唤醒)
|
||||||
|
|
||||||
### 4.2 状态机设计
|
### 4.2 状态机与协议实现
|
||||||
- MCU主导电源状态切换
|
- MCU主导电源状态切换,SoC通过SPI发送POWER_MODE_REQ
|
||||||
- SoC通过SPI发送电源请求
|
- 严格遵循IPCL电源模式切换流程(6步握手协议)
|
||||||
- 温度异常自动降频保护
|
- 唤醒源优先级管理:钥匙启动 > 远程唤醒 > 传感器触发 > 定时唤醒
|
||||||
|
- 故障处理:SoC异常时MCU通过GPIO RESET_N强制复位(≥100ms低电平)
|
||||||
|
|
||||||
## 5. 摄像头数据处理流水线
|
## 5. 摄像头数据处理流水线
|
||||||
|
|
||||||
### 5.1 数据通路
|
### 5.1 数据通路(零拷贝优化)
|
||||||
```
|
```
|
||||||
摄像头 → V4L2驱动 → 图像预处理 → DMA传输 → F1共享内存 → CNN推理 → 结果回调
|
摄像头 → V4L2驱动 → 图像预处理 → DMA传输 → F1共享内存 → CNN推理 → 结果回调
|
||||||
```
|
```
|
||||||
|
|
||||||
### 5.2 性能优化
|
### 5.2 性能与可靠性
|
||||||
- 零拷贝DMA传输
|
- 零拷贝DMA传输,避免CPU内存瓶颈
|
||||||
- 多缓冲区流水线处理
|
- 多缓冲区流水线处理,支持实时视频流
|
||||||
- 实时性保障:端到端延迟 < 100ms
|
- 端到端延迟 < 100ms(满足商用车实时性要求)
|
||||||
|
- 极端温度环境下的稳定性保障(-40℃~85℃)
|
||||||
|
|
||||||
## 6. 关键技术指标
|
## 6. 关键技术指标
|
||||||
|
- **硬件平台**: Fellow 1芯片,138 TOPS算力
|
||||||
- **工作温度**: -40℃ ~ 85℃
|
- **工作温度**: -40℃ ~ 85℃
|
||||||
- **尺寸重量**: 60mm × 60mm, 50g
|
- **尺寸重量**: 60mm × 60mm, 50g
|
||||||
- **推理性能**: Qwen-7B @ 138 TOPS
|
- **推理性能**: Qwen-7B @ 138 TOPS, LLaMA-7B @ 138 TOPS
|
||||||
- **功耗控制**: 四级电源管理模式
|
- **通信性能**: SPI ≥10Mbps, UART ≥1Mbps, PCIe 3.0 8GT/s
|
||||||
- **通信带宽**: PCIe 3.0 (8 GT/s)
|
- **电源管理**: 四级电源模式,智能功耗控制
|
||||||
|
- **可靠性**: 3秒SoC健康监测,强制复位保护
|
||||||
|
|
||||||
## 7. 后续工作计划
|
## 7. 后续工作计划
|
||||||
- [ ] 详细接口规范定义
|
- [ ] 详细IPCL协议栈实现(SPI/UART/GPIO驱动)
|
||||||
- [ ] 驱动开发和调试
|
- [ ] 电源管理状态机开发与测试
|
||||||
- [ ] 推理引擎集成测试
|
- [ ] Fellow 1 NPU驱动集成与优化
|
||||||
- [ ] 电源管理状态机实现
|
- [ ] 大模型量化与部署验证
|
||||||
- [ ] 端到端系统联调
|
- [ ] 端到端系统集成与环境测试
|
||||||
|
- [ ] 故障恢复机制验证
|
||||||
Loading…
Reference in New Issue