feat: add initial software architecture design for AI-Box
This commit is contained in:
parent
2c97369f9e
commit
d1afcb6688
|
|
@ -0,0 +1,70 @@
|
||||||
|
# 智能挂车AI-Box软件架构设计
|
||||||
|
|
||||||
|
## 1. 系统概述
|
||||||
|
基于深明奥思Fellow 1芯片(138 TOPS)的异构多核架构(MCU+SoC+F1),实现商用车AI-Box Demo。
|
||||||
|
|
||||||
|
## 2. 系统分层架构
|
||||||
|
|
||||||
|
### 2.1 驱动层 (MCU + SoC)
|
||||||
|
- **MCU子系统**: 电源管理、硬件监控、低功耗控制
|
||||||
|
- **SoC子系统**: Linux内核驱动、V4L2摄像头框架、PCIe/SPI/UART通信驱动
|
||||||
|
|
||||||
|
### 2.2 框架层 (SoC + F1)
|
||||||
|
- **通信中间件**: MCU-SoC(SPI/UART) + SoC-F1(PCIe 3.0)
|
||||||
|
- **推理引擎**: ONNX Runtime + Fellow 1专用加速器
|
||||||
|
- **模型管理**: 动态加载/卸载、内存优化、量化支持
|
||||||
|
|
||||||
|
### 2.3 应用层 (SoC)
|
||||||
|
- **AI服务**: 大模型推理API、CNN物体识别服务
|
||||||
|
- **系统服务**: 电源状态机、温度监控、故障恢复
|
||||||
|
- **多模态接口**: OpenAI API兼容层、WebSocket实时通信
|
||||||
|
|
||||||
|
## 3. 大模型推理引擎集成方案
|
||||||
|
|
||||||
|
### 3.1 模型格式
|
||||||
|
- 统一使用ONNX格式,支持Qwen-7B/LLaMA-7B转换
|
||||||
|
- INT4/INT8量化优化,适配F1芯片NPU特性
|
||||||
|
|
||||||
|
### 3.2 部署策略
|
||||||
|
- 模型分片加载,避免内存溢出
|
||||||
|
- 共享内存池管理,减少数据拷贝
|
||||||
|
- 异步推理队列,支持多任务并发
|
||||||
|
|
||||||
|
## 4. 电源管理模块设计
|
||||||
|
|
||||||
|
### 4.1 四种工作模式
|
||||||
|
- **运行模式**: 全功能开启,高性能推理
|
||||||
|
- **待机模式**: SoC休眠,MCU监听唤醒事件
|
||||||
|
- **低功耗模式**: 仅MCU运行,维持基本监控
|
||||||
|
- **关机模式**: 完全断电,支持远程唤醒
|
||||||
|
|
||||||
|
### 4.2 状态机设计
|
||||||
|
- MCU主导电源状态切换
|
||||||
|
- SoC通过SPI发送电源请求
|
||||||
|
- 温度异常自动降频保护
|
||||||
|
|
||||||
|
## 5. 摄像头数据处理流水线
|
||||||
|
|
||||||
|
### 5.1 数据通路
|
||||||
|
```
|
||||||
|
摄像头 → V4L2驱动 → 图像预处理 → DMA传输 → F1共享内存 → CNN推理 → 结果回调
|
||||||
|
```
|
||||||
|
|
||||||
|
### 5.2 性能优化
|
||||||
|
- 零拷贝DMA传输
|
||||||
|
- 多缓冲区流水线处理
|
||||||
|
- 实时性保障:端到端延迟 < 100ms
|
||||||
|
|
||||||
|
## 6. 关键技术指标
|
||||||
|
- **工作温度**: -40℃ ~ 85℃
|
||||||
|
- **尺寸重量**: 60mm × 60mm, 50g
|
||||||
|
- **推理性能**: Qwen-7B @ 138 TOPS
|
||||||
|
- **功耗控制**: 四级电源管理模式
|
||||||
|
- **通信带宽**: PCIe 3.0 (8 GT/s)
|
||||||
|
|
||||||
|
## 7. 后续工作计划
|
||||||
|
- [ ] 详细接口规范定义
|
||||||
|
- [ ] 驱动开发和调试
|
||||||
|
- [ ] 推理引擎集成测试
|
||||||
|
- [ ] 电源管理状态机实现
|
||||||
|
- [ ] 端到端系统联调
|
||||||
Loading…
Reference in New Issue