diff --git a/ARCHITECTURE.md b/ARCHITECTURE.md index 8aed0d2..3f629bb 100644 --- a/ARCHITECTURE.md +++ b/ARCHITECTURE.md @@ -1,70 +1,103 @@ # 智能挂车AI-Box软件架构设计 ## 1. 系统概述 -基于深明奥思Fellow 1芯片(138 TOPS)的异构多核架构(MCU+SoC+F1),实现商用车AI-Box Demo。 +基于深明奥思Fellow 1芯片(138 TOPS)的异构三核架构(MCU+SoC+F1),实现商用车AI-Box Demo。系统采用双核心管理架构:MCU负责电源管理和硬件监控,SoC负责系统调度和应用逻辑,F1负责大模型和CNN推理加速。 ## 2. 系统分层架构 ### 2.1 驱动层 (MCU + SoC) -- **MCU子系统**: 电源管理、硬件监控、低功耗控制 -- **SoC子系统**: Linux内核驱动、V4L2摄像头框架、PCIe/SPI/UART通信驱动 +- **MCU子系统**: + - 电源管理状态机(4种模式) + - SPI/UART/GPIO通信驱动(严格遵循IPCL协议) + - SoC健康状态监控(1秒周期,3秒超时复位) + - 硬件故障检测与处理 +- **SoC子系统**: + - Linux内核驱动(GPIO/I2C/SPI/UART/PCIe/V4L2) + - Fellow 1 NPU驱动(PCIe 3.0接口) + - 摄像头V4L2框架驱动 + - 温度监控与保护 ### 2.2 框架层 (SoC + F1) -- **通信中间件**: MCU-SoC(SPI/UART) + SoC-F1(PCIe 3.0) -- **推理引擎**: ONNX Runtime + Fellow 1专用加速器 -- **模型管理**: 动态加载/卸载、内存优化、量化支持 +- **通信中间件**: + - MCU-SoC: SPI(≥10Mbps) + UART(≥1Mbps) + GPIO(RESET_N) + - SoC-F1: PCIe 3.0 (8 GT/s) + - IPCL协议栈实现(含CRC校验、重传机制、大文件分片) +- **推理引擎**: + - ONNX Runtime + Fellow 1专用NPU加速器 + - INT4/INT8量化支持 + - 模型分片加载与内存管理 +- **系统服务**: + - 电源模式管理(运行/休眠/低功耗/关机) + - 唤醒源管理(钥匙/远程/传感器/定时) + - 故障恢复机制(强制复位、安全模式) ### 2.3 应用层 (SoC) -- **AI服务**: 大模型推理API、CNN物体识别服务 -- **系统服务**: 电源状态机、温度监控、故障恢复 -- **多模态接口**: OpenAI API兼容层、WebSocket实时通信 +- **AI服务**: + - 大模型推理API(Qwen-7B/LLaMA-7B) + - CNN物体识别服务 + - 多模态交互接口 +- **系统服务**: + - 电源状态机协调 + - 温度适应性控制 + - 远程管理接口 +- **多模态接口**: + - OpenAI API兼容层 + - WebSocket实时通信 + - RESTful管理API ## 3. 大模型推理引擎集成方案 -### 3.1 模型格式 +### 3.1 模型格式与优化 - 统一使用ONNX格式,支持Qwen-7B/LLaMA-7B转换 - INT4/INT8量化优化,适配F1芯片NPU特性 +- 模型剪枝和蒸馏,满足50g重量限制下的内存约束 ### 3.2 部署策略 -- 模型分片加载,避免内存溢出 -- 共享内存池管理,减少数据拷贝 +- 模型分片加载,避免内存溢出(支持512字节SPI包长限制) +- 共享内存池管理,减少CPU-GPU数据拷贝 - 异步推理队列,支持多任务并发 +- 温度自适应推理频率调整(-40℃~85℃环境适应) ## 4. 电源管理模块设计 -### 4.1 四种工作模式 -- **运行模式**: 全功能开启,高性能推理 -- **待机模式**: SoC休眠,MCU监听唤醒事件 -- **低功耗模式**: 仅MCU运行,维持基本监控 -- **关机模式**: 完全断电,支持远程唤醒 +### 4.1 四种工作模式(基于IPCL规范) +- **运行模式**: 全功能开启,高性能推理 (~10W, 0ms唤醒) +- **休眠模式**: SoC降频,必要传感器工作 (~2W, 100ms唤醒) +- **低功耗模式**: SoC深度睡眠,仅关键唤醒源 (~0.5W, 500ms唤醒) +- **关机模式**: SoC完全关闭,仅MCU超低功耗 (~0.1W, 2000ms唤醒) -### 4.2 状态机设计 -- MCU主导电源状态切换 -- SoC通过SPI发送电源请求 -- 温度异常自动降频保护 +### 4.2 状态机与协议实现 +- MCU主导电源状态切换,SoC通过SPI发送POWER_MODE_REQ +- 严格遵循IPCL电源模式切换流程(6步握手协议) +- 唤醒源优先级管理:钥匙启动 > 远程唤醒 > 传感器触发 > 定时唤醒 +- 故障处理:SoC异常时MCU通过GPIO RESET_N强制复位(≥100ms低电平) ## 5. 摄像头数据处理流水线 -### 5.1 数据通路 +### 5.1 数据通路(零拷贝优化) ``` 摄像头 → V4L2驱动 → 图像预处理 → DMA传输 → F1共享内存 → CNN推理 → 结果回调 ``` -### 5.2 性能优化 -- 零拷贝DMA传输 -- 多缓冲区流水线处理 -- 实时性保障:端到端延迟 < 100ms +### 5.2 性能与可靠性 +- 零拷贝DMA传输,避免CPU内存瓶颈 +- 多缓冲区流水线处理,支持实时视频流 +- 端到端延迟 < 100ms(满足商用车实时性要求) +- 极端温度环境下的稳定性保障(-40℃~85℃) ## 6. 关键技术指标 +- **硬件平台**: Fellow 1芯片,138 TOPS算力 - **工作温度**: -40℃ ~ 85℃ - **尺寸重量**: 60mm × 60mm, 50g -- **推理性能**: Qwen-7B @ 138 TOPS -- **功耗控制**: 四级电源管理模式 -- **通信带宽**: PCIe 3.0 (8 GT/s) +- **推理性能**: Qwen-7B @ 138 TOPS, LLaMA-7B @ 138 TOPS +- **通信性能**: SPI ≥10Mbps, UART ≥1Mbps, PCIe 3.0 8GT/s +- **电源管理**: 四级电源模式,智能功耗控制 +- **可靠性**: 3秒SoC健康监测,强制复位保护 ## 7. 后续工作计划 -- [ ] 详细接口规范定义 -- [ ] 驱动开发和调试 -- [ ] 推理引擎集成测试 -- [ ] 电源管理状态机实现 -- [ ] 端到端系统联调 \ No newline at end of file +- [ ] 详细IPCL协议栈实现(SPI/UART/GPIO驱动) +- [ ] 电源管理状态机开发与测试 +- [ ] Fellow 1 NPU驱动集成与优化 +- [ ] 大模型量化与部署验证 +- [ ] 端到端系统集成与环境测试 +- [ ] 故障恢复机制验证 \ No newline at end of file