# 智能挂车AI-Box软件架构设计 ## 1. 系统概述 基于深明奥思Fellow 1芯片(138 TOPS)的异构三核架构(MCU+SoC+F1),实现商用车AI-Box Demo。系统采用双核心管理架构:MCU负责电源管理和硬件监控,SoC负责系统调度和应用逻辑,F1负责大模型和CNN推理加速。 ## 2. 系统分层架构 ### 2.1 驱动层 (MCU + SoC) - **MCU子系统**: - 电源管理状态机(4种模式) - SPI/UART/GPIO通信驱动(严格遵循IPCL协议) - SoC健康状态监控(1秒周期,3秒超时复位) - 硬件故障检测与处理 - **SoC子系统**: - Linux内核驱动(GPIO/I2C/SPI/UART/PCIe/V4L2) - Fellow 1 NPU驱动(PCIe 3.0接口) - 摄像头V4L2框架驱动 - 温度监控与保护 ### 2.2 框架层 (SoC + F1) - **通信中间件**: - MCU-SoC: SPI(≥10Mbps) + UART(≥1Mbps) + GPIO(RESET_N) - SoC-F1: PCIe 3.0 (8 GT/s) - IPCL协议栈实现(含CRC校验、重传机制、大文件分片) - **推理引擎**: - ONNX Runtime + Fellow 1专用NPU加速器 - INT4/INT8量化支持 - 模型分片加载与内存管理 - **系统服务**: - 电源模式管理(运行/休眠/低功耗/关机) - 唤醒源管理(钥匙/远程/传感器/定时) - 故障恢复机制(强制复位、安全模式) ### 2.3 应用层 (SoC) - **AI服务**: - 大模型推理API(Qwen-7B/LLaMA-7B) - CNN物体识别服务 - 多模态交互接口 - **系统服务**: - 电源状态机协调 - 温度适应性控制 - 远程管理接口 - **多模态接口**: - OpenAI API兼容层 - WebSocket实时通信 - RESTful管理API ## 3. 大模型推理引擎集成方案 ### 3.1 模型格式与优化 - 统一使用ONNX格式,支持Qwen-7B/LLaMA-7B转换 - INT4/INT8量化优化,适配F1芯片NPU特性 - 模型剪枝和蒸馏,满足50g重量限制下的内存约束 ### 3.2 部署策略 - 模型分片加载,避免内存溢出(支持512字节SPI包长限制) - 共享内存池管理,减少CPU-GPU数据拷贝 - 异步推理队列,支持多任务并发 - 温度自适应推理频率调整(-40℃~85℃环境适应) ## 4. 电源管理模块设计 ### 4.1 四种工作模式(基于IPCL规范) - **运行模式**: 全功能开启,高性能推理 (~10W, 0ms唤醒) - **休眠模式**: SoC降频,必要传感器工作 (~2W, 100ms唤醒) - **低功耗模式**: SoC深度睡眠,仅关键唤醒源 (~0.5W, 500ms唤醒) - **关机模式**: SoC完全关闭,仅MCU超低功耗 (~0.1W, 2000ms唤醒) ### 4.2 状态机与协议实现 - MCU主导电源状态切换,SoC通过SPI发送POWER_MODE_REQ - 严格遵循IPCL电源模式切换流程(6步握手协议) - 唤醒源优先级管理:钥匙启动 > 远程唤醒 > 传感器触发 > 定时唤醒 - 故障处理:SoC异常时MCU通过GPIO RESET_N强制复位(≥100ms低电平) ## 5. 摄像头数据处理流水线 ### 5.1 数据通路(零拷贝优化) ``` 摄像头 → V4L2驱动 → 图像预处理 → DMA传输 → F1共享内存 → CNN推理 → 结果回调 ``` ### 5.2 性能与可靠性 - 零拷贝DMA传输,避免CPU内存瓶颈 - 多缓冲区流水线处理,支持实时视频流 - 端到端延迟 < 100ms(满足商用车实时性要求) - 极端温度环境下的稳定性保障(-40℃~85℃) ## 6. 关键技术指标 - **硬件平台**: Fellow 1芯片,138 TOPS算力 - **工作温度**: -40℃ ~ 85℃ - **尺寸重量**: 60mm × 60mm, 50g - **推理性能**: Qwen-7B @ 138 TOPS, LLaMA-7B @ 138 TOPS - **通信性能**: SPI ≥10Mbps, UART ≥1Mbps, PCIe 3.0 8GT/s - **电源管理**: 四级电源模式,智能功耗控制 - **可靠性**: 3秒SoC健康监测,强制复位保护 ## 7. 后续工作计划 - [ ] 详细IPCL协议栈实现(SPI/UART/GPIO驱动) - [ ] 电源管理状态机开发与测试 - [ ] Fellow 1 NPU驱动集成与优化 - [ ] 大模型量化与部署验证 - [ ] 端到端系统集成与环境测试 - [ ] 故障恢复机制验证