本讲目标与路线

• 判断任务应放在云、边还是端，而不是先比较芯片。
• 理解边缘 AI 卡从连接到专用推理的演进。
• 认识 OrangePi AIpro 8T 整板与 310B 两档资源。
• 用双板证据做一次可复现的档位选择。

主线：约束 → 候选 → 证据 → 决策。每一步都要留下可复核的记录。

先问：数据在哪里产生，决策在哪里发生

云和边不是替代关系；合理系统会同时使用端、边、云。

选边还是上云：用约束而不是口号

下沉理由必须能被时延、带宽、隐私或离线能力量化，否则应先留在云端。

边缘 AI 卡演进：从连接到专用推理

1. 早期节点以低功耗 CPU 为主，承担采集、协议转换与转发。
2. FPGA 与 VPU 进入视觉现场，用可重构或专用数据通路降低延迟。
3. GPU 与 CUDA 把并行计算带到边缘，也带来成熟的软件生态。
4. SoC 集成 CPU、NPU 与多媒体单元，面向低功耗、小型化设备。
5. 当前竞争不只看 TOPS，还看功耗、成本、软件栈、接口与行业生态。

技术路线的差异，最终体现在它能完成哪类系统任务。

三条路线：先看任务，再看芯片

选型时先写清模型、接口和实时约束，再比较具体型号。

选型先过五道门

• 任务门：模型、输入尺寸、精度和端到端时延是否明确。
• 软件门：框架、算子、驱动、固件和 CANN 是否有可运行组合。
• 媒体门：摄像头、编解码、显示和总线带宽是否满足数据流。
• 环境门：现场温度、散热、供电和封装是否允许长期运行。
• 交付门：版本能否固定，故障能否诊断，升级是否可以回退。

每道门都要有证据；任何一门没有证据，候选就不能进入最终比较。

接口决定实验能否成立

• 显示：两路 HDMI，另有 MIPI-DSI。
• 视觉：两路 MIPI-CSI，可外接兼容摄像头。
• 调试：Micro USB 串口，不依赖图形桌面。
• 扩展：TF、M.2、千兆网口与 USB 3.0。

8T 与 20T：同架构，不同资源上限

两档共享核心架构与接口，但硬件资源不同；最终档位以 npu-smi 和实际板卡配置为准。

双板证据：从第一天就分栏

第 1 章本身没有可执行样例，因此不产生本章性能数字。

本次双板记录：方向并不单一

这些是两块板的记录值，不是第 1 章基准，也不是纯算子性能。

为什么不把 TOPS 直接换算成现场吞吐

• 图编译与首次加载会进入任务总时间，但不等同于稳定推理耗时。
• 数据预处理可能受 CPU、内存搬运和图像解码限制。
• Host 与 Device 拷贝会把端到端时间拉长。
• 编解码与传感器 I/O可能先于 NPU 成为瓶颈。
• 温度、后台负载和版本差异会改变重复运行的结果。

只有固定模型、输入、版本与测量协议，TOPS 才具有比较意义。

把场景翻译成档位候选

“8T 足够”与“20T 更快”都不是结论，而是需要被测试验证的候选假设。

现场约束会先于峰值算力淘汰方案

• 供电：整板需要符合要求的 Type-C PD 电源，模块功耗不能代替整板预算。
• 散热：高负载需要主动散热，温度是持续性约束而不是一次性检查。
• 存储：TF、eMMC、M.2 的启动与寿命边界不同。
• 外设：摄像头、显示、串口和 USB 版本必须逐项核对。
• 运维：版本冻结、远程维护、日志和回退能力属于交付条件。

样机阶段忽略的现场约束，通常会在部署阶段以停机形式暴露。

可复现的选型流程

1. 固定业务指标、模型文件、输入形状与精度模式。
2. 估算内存、并发流数和媒体接口需求。
3. 检查供电、散热、存储与远程运维。
4. 在 8T、20T 上分别执行同一套烟测与测量。
5. 记录版本、原始日志、失败原因和回退边界。

失败、N/A 和 blocked 都是选型结论的一部分，不能删掉后只保留最好看的数据。

课堂任务：用证据做一次选型

完成标准：别人能按记录复现测试，并能说明结果为什么不能跨档位外推。

本章小结

• 边缘计算是约束选择，不是“比云更先进”的口号。
• 8T 与 20T 同架构、不同资源，不能用 TOPS 直接换算现场吞吐。
• 选型结论必须绑定模型、输入、版本、协议和原始日志。
• 第 1 章不产生性能结论；后续章节分别验证推理、媒体、算子与量化。

下一章：CANN 软件栈如何把模型变成可核验的 OM 推理。