让机器人「看见」世界:OpenCV + YOLO 双线案例,从像素到识别的完整感知入门包。
慧眼(SMG-004)是一套专注「视觉感知」的机器人套件。如果说主控板是机器人的大脑、电机是肌肉,那么视觉就是它最重要的眼睛——而这套套件要回答的问题是:摄像头拍下的一张张图片,如何变成机器人能做决策的信息?
套件以 OpenCV 传统视觉与 YOLO 深度学习两条主线展开。学生先学习图像的色彩空间、阈值分割、边缘检测、轮廓提取等经典方法,用最朴素的方式实现「红色物体追踪」;再进入深度学习部分,用预训练 YOLO 模型完成物体分类与定位,理解「传统视觉」与「AI 视觉」各自的适用边界。
套件内置一块 LED 点阵屏,可以把识别结果(如「cat 0.92」)直接显示在设备上,配合蜂鸣器与舵机云台,可组成完整的「识别—反馈—动作」闭环,也可作为独立视觉模块加装到其他机器人上。
视觉是机器人最接近人类的一种感知方式,但它的学习路径常常走偏:很多人从「跑一个 YOLO 例子」开始,看到一个框出来就以为学会了,其实并不明白框是怎么来的、为什么有时候不准。慧眼的设计刻意反着来——先用最朴素的阈值分割实现颜色追踪,再进入深度学习,让学生清楚「传统方法解决了什么、又卡在哪里」,这样建立的直觉,才经得起换一个场景的考验。
OpenCV 传统方法 + YOLO 深度学习,同一任务两种解法,理解各自适用场景。
1080P 广角摄像头,手动对焦,支持曝光与白平衡手动调节,成像稳定可复现。
16×16 LED 点阵实时显示识别结果,无需连电脑也能看到「AI 在想什么」。
二自由度云台 + 目标追踪算法,让摄像头自动「转头」锁定目标物体。
内置 YOLO 预训练模型与 20 类常见物体识别示例,无需 GPU 训练即可运行。
标准 I²C / UART 输出,识别结果可直接送给其他机器人的主控板使用。
每个项目都有明确目标、可执行步骤与交付产出,学完即可写进作品集或课题报告。
任务目标:让摄像头识别指定颜色物体并驱动云台持续对准它。
交付产出:产出:可自动追踪红色小球的两轴云台 + 阈值调参记录
任务目标:识别画面中的 20 类常见物体,把结果与置信度显示在 LED 点阵上。
交付产出:产出:一个把 AI 判断可视化出来的「会表达」的视觉装置
任务目标:训练模型识别一个自选物体(如某款零件或某本书)。
交付产出:产出:一个自训练的专用识别模型 + 一份「数据质量如何影响识别率」的实验记录
| 阶段 / 模块 | 内容要点 | 课时 | 完成后可达成 |
|---|---|---|---|
| 模块一 · 图像基础(4 课时) | 像素、色彩空间、直方图、ROI 与坐标 | 4 课时 | 能读取并处理一帧图像的任意区域 |
| 模块二 · 传统视觉(6 课时) | 阈值分割、边缘检测、轮廓提取、形态学运算 | 6 课时 | 完成颜色追踪与形状识别 |
| 模块三 · 深度学习视觉(8 课时) | 卷积网络原理、YOLO 检测流程、置信度与 NMS | 8 课时 | 能解释检测结果并调阈值 |
| 模块四 · 微调与部署(6 课时) | 数据采集、标注、小样本训练、边缘设备部署与提速 | 6 课时 | 完成一个自训练识别模型 |
| 模块五 · 视觉闭环项目(4 课时) | 视觉结果驱动云台/小车,形成感知—动作闭环 | 4 课时 | 完成云台跟随或视觉巡线项目 |
不讲黑箱:把关键原理拆开说明,帮助学习者理解「为什么这样设计」。
RGB 三个通道都与亮度耦合:同一物体在暗处与亮处的 RGB 值差异巨大,阈值很难通用。HSV 把色相(H)与亮度(V)解耦,颜色主要由 H 决定,因此对光照变化更鲁棒。这也是工业视觉里颜色检测普遍用 HSV 的原因。
阈值调高,误识别少但漏识别多(宁可不说);阈值调低,识别得多但错得多(宁可错说)。这不是「调对了」的问题,而是取决于应用:门禁人脸识别宁可拒识也别放错人;而抓取分拣则宁可多试一次。慧眼把这条曲线画出来,让学生理解「阈值即策略」。
传统方法依赖人工设计的特征(颜色、边缘、形状),在受控环境下又快又稳、可解释性强、算力要求低;但对光照、遮挡、形变敏感。深度学习能从数据中学特征,泛化好,但需要数据、算力,且难以解释。工程上的常见做法是:能确定的用传统方法,不确定的用学习,两者串联而非互斥。
分辨率、模型大小、后处理都会影响帧率。把 1080P 降到 640×480 往往能让帧率翻倍,而检测精度损失很小——因为检测只需看清目标轮廓。慧眼课程专门有一节做「牺牲什么换什么」的实验,这是边缘 AI 部署最实用的经验。
| 计算单元 | |
| 主控 | 树莓派 4B(4GB) 或 Jetson Nano 兼容版本 |
|---|---|
| AI 加速 | 可选配 NPU 加速棒(选配) |
| 推理性能 | YOLOv5n 约 12 FPS @ 1080P 输入(树莓派 4B) |
| 视觉硬件 | |
| 摄像头 | 1080P 广角(110°)USB 摄像头,手动对焦 |
| 补光 | 白光 LED 环形补光灯 ×1 |
| 云台 | 二自由度舵机云台(水平 ±90° / 俯仰 ±45°) |
| 显示与交互 | |
| 点阵屏 | 16×16 RGB LED 点阵 ×1 |
| 蜂鸣器 | 有源蜂鸣器 ×1 |
| 按键 | 功能按键 ×3 |
| 接口与电源 | |
| 输出接口 | I²C / UART 结果输出 |
| 供电 | 5V 3A Type-C,支持移动电源 |
| 软件 | |
| 编程语言 | Python(OpenCV 4.x、NumPy、PyTorch 轻量推理) |
| 预置案例 | 20+ 案例(颜色追踪、边缘检测、人脸检测、YOLO 识别、二维码读取等) |
* 以上参数为标准配置实测值,受使用环境影响可能存在合理偏差;支持按项目需求定制配置,具体以合同技术附件为准。
按学习阶段逐步加装,一套平台可以持续用到更高阶的项目与课题。
| 配件 / 升级项 | 说明 | 参考价 |
|---|---|---|
| NPU 加速棒 | 边缘 AI 推理加速,检测帧率提升 2–3 倍 | ¥599 |
| 深度相机升级包 | RGB-D 相机,可做三维定位与避障 | ¥1,299 |
| 补光与滤光套件 | 环形偏振光源 + 滤光片,应对强反光与金属表面 | ¥299 |
| 云台延长线包 | 加长云台线缆,便于安装到小车或机械臂 | ¥59 |
| 第二摄像头 | 双目标定实验用(立体视觉入门) | ¥329 |
| 便携电源包 | 大容量移动电源 + 支架,脱离插座使用 | ¥199 |
课堂上最常遇到的几类问题与处理办法,先自查再求助,效率更高。
| 现象 | 可能原因 | 排查 / 处理 |
|---|---|---|
| 识别结果剧烈跳动 | 光照波动或阈值过宽 | 固定拍摄工位与光源;改用 HSV 并收窄阈值区间;对质心做滑动平均 |
| 帧率只有几帧每秒 | 分辨率过高或模型过大 | 把输入分辨率降到 640×480;换用更小的模型;关闭不必要的后处理 |
| 树莓派温度过高降频 | 持续推理导致发热 | 加装散热片/风扇;降低帧率或改为间断推理 |
| 点阵屏不显示 | I²C 地址冲突或接线松动 | 先用 i2cdetect 扫描地址,确认接线与供电;检查是否与其他 I²C 设备地址冲突 |
不确定选哪一套?这里是同系列产品的定位差异,也可直接咨询顾问获取推荐。
| 型号 | 定位 | 与本品差异 |
|---|---|---|
| SMG-004 慧眼·AI 视觉感知套件 | 教育 · 入门到进阶(本型号) | 传统视觉 + 深度学习双线,含云台与点阵反馈,¥699 |
| SMG-001 星轨·智能小车 | 教育 · 运动载体 | 含运动与感知,但视觉并非重点;两者组合可得完整「感知+运动」 |
| SMG-018 视觉引导分拣实训平台 | 工业 · 集成 | 工业相机 + 传送带 + 机械臂,面向产线级视觉分拣,价格量级不同 |
以下为公开资料对标的同类产品参数与参考价,用于选型参照。
| 对标产品 / 型号 | 厂商 / 生态 | 关键参数 | 参考价 |
|---|---|---|---|
| OpenMV | 开源视觉模块 | MicroPython 机器视觉 · 低功耗边缘检测 | 约 ¥300–600 |
| 大疆 RoboMaster TT 视觉模块 | DJI | 可编程视觉 · 巡线/识别 | 随主机 ¥3999 |
慧眼(SMG-004)以「OpenCV 传统视觉 + YOLO 深度学习」双线设计,对标 OpenMV 的边缘视觉与 RoboMaster 的教育视觉路线,强调原理可解释与可迁移。