2022 OpenCV人工智能竞赛优秀项目团队介绍集锦（一）

编辑：OAK中国
首发：oakchina.cn
喜欢的话，请多多⭐️✍

▌前言

Hello，大家好，这里是OAK中国，我是助手君。

2022年的OpenCV Spatial AI Contest获奖名单已经公布了，OpenCV公布了10个项目，项目视频大家可以去OAK中国的B站主页查看。

这个系列的博客内容主要介绍一些优秀的项目及团队，内容来自OpenCV官方的访谈，项目团队都是参加决赛的队伍，感兴趣的同学可以关注下项目团队的社交平台账号。

▌#OAKDLiteContest标签亮点

• Getafe Poka-Yokers团队的项目更近一步了，他们在项目增加组装了乐高套件上，并成功运行了MediaPipe手部检测。
• B-AROL-O团队一直在为他们的项目 ": Automated Recognizer, Network-Enabled, Items Sorter "做详细的周记，你可以在他们的网站上查看最新的更新内容。
• EyeCan展示了他们的ScaNERF项目的初步成果，使用乐高来创建神经克隆体。
• Evtek公司正在研究使用传送带的可回收分类和分拣，看起来进展不错。
• 密切关注Sourdoughers团队的BreadBot，它将使用YOLOv5来监控发酵并变得美味的酸面团面包[编者注：Phil喜欢面包] 。

22/2/17这期的OpenCV线上研讨会邀请了LA Inoculum团队，他们的培养皿扫描仪项目结合了乐高、OAK-D-LITE和细菌科学。在LinkedIn Live、Twitter、Twitch和YouTube上观看这期内容。

▌团队：WahWahTron

你的项目是什么？简要描述你的问题陈述和建议的解决方案

我们团队的项目正试图解决电子零件的回收问题。

每年都有全新的电子产品推出，无论是最新的智能手机、笔记本电脑等。由于计划淘汰，电子垃圾的数量不断增加，而讽刺的是，用于制造这些设备的金属和矿物的供应却不断减少。

本着重复使用和重新组合乐高的精神，WahWahTron团队将强调这一关键的环境问题，通过游戏进行教育。

现在有一些零件回收解决方案，最有名的是苹果公司的Daisy，然而这是一个特定品牌的解决方案。我们的项目是研究如何利用小型的、可负担得起的和可扩展的组件，如OAK-D-Lite，建立一个通用的电子零件回收系统，以便与现实世界相结合。建议的解决方案包括建立一个系统，试图拆开一个乐高组件（说明一个废弃的电子产品），并将每个可回收的组件放在各自的分类容器中，以便重新使用。OAK-D-Lite的快速推理将被用来对乐高零件进行分类，而深度信息将被用来在三维中定位零件。

带有电动抓手和拆卸机制的起重机臂将使用乐高Mindstorms机器人发明家套件的M.V.P组件制作。(零件的三维位置将从摄像机的坐标系转换到全局坐标系，以驱动手臂的末端效应器）。

你的团队起源故事是什么？你们是怎么在一起的？

杰西卡和我是在贝尔格莱德的艺术家机器学习研讨会上认识的，我们立即开始了合作项目。其中一个项目是为布加勒斯特的木偶剧院所做。最初的想法是使用Kinect实时跟踪木偶，让学习木偶戏的孩子们上演一场既有实体又有数字的表演。内置的Kinect骨架追踪在那么小的范围内不起作用：事实证明，现有的模型从未训练过小于1.2米的东西。那时候OpenPose刚刚问世。我设法从源码编译并在目前的GPU上运行，但帧率无法超过12fps。

随着时间的推移和许多计算机视觉方案的测试（跟踪LEDS，跟踪彩色带等），我找到了一个足够快和准确的方法：使用惯性测量单元（IMU）来跟踪连接的方向：这解决了闭塞的问题，如一个角色在他们的手臂上携带另一个角色。詹姆斯-麦克维，一位杰出的、有创造力的电子工程师，加入了这个团队，并帮助我从基本的两个关节的POC发展到我们所追求的全部10个关节的系统。

你是如何决定解决什么问题的？

我们在集思广益，正是杰西卡的建议将这些片段完美地连接在一起。考虑到我们所处的环境状况，这个概念很棒，即使是在玩具上实验。

建立可以扩展的原型，并在这个过程中揭示出解决方案/创新的挑战/机会，仍然很有价值。从概念上讲，设计一个可以拆开另一个系统的系统是很有趣的。在实践中，由于我们正在开发这个项目，并使自己再次熟悉乐高（在几十年后承认），同时也发现了物理限制，当涉及到伺服的精度，扭矩和塑料的强度。总的来说，用尽可能少的东西做尽可能多的事情，对环境来说似乎是个好主意，但这也很适用于比赛。

#OAKDLiteContest最让你激动的部分是什么？

作为成年人玩乐高积木确实是一件非常有趣的事情，然而最令人兴奋的是看到我们能用OAK-D-Lite设备实现什么。

由于它是开源的，这是一个很好的机会，可以在较低的水平上了解立体视觉，利用它来获取深度信息，并玩一玩现有的最先进的模型。

说到机器学习，这也是一个了解完整的机器学习pipeline的机会，从数据集的创建一直到优化和部署到一个边缘设备。

当得知你被选为决赛选手时，你有什么想法/感觉？

能够被选为决赛选手是多么幸运啊！我们可以通过乐高再次成为孩子，并通过OAK-D-Lite背后的严肃工程进一步实现这一目标。这么多有趣的事情要做！

到目前为止，你看过的其他项目中有什么让你感到惊讶的吗？

快速浏览一下#OAKDLiteContest，很高兴看到创造力和游戏性的闪耀。我已经看到几个项目给了我那种 "我希望我先想到这个 "的想法。

你对你的竞争对手有什么话要说吗？
我们祝愿我们的竞争对手好运，继续前进！只有几个星期了！期待看到的不仅仅是最终的结果，同样还有过程和没有被淘汰的想法。

读者应该跟随你到哪里，才能最好地跟上你的进度？(推特、LinkedIn等)

我们对我们的更新一直很保密：希望我们能很快改善这一点。
同时，对于任何对计算机的创造性使用感兴趣的人，你可以在这里关注我们。

• https://twitter.com/innjesst
• https://www.instagram.com/shedrawswithcode/
• https://www.instagram.com/jhm.nz/
• https://www.youtube.com/c/JamesMcVayNZ/videos
• https://twitter.com/orgicus
• https://www.linkedin.com/in/georgeprofenza
  

▌团队：B-AROL-O

你的项目是什么？简要描述你的问题陈述和建议的解决方案

在工业生产线上，物品（在我们的专业领域是瓶子）遵循一个预定的流程，每一种物品从开始到生产线包装结束都有自己的路径。想象一下，在一条生产线上，不同的物品需要在最后的包装中进行混合。想象一下，这种混合对每个通过网络下订单的最终客户来说都是不同的。

ARNEIS（Automated Recognizer, Network-Enabled, Items Sorter的缩写）是我们为刚才描述的问题提出的解决方案。我们设想，这些来自不同生产线的物品在最后的传送带上混合，ARNEIS系统可以识别所要求的产品并将其分类到正确的包装中。

当然，考虑到我们在BOM和时间上的成本限制，在OpenCV空间AI竞赛的范围内不可能完全解决所描述的问题；但是我们相信，识别和分类的基本功能可以用简单的嵌入式电子元件、塑料砖和开源代码进行测试。

ARNEIS系统的主要组成部分如下：

• 眼睛和头脑。该项目中的一个重要组成部分是视觉系统和智能，它分析图像以匹配已知的模式。

• OAK相机可以安装在物品运输的传送带附近。摄像机图像必须由一个专门的CPU进行分析。从集成的角度来看，工业项目的最佳解决方案是将该CPU集成在摄像机机箱内。

• 手臂。有几种从运行中的传送带上分拣物品的解决方案；每一种都针对不同的非功能要求进行了优化，如灵活性、速度和成本。

最简单的解决方案是使用一个执行器（意大利语为 “espulsore”），根据PLC发出的指令，将物品同步弹出到一个新的传送带或一个外部传送带。该命令应该是同步的，并考虑到从摄像机捕获画面到执行弹射期间物品在输送机上的行程。这就是我们团队在OpenCV空间人工智能竞赛第二阶段所开发的解决方案。

你的团队起源故事是什么？你们是怎么在一起的？

这B-AROL-O装瓶系统团队以他的名字命名是因为：

1. 首先，所有团队成员都在一家专门从事食品和饮料行业包装机械的领先意大利公司有一份全职工作；
2. 我们都生活在山麓地区这是意大利最重要的地区之一，以其葡萄园、葡萄酒和烈酒;
3. “巴罗洛葡萄酒“是一种优质的红葡萄酒，由生长在我们家乡附近皮埃蒙特的一个小地区的葡萄制成，但却非常有名，其酒瓶出口到世界各地。

总的来说，我们选择了一个标志性的葡萄酒名称，既体现了我们的意大利血统，也体现了我们在包装行业的经验。顺便说一下，“阿奈斯”(白)和“巴罗洛”(红)葡萄酒看起来像阴阳这给了我们在比赛中燃烧的能量！

你是如何决定解决什么问题的？

老实说，我们没有花太多时间来选择问题，也因为我们在第一阶段截止日期前几天才知道OpenCV空间人工智能竞赛。相反，我们选择了我们熟悉的东西，因为我们的日常工作，试图适应材料和项目时间表的项目限制。

#OAKDLiteContest最让你激动的部分是什么？

我们将列出以下内容：

• 技术。OAK-D-Lite是一个很棒的硬件；此外，人工智能和CV是我们在这个项目中工作时有机会学习的令人兴奋的话题。
• 围绕OpenCV的社区以及Luxonis和所有参与方的大力支持
• 玩乐高套装——在这里，Gianpaolo会补充说：不要从我的孩子那里偷走它们

当得知你被选为决赛选手时，你有什么想法/感觉？

两种相反的感觉：高兴和害怕。

起初，我们无法相信我们做到了，因为我们在准备第一阶段的提交时只有很短的时间。

为什么快乐？这个消息真的很令人兴奋，我们从来没有想到我们会有乐高玩具作为圣诞礼物

此外，在这么多竞争者中被选中意味着我们的想法吸引了OpenCV社区中少数有经验的人——这对我们来说已经是一个很大的成就。

为什么恐惧？我们希望根据以下条件交货ARNEIS项目计划，但是我们知道我们有太多的事情要做，而且我们只有三个人，几乎没有空闲时间。然而，我们相信社区将帮助我们实现我们的目标。顺便说一下，ARNEIS从一开始就是一个开源项目，所以每个人都可以从我们创造的东西中受益。

到目前为止，你看过的其他项目中有什么让你感到惊讶的吗？

当我们向第一阶段提交我们的提案时，幸运的是我们没有过多地挖掘以前版本的OpenCV竞赛中开发的项目，否则我们会感到羞愧，不会提交它
自从我们被选中继续进行第二阶段，我们一直在观看视频和阅读博客文章来学习，我们发现那里有如此多的价值和能力，这激励我们尽我们所能做到最好。

你对你的竞争对手有什么话要说吗？

不要怕，我们玩的只是和乐高、OpenCV互相学习、取乐的动机。
我们希望你和我们一样开心！

读者应该跟随你到哪里，才能最好地跟上你的进度？(推特、LinkedIn等)

我们定期会在Twitter上发布关于ARNEIS项目的新闻和每周更新。

如果您对项目的软件方面更感兴趣，您可以订阅https://github.com/B-AROL-O/ARNEIS或者看一看ARNEIS项目路线图。

如果你有任何建议或反馈给我们，请在Twitter上DM @baroloteam，或在GitHub上提交问题或Pull Request。

▌参考资料

https://docs.oakchina.cn/en/latest/
https://www.oakchina.cn/selection-guide/
https://opencv.org/opencv-spatial-ai-contest-highlights-and-team-profiles-part-1/

---

OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗