iOS 开发-有大佬了解 AI 姿态识别吗？

資深大佬 : yinyansheng1987 1

公司要做一个运动 app 比如跳绳计数，像下面的链接这种： https://www.bilibili.com/video/BV1wU4y1Y7Mm

本人对 AI 方面毫无接触过，网上查了下资料，也是一脸懵。目前了解到的框架有苹果自带的 Vision，但是只能在 ios14 的系统上支持体态识别。

还有 TensorFlow 和 OpenPose 两个开源框架看了下 demo 还是无法入手（ demo 都是 swift 写的，本人主 java 兼 ios，目前只会 objc

大佬有話說 (10)

資深大佬 : billjobs

你们公司没有算法工程师的吗

主資深大佬 : yinyansheng1987

@billjobs 没的，这个是否必须要会算法？

資深大佬 : icedwatermelon

https://github.com/cmdbug/YOLOv5_NCNN
这个 demo 下的 Simple-pose 可能和你的需求有相关

資深大佬 : billjobs

@yinyansheng1987 又一个全干工程师

主資深大佬 : yinyansheng1987

@icedwatermelon 看不到图片

資深大佬 : icedwatermelon

@yinyansheng1987 #5 动作判断的我不太了解。但我猜动作识别和静物识别还是有区别，可能标志特征点的模型训练一套就够了，但模型输出的特征值要用起来需要根据不同的动作分别进行处理了

資深大佬 : Building

姿态检测太难了，可以换一种思路，比如可以先检测人脸，然后计算上下摆动幅度。

資深大佬 : louiswang002

@Building 感觉你这个方案可行，如果画面是固定的，可以检测人脸的上下位置差异，再结合手机传感器应该能实现

資深大佬 : root99527

模型只是识别关节点的坐标位置，具体的动作判断需要后处理完成。另外，如果你不只要做跳绳，还有一些比如瑜伽之类的，预训练的模型(尤其是移动端的模型)一般搞不定。移动端加速也是需要考虑的，如果你适配多个机型，还要考虑处理速度是否能跟上。

資深大佬 : domodomo

Apple 提供了相关的工具，ios12 以上就行

1.用 ARKit 追踪捕捉人体，得到 3D 数据
2.根据骨骼各关节点在 3D 环境中不同的位移数据来综合判断可能是什么动作，具体判断姿态用什么方法看你自己，数据都给你了。

不过我只用到 ARKit 来捕捉人体做动画，没有做姿态判断这一步，但是我觉得应该是可行的。