未分類
26 8 月 2020

将视频里的人或物线条化的技术，想象它的应用

将视频里的人或物线条化的技术，想象它的应用

資深大佬 : sillydaddy 10

现在的深度学习技术，已经能够识别物体并标记，也能改变物体的风格，例如卡通化或线条化？

设想这样的视频处理技术，将其中指定的物体线条化，其他物体保持原样。
1. 用深度学习预处理视频，将里面的对象(人或物)，提取出来，都线条化，另外储存。
2. 由人工指定哪些对象需要线条化。
3. 将原视频中需要线条化的对象，替换为之前存储的线条。

这种技术的应用场景，我自己设想了一个，就比如展示真实职业场景，发布者可以录下自己的工作时的视频，然后将需要匿名的人或物线条化，保证他们的隐私。观看者只需也只能关注那些需要关注的点。

所以，小伙伴们认为这个点子怎么样？
技术上是不是还有鸿沟？
应用场景还有哪些可以脑洞？

大佬有話說 (9)

  • 資深大佬 : sjtulyj

    对于足球的经典进球,可以转化成剪影,让别人去猜

  • 資深大佬 : SeaRecluse

    实例分割+LBP 即可
    其实不如直接上骨骼图生成蒙版

  • 資深大佬 : charten

    有个脑洞，就是把人物从复杂背景中抠出来，像 b 站那种弹幕遮罩一样。然后就可以提取视频人物成为序列帧，作为其他视频的素材使用。

  • 資深大佬 : booboo

    做得好应用场景应该挺多的，我个人的感觉的这种目前大的方向上技术都已经有解决，但是细节方面都不太理想

  • 資深大佬 : nismison2

    第一反应是火柴人版 cxk 打篮球（ doge

  • 主 資深大佬 : sillydaddy

    @sjtulyj #1 这得看生成剪影的算法了，有的线条化后很好猜。
    @SeaRecluse #2 “骨骼图生成蒙版”是什么意思呢？
    @charten #3 这个比较不好做吧，提取出来的人物，不一定能很好地融合到其他的视频里面去
    @booboo #4 没有仔细研究过，之前只是看过大概的

    @nismison2 #5 是的，不过这个技术的一个“诡异”特色就是，视频里面的人是火柴人，但篮球确实是实拍的篮球，有颜色有光照有透视，想象一下这个情景吧！ 这个技术的一个关键点就是，部分物体线条化，但其他的物体保持原来视频里的样子，哈哈。

  • 資深大佬 : zakest

    这个方向国外已经有大学研究了

  • 主 資深大佬 : sillydaddy

    @zakest 有没有参考资料啊，可以发一下吗？感觉这个资料不太好找。

  • 資深大佬 : lingxipaofan

    识别人物骨骼，根据骨骼生成线条，再把原来视频里的人物抠掉，抠掉的缺损部分尝试修复，再把生成的线条叠加到帧