面捕动画软件《假面小萌》:颜艺操控你的虚拟化身

通过一枚普通的家用摄像头,“小萌”即可实时追踪你脸部的各个标记点(Landmark),然后进行面部表情单元(AU)分析(也可以进行声音频谱分析)。然后将这些信息转换到虚拟形象上,让虚拟形象也和你做出同样的动作。

1522

看好这个创意

这个项目正处在“创意阶段”,提交者会将它不断完善,直至完成。如果项目团队想要发起一次众筹,您看好吗?看好的话,就点击下面的按钮支持它吧!
创建于 2017-11-16 18:13

项目详情

关于我


大家好,我是独立软件《假面小萌》的作者——志鹏Zipper。


image.png

▲小编让我找张照片,程序员好像不会拍照,只有从上家公司离职的时候别人帮我拍的纪念照


《假面小萌》是我独立制作的一款面部捕捉动画软件,通过一枚普通的摄像头,实时进行面部动作、表情追踪和声音频谱分析,将信息转换到虚拟形象上,让虚拟形象也和你做出同样的动作。


如果从大二学习DirectX编程算起的话,从事图形学、动画相关的学习、工作差不多七年了。选择这一领域原因是初中曾是一名网瘾少年,上了高中开始沉迷《仙剑奇侠传》系列,年少轻狂立志要复兴国产单机游戏,高考那年听闻上软解散,还特地选了上海的高校。


这些年从零基础学习美术、在网游公司编写氪金游戏、在游戏引擎公司做光照、动画方面的支持工程师,积累了不少技能经验,我会把这些能力全部运用在《假面小萌》的制作中。


image.png

▲意识到国内游戏技术水平不够的一大原因是技术和美术的整合,23岁放弃了高薪从零开始学习美术一年




项目来历


第一次开始有意识关注面部捕捉,是在13年的时候看英剧《黑镜》S02E03,男主可以在幕后说话、做表情来操纵前台的虚拟人物。


黑镜.gif

▲英剧《黑镜》片段


当时觉得这种技术非常厉害,想自己动手做。查了些资料发现这类技术一般都是Kinect、RealSense这类双目摄像头的专利(最新发布的iPhone X也是用昂贵的双目摄像头实现),所以暂时放弃了…


也玩过后来出的国外软件《Facerig》,发现不是太消耗CPU,就是自定义形象太麻烦,还有一些自己想实现的创意受限。


于是,在工作了几年积累了技术经验后,技术男一言不合就决定自己造!


刚开始尝试用官方免费的Live2d模型做了一个Demo放在Windows10 应用商店上,没想到一直排在“多媒体设计”的第一位。


image.png

▲Windows10应用商店的《假面小萌》


很多用户为《假面小萌》的优化,提供了很多很好的建议,例如手势识别、3D版、虚拟麦克风、换装捏脸等。所以想根据大家的需求,努力把这个软件做成更好的普通摄像头面捕软件。




功能介绍


以下是一张《假面小萌》产品优点的规格列表:

规格表3.png


不需要专业级设备,即可化身为人工智障A.I酱那样的虚拟偶像当Up主、做直播。


idle.gif.gif


不但可以使用官方模型,还可以一键加载喜欢的模组,如Live2d、MMD、其他3D格式。


query-chan.gif


模组还开放编程接口以供各种脑洞,比如以下这只需要怒气才能飞的flappy bird


angrybird.gif


如果你是一名游戏或动画制作者,小萌也提供了实时向游戏引擎发送表情数据的模组,轻松为你的游戏人物添加生动的表情。


networkdata.gif


可以把虚拟形象的图像推流到QQ或Skype里,让别人看到你的虚拟形象,给他/她一个惊喜有木有!想象一下,一群虚拟人物开部门会议的场景!


conference.gif


也可以切换为窗口融合模式(此模式做直播时会自动剔除背景),工作学习累了可以让“小萌”给观众老爷们唱个歌跳个舞。


dance.gif


既然有假面了,当然要有柯南一样的“变声蝴蝶结”来匹配人物喽,简单粗暴地提高音调会比较像机器音,所以还要有频谱上的共振峰矫正才更真实!


virtualmic.gif


此外,捏脸(身高、脸型、三围等)、换装功能也已经基本开发完成,更多效果展示图会随着开发进度逐渐放出,请大家持续关注~




项目进度


目前上述大部分功能的核心编码工作基本完成,正在研究如何用普通摄像头对手势进行识别。

 

后续的工作主要为原创美术的设计和制作、交互体验细节打磨等。软件正式完成后预期的下载渠道有Steam、WeGame、Windows10应用商店、官网,请大家多多关注~




为什么发布创意


从demo版上线到现在,陆续有用户给我提出了很多非常好的建议,非常感谢他们。所以,通过这次创意项目,我希望可以邀请更多的用户参与到《假面小萌》的开发测试中,征集更多大家的意见和建议。


目前试玩版可以在windows10应用商店下载,win7用户可以加QQ群获取。


Windows10应用商店

官方QQ群(548679279)


如果喜欢并支持《假面小萌》项目,别忘了点击看好哦,期待你们的建议!




联系我们


1)作者微博创作动态:@志鹏Zipper

2)电邮作者:zipper@poemlike.com


82 条评论

表情 图片
发表

风险提示

1. 您参与众筹是支持将创意变为现实的过程,而不是直接的商品交易,因此存在一定风险。请您根据自己的判断选择、支持众筹项目。

2. 众筹存在于发起人与支持者之间,摩点作为第三方平台,只提供网络空间、技术支持等服务。众筹的回报产品和承诺由发起人提供和作出,摩点不参与和担保众筹... 显示全部

2. 众筹存在于发起人与支持者之间,摩点网作为第三方平台,只提供网络空间、技术支持等服务。众筹的回报产品和承诺由发起人提供和作出,摩点网不参与和担保众筹项目的具体运作。

3. 众筹项目的回报发放及其他后续服务事项均由发起人负责。如果发生发起人无法发放回报、延迟发放回报、不提供回报后续服务等情形,您需要直接和发起人协商解决,摩点网对此不承担任何责任。

4. 由于发起人能力和经验不足、市场风险、法律风险等各种因素,众筹可能失败。对于在众筹期限届满前失败的项目,您支持项目的款项会全部原路退还给您;对于众筹成功的项目,支持者不能通过摩点平台申请退款,若此时支持者因任何原因希望退款,需直接与发起者协商,若发 起者同意退款,需直接向支持者退回款项,摩点不会从可结算款项中扣除该部分退款金额。您对项目发起人的无偿支持以及额外打赏,一旦众筹成功将不予退款,但众筹失败的情况除外。 收起全部

Q:摩点是什么?

A:摩点是一个文化创意众筹社区,我们努力搭建一个舞台,让每个人的创造力都获得展示的机会。如果一个创意得到大家的认可,就会从点子变成现实。

Q:“创意阶段”是什么?

A:我们意识到,很多优秀的文化产品都是从一个灵感火花开始的,它未必是完整的作品,却可能是一个故事的开头。“创意阶段”记录的就是这些灵感火花,或许在大家的帮助之下,有一天它会成为完整的作品。

Q:“看好”一个创意是什么意思?

A:在创意这件事上,市场的判断是最准确的,相信每一个人的观点都是创意价值的体现。因此,我们将决定权交还给大家。您的每一个“看好”都会决定一个创意是否有机会通过众筹的方式成真。

Q:谁可以在摩点发布创意?

A:任何人。但我们会对您的个人信息进行验证,并对创意进行初步审核,确保它符合我们的基本规则。

Q:什么样的创意可以被发布,有什么限制吗?

A:您的创意不应该包含令人不适、侵犯他人知识产权或者违反法律的内容。

Q:创意发布之后,会发生什么?

A:创意通过审核后,所有社区成员就可以查看它了。如果人们对您的创意感兴趣,会点击“看好这个项目“来表达他们对您创意的喜爱。当创意收到的“看好”足够多,摩点的官方工作人员就会与您联系,邀请您发起一次众筹,和所有人一起把您的创意做成一部可供更多人体验的作品。

Q:如何才能让我的创意获得“看好”?

A:首先,您要让潜在受众能够理解创意的核心,并且打动他们。在这个基础之上,尽可能多地告诉更多人吧!

Q:创意获得足够的“看好”之后,多久才能开始众筹?

A:一次众筹的策划并不容易。当您的创意被足够多的人“看好”之后,摩点的众筹运营团队会和您联系,为您提供众筹策划的指导和建议。具体的时间进度很大程度上取决于双方的沟通效率。

Q:如果我的创意一直得不到“看好”该怎么办?

A:您可以随时进行修改和完善,直到受到社区成员的喜爱为止。当然,您也可以决定不再发布自己的创意。

团队成员

官方网站 www.poemlike.com

团队成员

官方网站 www.poemlike.com

这个项目违法了规范

  • 不适当内容
  • 虚假宣传
  • 侵犯了我的权益

侵犯了我的权益

根据 摩点侵权举报规范,您需要向我们提交相应信息,其中包括身份证明(对公司的侵权需要增加公司**)。如您确认已准备齐全进行诉求提交。
诉求提交
客服
TOP