周杰伦“邓丽君”对唱的虚拟影像重建技术是怎么回事?

推荐  (0) | 30人关注关注
14个答案
82 1

飞翔的鱼CS在校学生, LLer

2013-09-08 01:24

这种技术一般有两种,AR(增强显示)和3D投影。
考虑到这是场演唱会,而AR并不能即时看到效果,我认为这应该是3D投影。

其实现在3D投影技术已经很发达了。全程采用3D全息投影的Miku演唱会已经进行了很多次了吧。
简单的说就是通过投影机,把一个3D的画面按照现实中3D应该显示的方式还原到屏幕上。这个屏幕是特制的,为了表现3D效果,一般为一个半透明的屏幕,在光线比较暗的地方难以看到,光线照射到屏幕上产生图像。由于这块屏幕一般挂在舞台前部(而不像普通屏幕那样放置在舞台后部),同时使用多台投影机投影各个不同角度的图像,使得从某一方向看去,给人有一种立体影像的错觉。

不过缺点也是显而易见的,很明显从视频里可以看到,图像的光影表现不是很自然,立体感不是非常强烈,不能出现在光线强烈的地方等等。。。

至于这些3D图像,是事先使用计算机技术制成的,简单的说就是画出来的。制成一段3D的视频影像,在连接到投影机的播放机上播放。
这个技术的难点应该在如何重建影像上面。虽然这部分技术同样很成熟,但是按照目前的技术,工作量也小不到哪去。基本上很多帧都是靠艺术家的想象完成的,通过2D绘画和计算机的3D化处理,制作成一段完整流畅的3D影响。

这次“虚拟邓丽君”的影像制作来源于Digital Domain,作为一个在电影特效领域内名气很足的特效公司来说,制作这种等级的特效丝毫不在话下(应该。。。),据LZ题目那个新闻报道,只是头发就绘制了7000副图像,应该还算极其细心的制作。(虽然的确能看出来在某些光影方面还显得不是十分自然,不过我觉得那更多是场地原因。)

至于声音是怎么来的。。这个其实就更简单了。在计算机里,任何声音都被描述为一段数字化的不连续的波形。我们可以分析找到波形的特点,然后调整波形来为一个新声音来增加这种特点,所以我觉得可能是由模仿者演唱然后电脑后期而成的声音。
(补充,这个已经证实了,的确是模仿演唱+电脑后期。)

35 1

截个图,3D投影的屏幕:

光线暗的时候是几乎看不到的

6 1

转自知乎:

这是演唱会虚拟现实技术的相关负责人@关雅荻 的回答(http://www.zhihu.com/question/21613953/answer/18782832

过去几个月一直在忙这个,我负责DD3.0(北京)相关事务,焦头烂额了很久。。。下面能说的只能是不涉及商业机密的部分。。。

DD3.0公司负责所有特效制作(原来的DD破产保护后改名),单这5分钟耗资不菲。

这5分钟是为筹备明年邓丽君虚拟演唱会的前期工作一部分,周杰伦找来要合作,从时间上来说9月6号的亮相对DD3.0技术团队来说肯定不满意,因为时间太短,只有两个多月的时间,太短了,各位看到的,只能说45人的特效团队在两个月内做到的极限,具体我们明年最完美效果的要求自然还有瑕疵和距离。
虽然演唱会表演技术,但这个项目还在紧锣密鼓继续推进中。

从人情上说,周杰伦和邓丽君在家乡跨时空对唱,的确是一个难得的机会,所以权衡再三,还是促成此次虚拟邓丽君在小巨蛋的亮相。
但最终也仅仅只有6号晚一场,周杰伦演唱会连演三天,后两天(包括今晚)都没有的,包括后面香港和内地的巡回,也都拒绝了。
不是技术不成熟,而是时间不够用。
所以,这一版本的种种不足,对于技术团队来说自然很清楚,对于追寻完美的观众来说,只能说声抱歉,我们会继续努力,尽快拿出完美版本。

2pac创意真心谈不上什么抄袭,因为本来就都是一家公司同一个团队制作,只是去年团队叫DD,今年改叫DD3.0而已。
而且那是去年5月份的技术水准,一年多过去,技术能力发展也很快,而到明年相信可以做到人类视觉基本看不出与真人的差异的水平。

这种舞台表演技术,简单说就是把《返老还童》《创战记》的电影银幕虚拟真人搬到舞台上。
其中的投影技术,并无什么深奥之处,其实在广告行业,投影虚拟和3D的应用已经相当之广泛。

无论是电影大银幕,还是舞台音乐表演,虚拟技术最难在于对人面部形象和肢体的完美还原呈现,其中最难的还是面部表情,这是难中最难。
最近几次在电影院看到前贴片有虚拟李小龙的一个广告,此处就不吐槽了,都是同行,希望未来有更多虚拟人物和角色的出现,大家都能精益求精。

至于声音部分,不少人对邓丽君怎会跟周杰伦对唱《红尘客栈》、合唱《千里之外》,我觉得在数字技术时代,这个其实根本就不是问题。

还有关于形象版权问题,网上搜索不少新闻,很多人认为死去的人的形象不受保护,但其实并不完全如此,网上也有邓丽君家属起诉国内某些主办方滥用邓丽君形象的消息。
而这次周杰伦一起同台由DD3.0制作的邓丽君虚拟形象,是直接与邓丽君家属(邓长富)直接共同开发合作,所以自然不涉及任何侵权事宜,简单说,全世界目前只有这一版虚拟邓丽君是官方授权的。

还有一个有趣的事情,我看到台湾媒体出来的各种稿件,可能是行文措辞的原因,可能很多人都误会这五分钟虚拟制作的巨额投入都是台湾演唱会公司方面投入,事实并非如此。
舞台搭建相关,比如投影仪什么的前期投入的确由演唱会主办方负责搭建和投入,但所有虚拟邓丽君形象制作方面的投入,全部由DD3.0公司承担,没有来自台湾的资金。
具体到特效制作成本,一方面这涉及商业机密,台湾公关稿里数据可能是为了抓眼球效果,完全不准确;另一方面,邓丽君虚拟演唱会也是一个长期投入较大的项目,现在说任何数字都是不合理的,因为并不容易马上现阶段进行评估。

我个人对此技术最关心的点在于这种虚拟影像带来的全新娱乐体验方式和全新商业模式,它很可能是革命性和颠覆性的,这是我最近一段时间最关注的视点,让我想起不少科幻电影或电视剧,比如《西蒙尼》,比如《黑镜》第二季里某一集,非常有趣。

虚拟的邓丽君目前技术条件上来说,可以让她开演唱会,可以去演影视剧、拍广告代言,当然,目前技术还无法做到跟人的实时沟通,但似乎会是未来的一个可能性。

也有人问到关于其他逝去明星是否也会去开发虚拟形象,其实的确在做相关沟通工作,一直在进行中。

还有人问这个虚拟形象跟日本初音未来的区别,那个是卡通形象,这个是模拟真人,就是这个区别,其他舞台呈现手法等什么都是技术层面了。

对于明年的虚拟演唱会,我还是万分期待的,因为无论从内容、嘉宾互动、舞美、服装、环节设置等所有环节,因为数字虚拟而带来无限可能性,让人无限畅想。
3 1

lyounger粒子天体物理博士生

2013-09-08 14:26

唱邓丽君声音的是一个模仿邓丽君比较有名的歌手,叫王静

0 1
0 1

世界第一の公主殿下。解释完毕

0 1
0 1

少虞世出的直匠

2013-09-10 00:10

貌似嘴型有点不同步

0 2

虽然知道现代科技的厉害,但直观的听到声音,看到影像,还是激动的很,哎呀好鸡冻~

用电脑数字制出特定声音的技术已经出来很久了,这个倒是不意外。但是放在演唱会上,这个创意还是很不错的。周董也挺能想的出的

0 8

这应该是换脸术,既是找演员表演肢体动作,演员的脸部做好标记并捕捉头部运动甚至表情,然后使用3D动画技术制作邓的脸部和头发,并最终根据捕捉数据把3D的头像和真人身体合成在一起,也就是身体是真人演员的身体,但头部则是3d的动画,这个比初音未来的技术复杂得多,成本也高得多,适用于特殊需求的情况(比如需要邓复活),当然最后的表现技术一楼说的很清楚,采用投影的方式。

0 1

莫非真能做出《黑镜》里的效果??

查看更多

添加回答

登录 后回答问题,你也可以用以下帐号直接登录

相关问答

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 家长监控 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:18612934101    网上有害信息举报专区    儿童色情信息举报专区