文/月下导语满天都是小星星去年12月，我有幸与腾讯虚拟偶像星瞳背后的运营团队成员进行过一番交流，通过腾讯CDD虚拟人业务线负责人ice与腾讯QQ炫舞系列运营负责人Nina之口，我知道了IEG方面对于星瞳的投入与重视，同时也看到了腾讯在虚拟人业务上的强势以及技术积累。在那次采访中，我曾抱着开玩笑心态给ice说“你看现在UE5测试版已经发布了，是否考虑迭代UE5？”，而ice真的一脸淡定的告诉我她们真的有在同步研究UE5的一些技术，并且准备应用在星瞳之上。当时的ice并没有告诉我外界看到这让人兴奋的东西具体需要多久，但我确实没想到星瞳的UE5尝试会来的这么快，甚至比UE5正式版的发布还早了10天。直到后来我才知道，这短短49秒舞蹈视频背后是星瞳团队近4个月时间的心血成果。“我们希望让外界直到星瞳背后的团队每天都在做些什么，星瞳企划具体是怎么在运作，星瞳对于腾讯的大家意味着什么，而腾讯的同学各自又在其中扮演着什么样的角色？”ice这次不是一个人来，同时还有腾讯互娱内容生态部的总经理“光芒”，跟我一聊就是2个小时。01开场前的寒暄茶馆：两位好呀，老规矩，请两位先自我介绍一下吧。ice：大家好我是ice，腾讯互娱内容生态部虚拟人业务负责人，去年和大家聊过星瞳的故事。今天的主角是光芒，我就负责暗中观察啦。光芒：大家好我是腾讯互娱内容生态部（简称CDD）的总经理，大家都叫我光芒。茶馆：光芒好，ice也别闲着没事儿唠两句不是（笑）。好了我们回归正题，其实关于CDD很多读者相信就算是不少业内朋友都会觉得比较陌生，这里还是麻烦光芒简单介绍一下CDD吧。光芒：当然没问题。CDD全称Content Development Department，成立于2020年底，是隶属于腾讯IEG事业群下的独立部门，下面有虚拟人、虚拟制片等多个业务线，为腾讯IEG乃至整个腾讯各事业群提供内容制作技术相关的支持，对内扮演着内容制作中台的角色。CDD作为一个单独的部门，我们成立的定位就是希望探索游戏引擎在非游戏领域的应用，这里面涉及很多过往我们并未尝试过的技术点，也是尝试将游戏技术应用到不同的领域中，这其中包含了实时渲染、实时交互、CG和VFX技术、拟真以及其他传统影视行业应用等。这其中所需要的基础能力是虚拟世界与真实世界在时间、空间上的对位问题，也是我们核心研究的课题， CDD的虚拟业务线主要就是解决这些问题。茶馆：这里我有一个问题，也是我去年12月采访后才想到的，当时我是认为星瞳是腾讯IEG内部多部门在协同没有明确的归属，但目前看来CDD似乎是扮演着“主轴”?光芒：主轴谈不上，CDD、腾讯QQ炫舞项目组、腾讯人工智能实验室（AI Lab）等等不同的部门都有明确分工，各司其职。比如QQ炫舞项目组，因为星瞳诞生于《QQ炫舞》系列游戏，所以炫舞项目组主要负责星瞳IP的定位、特殊节点星瞳的物料以及商务合作，并且星瞳也依然是《QQ炫舞》的虚拟代言人这一点是不会变的，而AI Lab在中国乃至世界的人工智能领域都有着极高的权威，所以像星瞳动捕数据修正、镜头算法的很多技术处理我们都会跟AI Lab积极沟通合作。CDD负责的板块主要在内容策划、直播运营、离线视频等部分，所以从用户的感受上来说，大家日常看到关于星瞳的部分，主要是CDD在负责的，但是还有很多大家看不到的背后工作，是由其他很多部门来合作的。茶馆：我的理解是，类似一些游戏里常驻卡池与活动UP卡池的相处状态？你们是常驻，其他的一些部门是活动UP？光芒：可以这么理解。比如前期有部门支撑了某个模块，随着项目的开展，这个模块成熟应用以后，相关部门也就自动淡出了；相反，如果在项目运转中我们需要其他部门的协同与帮助，那么随时有可能就会拉对应的职能团队加入支持，这个主要还是看星瞳这个项目的实际需求，当然从目前的情况来看，在直播板块所应用到的技术基本都是由CDD来负责的。茶馆：这个解释很好，打消了我之前的一些困惑，好了那我们今天的采访就算正式开始了。ice：好，正式开始。茶馆：首先我想问问大伙最近都很关心的问题吧，其实这也是一直以来星瞳粉丝或者说外界都比较陌生的，因为技术，因为项目定位，甚至是因为腾讯对星瞳的很多东西存在一个似是而非的理解状态，所以也希望借着这个机会好好聊聊星瞳企划的一些故事，光芒你准备好了吗?光芒：当然，我们也希望多交流。茶馆：既然如此我先来个重量级的，作为虚拟偶像的星瞳和商业化之间的关系你们是怎么看待和处理的？光芒：是个好问题，也有很多小星星之前非常关心这个问题。其实外界一直有声音说，腾讯做星瞳这个项目就是做着玩，不在乎收益，事实情况不是这样的，对于任何一个商业项目来说，都必然会有商业化的目标，只是看目标到底是什么，如何实现。茶馆：事实不是这样吗？(笑)光芒：实际的情况是不管是星瞳这个项目还是CDD其他所负责的项目，都希望可以走上一条内容、商业都能成功的道路，特别是内容这种本来就难以证明什么叫做成功的形式来说，商业化的收益都是非常有说服力的一项指标。很多人包括一些业内人士都问我们说以星瞳这个项目投入体量基本上不太可能回本吧，真实情况也是这样，星瞳的项目投入极大，有很多小星星包括业内人士也在猜测单场直播的投入有多少，我也看到了，但是不乐观的说，目前星瞳的实际投入比大家的猜测还要大不少。茶馆：所以，你们是怎么考虑这个问题的呢？光芒：从去年开始我们就在思考这个问题，这期间我们捋清楚了两个逻辑，简单归纳就是通过成本控制与TOB型商业模式去打破这个商业循环。成本控制这个很好理解，从去年开始就关注星瞳的粉丝肯定会有最直观的感受，直播的整体效果在逐步提升，但是与大家感受相反的是，实际平均每场直播成本却在逐步下降。这其中涉及到我们在引擎端的功能、插件的开发，直播管线上的流程优化，单场人力投入优化、提升直播棚的使用效率等等。事实上，如果今天放到全行业来看，做一场星瞳同样品质的直播，我相信CDD的成本会是市面上解决方案里最低的。随着星瞳影响力的不断扩大，目前也有很多公司内外的客户找到我们，希望由我们来提供工具、产品甚至解决方案，对于CDD目前看起来的最好的商业化模式，也是对外进行工具产品或者解决方案的打包售卖。简单来说，在虚拟人这条线上，星瞳可能会是个投入大于回报的项目，甚至在比较长的时间内都会持续这样的情况，但这不代表我们不在乎星瞳的IP商业化收入，这并不矛盾，我们也在积极探索。另外，通过我们的技术解决方案，为虚拟人行业甚至是传统行业提供我们的能力，来获得商业回报，很快大家也会看到更多使用了CDD技术的虚拟人登场。茶馆：听起来已经有元宇宙的感觉了，我看有不少小星星的评论里提到了元宇宙。光芒：事实上我们部门内部是不允许提“元宇宙”这个词的（笑），目前这个词还是太空洞了，不同的人对于这个词的理解都不太一样，这很容易造成内部沟通上的错位，我们还是希望能把，虚拟和现实的空间时间对位、实时交互这两项最基础的能力给做扎实。同时我也希望工具人团队是个踏实做事的团队，不要浮躁，好的数据人人都喜欢，但好的数据应该是你认真做事所带来的结果，而不是把好的数据当成目的，因为仅仅想要好的数据，那方法可太多了。茶馆：我觉得， 小星星们就只听了光芒这一番话就可以安下心慢慢阅读后面的内容了。ice：所以有一点小星星们可以放心的是，星瞳是CDD自成立以来最重视的项目，也会是CDD未来几年内容策划、技术实践、商业探索上的核心项目。02积累经验与解决问题茶馆：不好意思强行分了个段，光芒实在太能聊了。光芒：不好意思，但是这才刚开始。ice：冒泡防踢。茶馆：很多问题已经在前面得到答案了，所以我们不妨聊点稍微轻松点的话题，比如最近被小星星们大溜特溜的《TOMBOY》以及4月8日的“神回”，你们对这天的直播感觉如何？光芒：其实这次技术测试回准备了很久，算是个阶段性成果吧，对我们来说经过了8个多月，技术方面的准备总算是到了可用的程度。原本其实在技术测试回我们准备了很多新的技术点，但是在彩排过程中发现没有达到我们的要求，所以临时拿掉了，会在优化后再和大家见面的。很开心大家会喜欢这次直播，星瞳和整个工具人团队都很开心。茶馆：差点忘了，恭喜千舰达成。光芒：谢谢，我们也对4月8日整场直播进行了详细复盘，开心归开心，但也总结了不少问题。茶馆：对，我还是想问近期吵得特别热闹的一个话题，就是“导入引擎的到底是什么数据呢？”光芒：最近这个问题有不少朋友是比较关心的，小星星们也很关心（笑），简单来说导入引擎的数据是未经处理或者自动简单清洗后的骨骼体数据，当然这么说很多人会不太理解，这其中涉及到CDD在星瞳直播的运转机制。茶馆：具体运转机制指的是什么呢，比如彩排？彩排的环节对于星瞳的直播来说是必要的吗?光芒：在正式的直播过程中，整体管线说起来是比较简单的，通过光学动捕收集到的数据直接发送到我们现场渲染机中，然后所有渲染机的画面汇入到导播台中，最后经过导播台进入录机中然后推流，也就是大家最终所看到的画面。当然，你提到的彩排也是非常必要的，这次我们也放出了彩排的花絮，其中的“静电”并不是节目效果，其实是头发结算上的bug，类似这样的bug在彩排过程中我们发现了50多个，可重现只有10来个，也就是说还有非常多的bug我们无法重现，也就无法保证在正式直播的稳定性，解决这些问题是比较头疼的，所以其实细心的小星星也会发现，在正式直播里星瞳的头发是没有彩排的时候那么蓬松的，正式直播前我们调低了相关的参数，算是为了直播效果的稳定做的妥协。当然在技术测试回的正式直播中，也依然还是出现了不少bug的。我前面讲到的那个流程，是基本的大体管线，但因为直播内容的不同使用的设备也会调整，相应的现场布局与安排就会发生变化。4月8日的UE4测试直播，CDD团队一共用到了超过20台渲染机来保证整体效果，其中有部分镜头的渲染机是一主一备冗余配置的，如果出现问题会立即做切换。茶馆：我是外行，但我想知道20台渲染机采集数据是什么概念?光芒：我不知道其他虚拟人团队是怎么做的，但是我理解20台渲染机并不算是个很值得拿出来讲的地方。渲染机的问题先放一放，后面在镜头环节里我会提到。实际上在这8个多月的直播过程中，我们解决了几大类问题。因为不同于传统真人直播，3D虚拟偶像在虚拟环境下的直播有着非常多的难点，主要有：第一是动捕。其实动捕技术算是整个管线中技术比较成熟的了，但是在直播中应用动捕，最大的难点还是如何剔除掉“脏数据”，包括丢点、掉点或者抖动，这是目前无法避免的技术问题，而且十分影响观感，初期我们只能告知星瞳尽量避免做一些会造成人物穿模的动作，现在我们能通过软件升级和算法的方式做到骨骼体数据的尽量精准。第二是镜头。在中秋回直播的时候，我们在运镜上出比较严重的问题，其实在传统节目制作中是有细分的“导播”这个岗位的，我们当时并没有，所以在生日回，我们请了传统经验丰富的导播来配合，并且调了一台专业导播台进棚，解决了“传统导播不会操作引擎，操作引擎的工具人不擅长调度镜头”的难点，各自发挥特长，大家都很舒坦。我们在现场配置了两大类摄影机，一类是真实的摄影机，通过关联引擎内的虚拟摄影机，将空间位置信息、光圈、焦距等数据传递给引擎，再由引擎渲染对应的画面。这些真实摄影机，我们配备了3台，分别是摇臂、游机和固定机位，摇臂是之前万子姐提到的那台，我们也请了专业的传统摄影师来操作，当然为了优化成本，我们也不会每场直播都请导播老师或者摄影老师。（笑）另外一类摄影机是引擎里的虚拟摄影机，这也能充分发挥虚拟直播的优势，事实上从生日会开始，我们意识到虚拟摄影机的控制方面，我们远远不如asoul做得好，由于星瞳在生日会前都是一个人在直播的，所以我们没有开发绑定在角色身上并且自动跟随角色的镜头，这个问题到了生日会联动的时候才被发现，因为万万和冰糖来了以后，要即时给到某一位镜头是实现不了的，后续我们也立即做了专项的开发。多个镜头通过多台渲染机渲染，汇入导播台，由导播老师做画面切换，这就是我们常用的解决方案。当然这里就牵扯到多个机位之间画面同步的问题，这个问题在现实世界是不太会出现的，因为在现实世界里时间线是单向的，但是在虚拟世界里，由于不同渲染机的渲染时间并不一致