2. 虚拟人技术突破

团队自2021年起在虚拟人技术方面取得积累，特别是在3D模型、贴图及动作数据的生成，并进行了大量AI训练以提高精度。

2023年团队专注于虚拟人的视攧频生成技术研发，可以通过文本或语音控制，生成高度逻辑性和模拟物理特性的虚拟视频内容。

公司预计将推出一键式视频及配音生成工具，并计划将技术应用于移动设备上，使得在手机上编辑和渲染虚拟视频变得可行。

3. AI视频创作新工具

公司内部已广泛应用自行开发的视频制作工具，用于日常大量视频产出，包括每周例会。该工具具备高效且逼真的视频编辑与渲染能力。

工具的核心功能包括撰写脚本、画分镜及推测片段，技术基于transformer与diffusion模型架构，擅长数字人物生成。

AI创作中环节的连接是最具挑战性的部分。工具可以确保故事的连贯性，有效推理映射前后画面，以实现整体故事的衔接。

4. AI工具及转型策略

天娱数科将数字人技术应用于视觉内容创作，通过关键词或描述输入即可自动生成并导出画面序列。

公司正优化其产品，未来将考虑从显存容量较高、成本较高的GPU平台向CPU平台迁移，以降低算力成本并减少技术门槛。

公司技术转向CPU之后，如果推理速度足够快，理论上与GPU在效果上无明显区别，但技术难度上会增加。

5. IP运营及技术革新

技术应用提升IP制作效率：天娱数科使用先进技术大幅降低IP短视频制作成本，提高创作效率，用最小团队做最多内容。

个性化模型训练支持品牌塑造：公司可针对特定IP进行模型训练，保证风格一致性，专门模型训练将大有用处，尤其是与大型合作伙伴发展定制化内容。

科技创新迎接内容生产需求：采用换脸技术等创新手段提升内容生产质量，生成效果自然完整，打造本地化内容，为未来生产高质量工具和内容铺路。

6. 技术路线及策略

关于视频生成技术：公司视频生成技术专注于精细化个性化定义，有能力更精确控制角色人物的面部特征，并且在特定模型方面，能稳定生成统一风格的内容，这在竞品中是一个优势。

关于算力布局：公司不直接生产或租赁算力，而是通过算力调度能力，与多个超算中心合作，实现成本效率的优化，预计两个月内技术突破，将大幅降低成本。

关于时间规划和产品上线：内部产品平台已上线且正在转向CPU，技术突破预计在两个月内完成，目前数据量有所缺失，特别是场景数据，公司正与第三方合作开发完善，但具体上线时间未透露。

Q&A

Q：公司AI视频的最新进展吗？

A：天娱数科在AI视频领域持续攧进行了研发和市场布局，我们在图像识别、语音识别等关键技术上取得了实质性进展，已成功应用于多个实际场景中。目前，我们正专注于优化现有产品，提升用户体验，同时也在积极探索新的商业模式和合作伙伴，以期在AI视频市场进一步扩大我们的市场份额。在未来，我们将加大技术研发投入，通过持续创新来加强我们的市场领先地位，并寻求通过技术升级为公司带来稳定的业绩增长。重点数据、业务经营情况、未来规划等对投资决策有用的相关表述

Q：公司在虚拟人技术研发方面布局了哪些工作？2023年下半年的重点项目是什么？

A：天娱数科团队之前在虚拟人技术方面做了大量工作和技术研发，特别是单张图片、序列图片和3D纹身技术等方面取得了突破。我们已经生产了大量的数据资源来训练高精度的结果，目前已完成了数千条3D模型及序列数据的训练。2023年下半年，我们的重点放在了3D纹身技术，这是根据我们在光学动态捕捉方面所积累的大量的动作、面部表情和身体外形模型数据进行的。

Q：在视频生成方面，目前取得了什么技术突破？天娱数科的系统能够实现哪些功能？

A：在视频生成方面，尤其是虚拟攧人视频生成，我们团队实现了关键技术突破，可以利用已有的大量3D模型数据和动作数据来训练并推理生成各种所需的视频内容。我们不仅能生成单一的视频模型，还能模拟物理属性进行更复杂的生成。此外，我们的系统也吸收了游戏引擎的资产，可以模拟海洋、山体、火山等场景及物理特性，并结合光照模拟信息。该系统不仅可以生成角色，而且可以创建带有场景的整体渲染内容，并向合作伙伴提供解决方案，实现自动化编辑、一键生成脚本及视频配音等功能。我们的技术难点在于使用transformer结合diffusion模型来设计系统架构，这种方法与传统的像素推理或帧推理不同，而是根据当前片段去推测下一个片段，增强了逻辑性。我们的系统可以随意创建人物角色，同时保持面部特征的准确性和稳定性，这是我们的优势之一。

Q：未来对技术进行拓展有哪些规划？移植到CPU上有哪些意义？

A：未来我们计划拓展技术能力，不仅限于数字人生成，而且能够实现像Zora一样自由的编辑和创造。目前，我们正在致力于将整个系统从使用GPU如NVIDIA的3090或4090转移到CPU上，以便在推理方面取得突破。一旦在CPU上实现该技术，未来就能在手机和普通电脑上直接使用。我们在移植方面正在解决技术难点，择势将完成迁移，从而在手机上编辑和推理生成视频。

Q：公司未来有哪些辅助上下游和合作伙伴的产品或应用场景？

A：天娱数科正在开发的产品主要针对视频内容的高效产出。目前公司内部各部门在视频制作过程中就广泛应用这些工具。产品主要能够辅助用户创作完整的故事脚本，运用类似大模型的逻辑关系来构思故事。紧接着，这个工具能帮助画出分镜头，类似于游戏引擎如阿芮尔在分镜创作上的应用，我们利用了同样的技术来直接创造出视觉效果逼真的脚本。此外，这套系统还能够根据分镜推算出想要的片段。技术上，它采用了transformer加上diffusion模型的架构，本来用于生成图片，但现在已经发展到能生成视频序列。我们还保证了这些分镜头不仅在视觉上的连贯性，也在逻辑层面能够相互衔接，不会存在跳帧的问题。这个产品将是个全面的视频制作工具，也包括了配音配乐等后期处理功能。尤其是在数字人生成方面，我们已经实现了很高的成熟度，无论是人物的完整度、精度，还是动作、表情和面部特征等也都能非常完善地生成。对于有兴趣的用户，我们已经在微信小程序上放出了很多相关视频，包括完整的视频片段，展示了我们技术的成果。

Q：关于“天娱数科”最新研发的数字人工具的特点和未来的应用？

A：我们公司在数字人领域颇有建树。目前，我们正在开发一款工具，用户可以通过输入关键词或描述，工具将基于这段描述的上下逻辑关系生成多个连续的画面序列。这套工具还未对外发布，因为我们需要确保它功能完整，并且整合各种场景，并寻找合适的上下游合作伙伴。目前工具运行在GPU上，由于成本相对较高，我们计划将其转移到CPU推理上以降低运算力成本，这样一来，可以推出低门槛甚至零成本的解决方案。当前的重点是优化这个工具，让它尽可能完善。

Q：在将工具从GPU转移到CPU的过程中，您预计会遇到哪些挑战，以及这样的转换对效果会有什么影响？

A：这个转换过程非常具有挑战性。首先，GPU是专为图形渲染设计的，它在渲染速度和效果上有明显优势。但是，CPU成本较低，且广泛存在于日常设备如手机中。我们需要跨平台开发技术来实现这一转换。技术上已经有许多模型在CPU上成功运行，剩下的工作重点是处理细节与优化精度。AI分为训练和推理两部分，目前主要关注的是推理性能的迁移。只要前期模型训练得当，推理模型主要影响因素是速度。而如果转移到CPU，只要推理速度足够快，效果上看不会有什么区别。主要挑战在于技术难度上可能会更高。

Q：公司在IP短视频制作成本和效率方面有哪些优化措施？

A：我们计划通过应用技术模型来大幅降低CG短视频的制作成本。此前，制作高精度的原创IP短视频，比如“天娱”IP，需要耗费大量成本预算和人员时间。但现在，利用新技术，成本将会极低，仅需少数甚至一个人便可以完成高精度效果的制作流程。此外，针对特定IP风格的模型训练也是我们的一个创新点，这些模型未来在生产中会有很大用处。

Q：除了IP短视频制作，天娱数科在影视生产流程方面有什么创新？

A：在影视生产流程方面，我们有重大的革新计划，致力于重新定义和颠覆传统流程。而结合换脸技术和其他技术的内容生产，也为我们提供了巨大的机会。技术的进步可以让我们创造出更自然、更贴近服务和当地需求的成品。我们计划提供高效有用的工具，有助于优化和提高生产效率。这些技术的应用将会成为我们重点发力的方向。

Q：公司在生成虚拟人物和视频方面有什么技术特色和优势？

A：我们公司在生成虚拟人物方面做得比较完整，有大量的虚拟人物积累，能够单独进行训练。我们的技术能够做到对人物面部特征进行高度精细化的控制。比如，用户可以非常细致地定义想要生成的角色的相貌特征，如特定的脸型。此外，在整个人脸的精细化控制方面我们也做得很好，能够满足大客户对某种特定风格脸型的需求。我们系统中模拟系统的物理系统的能力也强，使得人物与场景的融合看起来非常自然和谐。我们提供的解决方案成本较低，未来甚至有可能提供免费的视频生成服务。总体来说，我们的技术特色在于高度的个性化定制能力以及低成本的运营优势。

Q：公司在算力布局上有哪些计划？

A：天娱数科目前正在建设注册中心，并且与东部、中部等多个算力中心签约联营。我们推出了一个名为MXSurface的平台，增加了算力调度功能。公司未来不会生产算力也不会大量租赁算力，而是实现算力的动态调度。该平台可实时监控各算力中心的状态，并调配闲置算力。通过合作和技术，我们的算力成本更低，效率更高。

Q：公司有什么产品和平台的上线计划？

A：目前我们的产品平台已在内部上线并使用。对外尚未推出主要是因为成本较高，我们正在从GPU转向CPU以降低成本。大约两个月后，价格可以大幅度降低。我们还计划融入更多优质的训练数据，尤其是场景数据。尽管具体上线时间尚未确定，但我们欢迎对产品感兴趣的人联系我们体验。产品一旦正式上线，我们将第一时间宣布。