「Paraverse平行云」助力数字栩生突破超写实数字人“千言”的实时交互挑战

2023-08-21 11:53

“超写实数字人”一直是图形学界的圣杯之一,力求在虚拟世界中创造出逼真无比的3D人类角色,并使其能够实时与用户进行互动,营造身临其境的虚拟体验,超写实手语主持人“千言”便是“超写实数字人”领域的佼佼者。

“千言”由数字栩生和千博信息联合打造,可以实现电视转播手语的自动生成,完成从汉语到手语、手语到汉语的双向翻译,实现听障聋人群的信息无障碍交流。作为一名手语主播,“千言”已签约上百家电视台;同时,在针对聋哑人的教育场景,及政府的无障碍办事通道等场景中,千言也承担了AI翻译的角色。

为了实现“超写实数字人”的实时交互,数字栩生携手「Paraverse平行云」基于实时云渲染技术打造了“千言”在云端的“大脑中枢”,为“千言”赋予实时模仿听障人士的能力,以高质量、低延迟的渲染效果进行手语实时交互。除此之外,千言还能演唱三山五园歌曲、跳手语舞蹈。透过“千言”,我们可以真正看到一个虚拟技术与现实世界的高频交互的案例。“超写实数字人”正在提升现实世界人类的生活质量。


实时交互:超写实数字人的关键技术

数字人技术领域历经多年发展,传统数字人的构建依赖艺术家进行数字雕刻和骨骼绑定,但面临表情细腻度和艺术家要求高的问题。

现如今,数字孪生技术通过采集真实演员的多角度照片并结合算法,高效、低成本地制作出精准的超写实数字人,实现动态表情逼真复刻和脸部光学几何特征的捕捉。这种"照相机"式的技术和方式,为“超写实数字人”带来了更高效的解决方案。

然而,以上只解决了超写实数字人的生产,超写实数字人的成功应用还与“实时交互”能力强绑定。如果无法实时交互,数字人就缺少了很多应用场景,只能用于视频。

目前渲染技术分为离线渲染和实时渲染两类,离线渲染受限于设备和软件架构,根据预先定义好的光线、轨迹渲染图片,主要用于2D虚拟数字人;而实时云渲染可以实时计算并输出图形数据,每一帧都针对当时实际环境光源、相机位置和材质参数计算出的图像,大多用于3D虚拟数字人。

可以说,实时云渲染技术是3D超写实数字人实时交互的核心。

渲染超写实数字人是个复杂的过程,包括材料和纹理的渲染、光线的渲染、细节的渲染、反馈与完善、以及最终输出等步骤。通常渲染一帧虚拟数字人的画面需要几分钟到几小时不等,而为了实现能实时互动的3D超写实虚拟数字人,不仅需要渲染更多帧数、耗费更长时间,更需要巨大的计算量。

实时云渲染可以实时计算并输出“超写实数字人”海量的图形数据,每一帧都针对当时实际环境光源、相机位置和材质参数计算出的图像,满足了实时性的需求,同时利用了云端近乎于无限的GPU算力资源,有效处理繁重的图像渲染计算。

「Paraverse平行云」实时云渲染解决方案LarkXR兼容实时渲染、实时3D可视化、像素流送等相关技术服务于一身,可以满足超写实数字人随时随地跨终端、可交互的需求。



平行云

“千言”实时翻译香港財政司司長陳茂波在記者招待會中的發言


LarkXR:显著降低数字人访问成本

在“超写实数字人”制作的多项技术障碍被突破后,数字人的广泛推广和和落地至关重要,特别是降低“超写实数字人”的访问成本。

降低成本可以提高数字人技术的普及度,让更多用户能够负担得起数字人的应用和服务。其次,低成本的数字人访问有助于支持商业化应用,吸引更多企业和开发者使用数字人技术,推动数字人技术在商业领域的发展。

超写实、高精度的内容与AI实时交互的实现依赖于 GPU 算力,往往需要借助专用设备才能运行。而对于“千言”面向的用户而言,手机、平板、笔记本电脑等主要的个人电子产品往往并不具备本地渲染所需的算力,因而,如何降低乃至避免用户的额外访问支出,之于像“千言”这样的“超写实数字人”的应用、推广与发展都具有重要意义。

借助「Paraverse平行云」实时云渲染解决方案 LarkXR,“千言”支持手机、平板、电脑等轻终端设备,以及VR\MR\AR多多类型XR终端访问,有效节约用户本地设备成本。除此之外,在公有云场景下,实时云渲染技术从“计算资源”,“弹性资源分配”等方面也同样有效降低了“超写实数字人”的访问成本,为用户提供更加方便、高效的体验。

“未来我们在不断地提高,同时也努力降低数字人的生产成本,让更多的人能用上,需求和成本之间更加匹配。”数字栩生创始人&CEO宋震表示。

未来「Paraverse平行云」还将为数字人应用在更多场景带来了可能性,与数字栩生携手促进数字人技术的发展和普及。