基于NVIDIA Jetson平台的实时运动捕捉系统-轻威科技

案例简介

在本案例中，通过使用 Jetson 平台，轻威科技研发了无需穿戴的下一代多人实时运动捕捉系统 SemCam，可以在演员无需穿戴任何 Mark 点和传感器的前提下，仅凭 AI 视觉识别和 AI 视觉三维重建，即可实时计算出多位演员的实时 3D 运动信息，计算精度和延时均可达到光学运动捕捉水平，拓展了运动捕捉系统在体育运动分析、LBE、仿真实训、VFX 等场景的应用。

本案例主要应用到 Jetson Orin Nano 和 NVIDIA TensorRT。

运动捕捉行业长期依赖高精度传感器，通过让演员穿戴 Mark 点或惯性传感器，运动捕捉系统可以通过光学或惯性计算获得演员的精确运动数据，这些数据用来制作影视特效、驱动数字人及进行运动医学分析。但是在体育比赛、LBE VR 线下娱乐、仿真实训等场景中，演员很难配合穿戴传感器，并且需要在较大空间中实时获取多人的精确运动数据，这对传统运动捕捉技术带来巨大挑战。

SemCam 通过 Jetson AI 边缘计算技术，可以在无需演员配合的前提下，实时提取多人精确运动数据，并通过 NVIDIA TensorRT 实时重建出 3D 运动信息，计算精度达到毫米级，系统延时小于 20 毫秒。

运动捕捉技术面临多维度实施挑战

“AI 将成为未来运动捕捉技术的核心驱动力”。目前，运动捕捉技术的使用越来越广泛，随着虚拟现实、数字人、虚拟拍摄、仿真实训、人机协同等技术不断被用户使用，如何实时获取人在空间中的精确运动信息变得至关重要，可以说运动捕捉技术已经变为打通物理世界和数字世界的桥梁之一。但是传统运动捕捉技术需要演员穿戴 Mark 点或惯性传感器，这会造成以下三个问题：

很多场景下用户无法配合穿戴传感器。例如在体育运动分析场景中，可穿戴传感器在出现意外时会造成运动员身体受伤，并且在进行竞技比赛时根本无法要求对方运动员配合穿戴；

传感器需要定期校准，操作不便。传统运动捕捉技术用到的光学传感器需要在相机产生震动后重新标定，惯性传感器也需要定期进行磁校准，上述工作不仅增加了用户宝贵的时间成本，还必须配备专业技术人员完成，这在仿真实训、LBE 等时间人员成本敏感的场景中尤为明显；

对环境要求敏感。传统运动捕捉技术需要良好的物理环境，光学捕捉对近红外频谱敏感，因此捕捉场地中需要小心剔除阳光等红外光源干扰，而惯性传感器则对磁干扰、无线通讯干扰敏感，这无疑限制了运动捕捉系统的部署场景。

解决上述问题的最好办法是使用 AI 技术完成运动捕捉，通过计算机视觉直接在图像中提取演员的 2D 运动数据，并通过视觉三维重建恢复出精确的 3D 运动数据。有些团队使用 AI 服务器部署运动捕捉算法，但是单纯使用 AI 服务器计算仍然面临以下挑战：

运动捕捉场地越来越大，往往需要多目视觉解决场地覆盖和鲁棒性问题。每个视觉传感器的视角和可视距离是有限的，为了应对赛事、仿真实训和 LBE 对越来越大、越来越复杂的场地需求，现代运动捕捉设备往往需要数十甚至上百目视觉传感器同时工作，以解决全场地视角覆盖，这意味着如果用 AI 服务器部署，需要 AI 服务器同时处理和计算上百路视频信息，用户很难接受这样的服务器集群部署；

海量数据传输造成的系统延时。运动捕捉行业对系统延时很敏感，尤其是涉及实时图像渲染的仿真实训、LBE、数字人等场景，上百路视频的实时传输会对网络带宽和计算延时带来巨大压力；

设备间时钟同步。为了完成高质量的运动捕捉，需要不同传感器同时工作，且同步误差需要在纳秒级，这对系统设计、协议设计也提出了挑战，同时还需考虑部署简洁的问题。

上述挑战的存在使得通过 AI 技术实现多人实时运动捕捉，并且在实用性和数据精度上达到以光学捕捉为代表的工业级标准困难重重，而 Jetson 边缘计算的引入将这一设想变为可能。

NVIDIA Jetson Orin 助力实现

AI 运动捕捉技术突破

由于上述挑战的存在，轻威科技选择使用 NVIDIA Jetson Orin 系列边缘计算平台来设计实时 AI 运动捕捉系统，推进了 AI 运动捕捉技术的使用，解决了客户在很多场景中无法部署传统运动捕捉系统的需求。

在 SemCam 设备中内置 Jetson Orin 系列，通过边缘计算完成繁重的 2D 运动数据提取。在使用 AI 计算运动数据中，最繁重的工作来自于对每路视频数据的处理和解算。Jetson Orin 系列可以让 SemCam 在设备端直接处理来自 CMOS 的原始数据，完成 AI 特征解算，而无需进行耗时的视频编码、传输，甚至可以做到缓冲区零拷贝。计算后的 2D 特征点通过网络发送到上位机进行三维重建，大大减少了传输带宽，减轻了传输延时。

借助 Jetson Orin 的低功耗设计，简化数据及供电链路。由于 Jetson Orin 采用低功耗设计，即便满负荷运行也符合 PoE/PoE+ 供电标准，因此 SemCam 直接采用该标准，仅用一根网线即可完成供电和数据传输，大大简化了系统部署难度。

通过嵌入式 Linux 开放协议栈，实现高精度设备间时钟同步。由于 Jetson Orin 使用 Linux 作为操作系统，SemCam 通过修改通讯协议栈实现了纳秒级时钟同步，可以让上百台 SemCam 真正“同时”工作，完成高精度的运动数据解算。

实现可更新的模型设计。SemCam 的实现还允许用户更新 AI 模型，以实现不同运动捕捉任务的需求。用户可以在同一捕捉场地中指定每组 SemCam 运行不同捕捉任务，同时完成包括演员、动物、物体的实时捕捉。

此外，在上位机的三维重建算法上，轻威科技也借助 NVIDIA TensorRT 实现了高性能、高鲁棒性的实时三维重建、信号过滤和数据降噪，在单颗 GPU 上即可实现超 200fps、超 100 目传感器的实时高精度三维重建。

SemCam 是目前 AI 运动捕捉行业中率先可交付的边缘计算解决方案，可以为客户提供上千平米空间、上百目传感器、多至 24 人的实时 3D 运动捕捉，吸引了体育运动分析、LBE、仿真实训的大量用户，解决了上述行业中无法穿戴传感器获得高精度运动数据的核心需求。

NVIDIA 赋能 SemCam，

打造无穿戴式实时多人运动捕捉系统

通过使用 NVIDIA Jetson Orin 边缘计算平台，SemCam 将真正可用的实时多人运动捕捉系统变为可能。SemCam 可以做到完全无需演员配合，实时获取准确 3D 运动数据，可以大大拓展运动捕捉技术的使用场景。

“运动捕捉是连接物理世界和数字世界的关键桥梁，未来人们使用运动捕捉技术将和使用键盘、网络摄像头、触摸屏一样普及，我们的动作就是我们与 3D 数字世界交互的工具。就像 iPhone 抛弃手写笔一样，未来的运动捕捉也不应借助任何穿戴式传感器，而 AI 将成为未来运动捕捉技术的核心驱动力。我们很高兴在运动捕捉技术发展的黄金时代遇到 AI，遇到 NVIDIA，我们正在积极使用 NVIDIA Jetson 强大的边缘计算能力构建快速、精巧、低功耗的非侵入式运动捕捉设备，让更多场景可以更容易、更高效地使用运动捕捉技术。今年我们也加入了 NVIDIA 初创加速计划，将在技术和市场方面有更多的交流和联动。” 轻威科技创始人 CEO 郭伟表示。

轻威科技致力于运动捕捉设备与方案，SemCam 是轻威科技创新研发的首款基于 AI 边缘计算的多人实时运动捕捉系统，可以让演员在无需穿戴任何 Mark 点和传感器的前提下，实时捕捉演员的高精度 3D 运动数据。SemCam 解决了在体育运动分析、LBE、仿真实训、VFX 等场景下，被捕捉对象难以配合穿戴传感器进行运动捕捉的问题。