AI视频剪辑工具MorphCut：自动删除视频中的多余停顿语气... - 谷动谷力

在训练阶段，我们随机采样源（用绿色矩形表示）和目标（用红色矩形表示）帧，并提取它们对应的 DensePose 关键点，并用面部特征点增强（为简单起见，此处未显示）。该方法将源密集关键点特征提取为关键点特征，将目标密集关键点特征提取为查询，提取源图像特征提取为特征，然后应用交叉注意力来获取查询的值，即扭曲特征。这种扭曲特征被馈送到受 Co-Mod GAN 启发的生成器中，以合成与地面实况目标帧相比的真实目标图像。为了在推理阶段应用跳切平滑，我们在跳切结束帧之间插入密集的关键点，并使用插值的关键点（黄色矩形）序列合成过渡帧。

抽象

跳切会给观看体验带来突然的、有时是不必要的变化。我们提出了一个新颖的框架，用于在说话的头部视频的背景下平滑这些跳跃剪辑。我们利用视频中其他源帧中主体的外观，将其与由 DensePose 关键点和面部地标驱动的中级表示融合在一起。为了实现运动，我们在切口周围的端帧之间插入关键点和地标。然后，我们使用来自关键点和源帧的图像转换网络来合成像素。由于关键点可能包含错误，我们提出了一种跨模态注意力方案，在每个关键点的多个选项中选择和选择最合适的来源。通过利用这种中间级表示，我们的方法可以获得比强视频插值基线更强的结果。我们在说话的头部视频中展示了我们的各种跳跃剪辑方法，例如剪辑填充词、停顿，甚至随机剪辑。我们的实验表明，我们可以实现无缝过渡，即使在具有挑战性的情况下，即说话的头部在跳跃剪辑中旋转或剧烈移动。

用于去除语气词的跳切平滑处理

给定一个输入的谈话视频，我们应用填充词检测算法来删除语气词，并手动删除不必要的停顿和其他重复词。这会导致视频中出现不自然的跳跃剪辑。然后，我们应用我们的方法来平滑跳切，以输出流利的说话视频。

基线比较

我们展示了我们的方法与最先进的慢动作帧插值方法FILM相比产生的视频过渡。我们在最右边的一栏中突出显示面部细节。请注意，FILM有严重的面部变形，尤其是当头部从一侧旋转到另一侧时。

使用面部特征点操作进行过渡控制

给定相同的跳切结束帧，我们展示了具有不同面部特征轨迹的合成过渡序列：在左侧，我们使用线性插值的面部特征点;在中间，我们使嘴巴闭合，同时保持其他面部区域与左侧相比不变;在右边，我们提供了一个面部特征轨迹，模拟正常的说话序列。

"适用于需要消除语气词和重复词，以及平滑跳切的视频处理场景。"

在视频编辑软件中应用，去除不必要的词和跳切，制作流畅的对话视频。

应用于广告制作，消除不必要的停顿和词汇，打造更吸引人的视频内容。