AI视频生成技术迈入新阶段。近日，由知名风投a16z加持的3D与AI视频公司Luma AI正式发布其最新模型Ray3Modify，首次实现了在不破坏原始表演细节的前提下，对实拍视频进行高保真度的AI重构。无论是更换角色外貌、调整服装风格、切换背景场景，还是生成自然流畅的过渡镜头，演员原有的动作节奏、眼神聚焦乃至情绪起伏均被精准保留，为创意产业带来前所未有的后期自由度。
长期以来，创意团队在使用生成式AI工具时面临一个核心难题：尽管AI能产出视觉震撼的画面，却往往难以精细控制，导致真实表演中的细腻表达在处理过程中被“抹平”甚至丢失。而Ray3Modify通过引入“角色参考图”（character reference image）和“起止关键帧”（start/end frames）两大机制，成功实现“表演不变、表现可变”的编辑逻辑——既保留人类表演的灵魂，又赋予视觉呈现无限可能。
具体操作上，用户只需上传一段普通摄像机拍摄的视频，并提供目标角色的形象素材——可以是动漫人物、历史名人，甚至是品牌专属的虚拟代言人——Ray3Modify便能将原视频中演员的外表无缝替换成新角色，同时完整复现其微表情、肢体语言及情感张力。更进一步，通过设定起始与结束帧，创作者还能引导AI生成可控的动态过渡，例如角色缓步前行、转身回眸或情绪渐变，确保叙事连贯、画面自然，极大提升了内容生产的效率与艺术表现力。
“生成式视频拥有惊人的创造力，但过去缺乏足够的可控性，”Luma AI联合创始人兼CEO Amit Jain指出，“Ray3Modify真正打通了现实表演与数字想象之间的隔阂。现在，一支团队只需用手机或普通相机完成一次真实拍摄，就能借助AI将其‘搬’进任何虚构世界——换装、换景、甚至‘重演’，无需重新召集演员或搭建昂贵布景。”
目前，Ray3Modify已全面集成至Luma的Dream Machine平台，面向影视、广告、游戏等领域的专业创作者开放使用。在与Runway、Kling等竞品的激烈角逐中，Luma凭借此次技术突破，进一步确立了其在“可控生成视频”赛道的领先地位。
这一进展的背后，是强大的资本与算力支撑。2024年11月，Luma刚刚完成高达9亿美元的融资轮，由沙特主权财富基金旗下AI企业Humain领投，a16z、Amplify Partners、Matrix Partners等原有投资方持续加码。据悉，Luma还计划携手Humain在沙特共建一座2GW级别的AI超算中心，专为未来高复杂度、高分辨率的视频生成任务提供底层基础设施保障。
当AI的角色从“内容生成者”转向“表演增强器”，影视制作、品牌营销乃至互动娱乐的工作流程或将迎来根本性变革。真实人类的情感与动作，与AI的无限想象力，终于在同一帧画面中和谐共舞，开启人机协同创作的新纪元。
