发布日期：2024-12-06 04:24    点击次数：149

一、腾讯版 Sora 的降生配景汤加丽写真

腾讯混元视频生成大模子 HunYuan-Video 在 “文生视频” 模子 Sora 迟迟未敞开的情况下登场。岁首 Sora 的出现掀翻群众竞逐 AI 视频生成的上涨，如今腾讯混元抢先加入战场。

2024 年 2 月，OpenAI 发布文生视频模子 Sora，其不错生成长达一分钟的视频，同期保持视觉品性并罢黜用户教导，或者生成具有多个变装、特定类型的开通以及精确的主题和配景细节的复杂场景。Sora 的出现厚爱拉开了视频生成时期的大幕，尔后视频生成模子运转百花王人放。但 Sora 于今尚未对公众全面敞开，仅邀请部分测试者进行体验。

在这么的配景下，腾讯混元大模子带着最新的文生视频功能来了。腾讯混元视频生成大模子参数目达 130 亿，是现时最大的视频开源模子。目下，HunYuan-Video 已向公众和企业敞开试用请求。腾讯混元视频生成模子不仅能达成文生视频模子的基础智商，还具备一些特有的智商，比如或者在保持画面主角不变的情况下，自动切换镜头。为了达到这些特有的智商，腾讯混元进行了专项智商的微调，包括画质、高动态、艺术镜头、手写、转场和纠合动作六个方面。

二、混元大模子 的秉性

1. 四大秉性

写实画质：腾讯版 Sora，即腾讯混元视频生成大模子 HunYuan-Video，呈现超写实的视觉体验，简陋达成信得过与编造格调的切换。无论是荣华的都市街景，仍是充满科幻感的机器东谈主散步场景，都展现出了极高的画质水平。举例，教导词为 “一个男东谈主坐在咖啡厅里喝咖啡，轻柔，近景镜头，清闲，当代，电影格调，高质地” 的视频中，男东谈主的目光、状貌生成得很传神，手指也莫得赫然的 bug，整个这个词画面仿佛电影般质感整个。

语义敬佩：手脚业界首个以多模态诳言语模子为文本编码器的视频生成模子，腾讯混元自然具备超高语义领悟智商。用户不错进行精细的描画，举例生成主体的细节，东谈主物主意的组合等。面对复杂的翰墨形容，混元基本能准确领悟并进行输出。如教导词 “一支衣服沉静冬季装备的极地探险队，在呼啸的摇风雪中重荷前行，果然无法透过雪花看清互相，冰柱附着在他们的髯毛和派克服上，他们的脸上显闪现坚定的决心，录像机捕捉到一个中景镜头，展示了他们周围风暴的强度，冰寒、轻柔的明朗增添了一种孤单和坚定的嗅觉”，混元或者很好地呈现出这么复杂场景中的各个元素。

动态潜入：腾讯混元突破动态图像的局限，完整展现每一个动作的潜入经由。在开通一致性方面下了功夫，减少了物体变形和开通不连贯的问题。举例，教导词为 “日落时刻，一只乌龟在玄色沙滩上爬行”，固然画面开通幅度大，但海龟爬行的动作，以及沙滩场景变化当然信得过，莫得突兀的跨越和不连贯。又比如用 Sora 经典教导词 “一窝金毛猎犬小狗在雪地里玩耍。它们的头从雪地里冒出来，浑身都是雪”，两只小狗抬爪子、啃咬的动作很传神，身上的雪花也跟着打架的动作抖落。此外，它还能生成包含多个连贯动作的视频，如 “男东谈主走出卧室，关上门，看到一只能儿的毛茸茸的生物” 等。

原生镜头相同：腾讯混元具备多视角镜头切换主体保持智商，艺术镜头无缝贯串，禁闭传统单一镜头生成神情。或者自动生成兼并主体在不同视角下的镜头，并在视频中进行切换，以增强画面的叙事感。举例，开始是个中景镜头，女东谈主正手撑下巴念念考，啪一下镜头相同成女东谈主面部大特写，深奥眼眸、炎火红唇，再接着，镜头又切换到城市街景。还有 “雨滴敲打着窗户，镜头切换到下雨的大街上，有个男东谈主正撑着一把红色的伞，站在大街上，整个这个词画面很有氛围感。

酒涩网

2. 本领亮点

文本编码器适配多模态大模子，增强复随笔法子会智商：腾讯混元视频生成模子的文本编码器适配多模态诳言语模子，比拟业界目下更多选择的 T5 模子和 CLIP 模子手脚文本编码器，具有增强复随笔法子会智商、原生图文对王人智商以及相沿系统教导词等三大优点。或者更好地应付画面中存在的多个主体，以及完成指示中更多的细节。

视觉编码器相沿夹杂图片 / 视频历练，耕作压缩重建性能：混元团队自研了 3D 视觉编码器相沿夹杂图片 / 视频历练，同期优化了编码器历练算法，显耀耕作了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模子在细节证据上，终点是庸东谈主脸、高速镜头等场景有赫然耕作。

领受全把稳力机制，耕作画面潜入度：腾讯混元视频生成模子领受斡旋的全把稳力机制，使得每帧视频的贯串更为潜入，并能达成主体一致的多视角镜头切换。与 “分离的时空把稳力机制” 分袂关小心频中的空间特征和时间特征比拟，全把稳力机制则更像一个纯视频模子，证据出更优厚的恶果。

三、老牛破车的原因

1. 本领难度大

视频生成门槛高，每一帧画面都要精确、潜入，平均帧率为 129 帧 / 秒，难度远超文生图。腾讯混元文生视频模子 HunYuan-Video 在生成视频时，需要保证每一帧画面的质地，这关于本领的条目极高。与文生图只需生成一张静态图像不同，视频的生成波及到纠合的画面，每一帧都需要精确地呈现出用户教导的实质，况兼要保证画面的潜入性。这种高帧率的条目使得视频生成的难度大大增多。

对细节条目高，如手部等肢体部位的生成是难点，视频生成对动态性和纠合性条目进一步放大了费事。在视频生成中，手部等肢体部位的细节证据一直是个难题。由于视频具有动态性和纠合性，这些部位的生成需要愈加精确地把合手开通轨迹和形态变化。举例在一些复杂的场景中，东谈主物的动作可能会波及得手部的各式姿态，如合手拳、伸展、抓取等，这就条目模子或者准确地生成这些细节，况兼在视频的播放经由中保持连贯性。而目下的本领在照应这些细节时还存在一定的费事，需要不停地进行优化和校正。

2. 算力和数据问题

视频生成所需的算力和数据糜费量与图像生成模子之间具有指数级差距。腾讯混元文生视频模子的生成经由需要大都的算力和数据相沿。与图像生成模子比拟，视频生成所需的算力和数据糜费量呈指数级增长。这是因为视频包含了纠合的图像帧，每一帧都需要进行复杂的策划和照应。同期，为了保证视频的质地和潜入性，还需要大都的数据进行历练和优化。这种强大的算力和数据需求使得腾讯版 Sora 的建造面对看强大的挑战。

时间扩长一倍，算力呈正常级上升，老本较高。视频生成的时间长度与算力之间存在着密切的相关。跟着视频生成时间的增多，算力需求呈正常级上升。这意味着如若要生成更万古间的视频，所需的算力老本将非常高。腾讯混元文生视频模子目下生成单个视频最万古长为 5 秒，这亦然研讨到算力和老本的身分。如若要生成更万古间的视频，需要过问更多的算力资源，这关于企业来说是一个强大的老本职守。

3. 完善模子的需求

需要确保模子在安全、模拟过头他方面的可靠性。在建造腾讯版 Sora 的经由中，确保模子的可靠性是至关遑急的。这包括模子在安全方面的证据，确保不会产生无益或不良的实质；在模拟方面，要保证生成的视频或者准确地反应用户的教导，况兼适当物理规则和试验全国的逻辑。此外，还需要研讨模子在其他方面的可靠性，如沉静性、兼容性等。惟有确保模子在各个方面都具有可靠性，智力为用户提供高质地的办事。

不停优化模子汤加丽写真，提高生成画面的顺利率。腾讯混元文生视频模子目下在生成某个指定画面上的顺利率还不太高，用户需要屡次 “抽卡” 智力获得一个忻悦的画面。因此，不停优化模子，提高生成画面的顺利率是腾讯版 Sora 老牛破车的一个遑急原因。这需要通过不停地校正算法、增多数据量、提高算力等模式来达成。同期，还需要对模子进行络续的测试和评估，实时发现问题并进行校正，以提高模子的性能和质地。

---