腾讯Hunyuan3D重塑3D重建|MVPaint多视角提升3D材质一致性|PromptFix实现高质量图像修复【AI周报】

neverbiasu大约 7 分钟

腾讯Hunyuan3D重塑3D重建|MVPaint多视角提升3D材质一致性|PromptFix实现高质量图像修复【AI周报】

摘要

本周聚焦视觉与生成领域突破：腾讯混元3D 推出高效3D重建工具，支持实时场景重建；MVPaint提升3D材质一致性，实现高质量多视角纹理生成；PromptFix利用Diffusion模型进行多任务图像修复，覆盖上色、去雾等。其余详见正文。

HiCo-T2I: 分层可控Diffusion模型布局到图像生成
Hunyuan3D-1: 腾讯推出的高效 3D 内容生成模型
AutoVFX: 物理真实感视频编辑系统
HelloMeme: 高级注意力机制驱动的生成模型
MVPaint: 多视角一致的 3D 纹理生成模型
PromptFix: 实现智能图像修复的 Diffusion 模型
DomainGallery: 精细化领域适应的 Diffusion 模型

HiCo: 分层可控Diffusion模型布局到图像生成

概要: HiCo-T2I 是由 360 CV 研究院 推出的新型 Hierarchical Controllable Diffusion Model，用于布局到图像生成任务。其核心创新在于引入分层控制策略，以更好地处理复杂场景和多对象布局。通过多分支结构和融合模块，该模型在空间解耦上表现优异。研究团队还构建了新的 HiCo-7K 基准数据集，用于评估模型在自然场景中的生成效果。

标签: #Diffusion模型 #布局到图片 #可控生成 #360AIResearch

概要*: Hunyuan3D-1 是腾讯推出的新一代 3D 内容生成模型，旨在实现高效的单图像 3D 重建和生成。该模型以其卓越的性能和高质量的 3D 网格输出而受到关注，尤其在实时性方面表现优异：标准模型在 NVIDIA A100 GPU 上可在 25 秒内完成单次 3D 重建，而精简版模型更快，仅需 10 秒。Hunyuan3D-1 的设计包含了多分辨率Diffusion模型结构，能够处理细节丰富的复杂场景，同时提供了一键安装工具，支持 Windows 环境和云计算服务，如 RunPod。

标签: #3D重建 #图生3D #腾讯 #Diffusion模型l #实时性能

AutoVFX: 物理真实感视频编辑算法

概要: AutoVFX 是由 伊利诺伊大学 开发的一款基于自然语言指令的视频编辑算法，专注于提供物理真实感的效果。通过集成先进的分割模型（如 Grounded-SAM 和 DEVA）、修复模型（如 LaMa），以及 3D 重建技术（如 Gaussian Splatting 和 BakedSDF），该系统能够实现从语义跟踪、光照估计到视频内容修复的全流程自动化处理。AutoVFX 支持用户使用简单的文本提示进行编辑，极大地简化了视频制作过程，适用于广告制作、影视后期等场景。

标签: #视频编辑 #自然语言处理 #GroundedSAM #3D重建

HelloMeme: 高级注意力机制驱动的生成模型

概要: HelloMeme 是由 HelloVision 开发的创新型图像和视频生成工具，集成了 Spatial Knitting Attention（SKAttention）技术，显著提升了Diffusion模型的条件控制和生成效果。通过 SKAttention 机制，模型能够有效嵌入高层次的语义条件，实现更高保真度的图像与视频内容生成。 HelloMeme 提供了两个主要功能接口：图像生成和视频生成。用户可通过参考图像与驱动图像（或视频）进行内容生成，支持细粒度的面部追踪和风格化处理。项目还推出了 ComfyUI 界面，便于用户通过简单的操作体验模型功能，特别适用于创意制作和个性化表情包生成等场景。

标签: #Diffusion模型 #注意力机制 #图像生成 #视频生成 # 表情控制

MVPaint: 多视角一致的3D纹理生成模型

概要: MVPaint 是由 腾讯PCG、上海AI实验室、南洋理工S-Lab 和 清华大学 组成的 3DTopia 团队开发的一种多视角一致的 3D 纹理生成框架，专注于提高 3D 物体纹理的生成质量和一致性。该模型通过三个主要模块实现高效纹理合成：

同步多视角生成（SMG）：并行处理多视角图像生成，提高整体纹理一致性。
空间感知 3D 修复（S3I）：利用修复模块填补未观察到的纹理区域，避免出现纹理空洞。
UV 精细化（UVR）：通过 UV 空间的超分辨率和无缝平滑算法，提升纹理细节并减少 UV 展开造成的不连续问题。

实验结果表明，MVPaint 在多视角一致性和高保真纹理生成上超越了现有的最先进方法，适用于游戏、影视等 3D 内容创作场景。

标签: #3D纹理 #多视角一致性 #Diffusion模型 #纹理修复

腾讯Hunyuan3D重塑3D重建|MVPaint多视角提升3D材质一致性|PromptFix实现高质量图像修复【AI周报】

腾讯Hunyuan3D重塑3D重建|MVPaint多视角提升3D材质一致性|PromptFix实现高质量图像修复【AI周报】

摘要

目录

HiCo: 分层可控Diffusion模型布局到图像生成

Hunyuan3D-1: :腾讯推出的高效3D内容生成模型

AutoVFX: 物理真实感视频编辑算法

HelloMeme: 高级注意力机制驱动的生成模型

MVPaint: 多视角一致的3D纹理生成模型

PromptFix: 实现智能图像修复的Diffusion模型

DomainGallery: 精细化领域适应的Diffusion模型

参考链接