阶跃星辰开源3D大模型 Step1X-3D,可生成高保真、

2025-05-14 16:59:35

  阶跃星辰正式发布并开源 3D 大模型 ——Step1X-3D,这是继图像、、语音、音乐等模态后,阶跃星辰在多模态方向的最新成果。Step1X-3D 模型总参数量达 4.8B,凭借坚实的数据基础与先进的 3D 原生架构,可生成高保线D 内容。阶跃星辰称,Step1X-3D 不止于阶跃星辰公布了完整的数据清洗策略,数据预处理策略,以及800K高质量的3D资产,3D VAE、3Dgeometry Diffusion以及texture Diffusion的全链路训练代码开源,助力3D生成社区发展。

  开源链接与体验地址:

  GitHub:

  HuggingFace:

  ModelScope:

  Tech Report:

  附官方给出的核心特性与技术支撑如下:

  Step1X-3D 尝试解决 3D 内容生成的关键挑战,在数据、生成质量与可控性上进行了创新实践。

  1、数据驱动与算法协同优化

  好数据是好模型的基础。Step1X-3D 对超 500 万原始数据进行严格筛选与处理后,建立了包含 200 万高质量、标准化的训练样本库,有效克服了行业数据稀缺与质量参差的瓶颈。

  数据处理流程示意图

  此外,Step1X-3D 通过增强型网格-SDF 转换技术等方法,从源头保障了模型学习的精准性与最终生成的高效性,让水密几何转换成功率提升了 20%,也让 Step1X-3D 拥有了强大的泛化能力与细节捕捉力。

  Step1X-3D 数据筛选与 SDF 转换流程示意图2、3D 原生生成:结构清晰、细节生动

  Step1X-3D 采用先进的 3D 原生两阶段架构,解耦几何与纹理表征,确保生成的不仅是

  Step1X-3D 的原生 3D 架构

  几何生成模型基于 FLUX MMDiT 结构和 Rectified flow 算法直接对 3D 表示生成进行建模

  纹理生成模型基于预训练的 Diffusion model,通过单视图和 3D 几何信息指导,生成多视角一致的纹理信息几何塑形更精准

  几何生成的核心在于采用为 3D 特性深度优化的创新混合 VAE-DiT 架构。该架构负责生成 TSDF 内部表示,确保产出的 3D 模型结构完整、无破面漏点;同时通过引入锐利边缘采样等技术,精准捕捉并还原物体的丰富几何细节。

  几何示例:覆盖硬边与曲面结构纹理细节更生动

  纹理生成则基于强大的 SD-XL 模型进行深度定制与优化。通过几何条件的精准引导,以及潜在空间多视图同步技术,实现了与几何模块的高效协同。确保生成的纹理不仅色彩饱满、质感生动逼真,更能跨越多视图保持高度一致,与复杂三维表面精密贴合,有效避免常见的扭曲与接缝瑕疵。

  纹理示例:呈现清晰一致的表面纹理 3、控制简单、效果可调

  Step1X-3D 显著提升了 3D 内容生成的可控性与易用性。其关键在于,VAE-Diffusion 整体架构在设计上与主流 2D 生成模型保持了高度一致性,从而能够无缝引入并应用成熟的 2D 控制技术。

  因此用户可以对生成 3D 资产的对称性、表面细节等多种属性进行直观、精细的调控,让创作更精准地符合用户意图。

  对比图 1:对称性控制效果

  对比图 2:表面细节控制效果性能评估

  为了客观评估 Step1X-3D 的实际效果,我们通过一个自建的综合测试,对 Step1X-3D 进行了严格的定量与定性评估,同时与多款主流模型进行全面对比。

  结果显示:在自动评估中,Step1X-3D 在多项关键维度上均表现出色。

  在与主流 3D 模型的对比评测中,特别是在衡量内容与输入语义一致性的核心指标 CLIP-Score 上,Step1X-3D 取得了当前所有对比模型中的最高分,为开源社区提供了极具竞争力的 3D 生成方案。

  不同 3D 模型测评对比数据

  Online Demo:

下一篇:木艺之风吹进散热器:九州风神预热“新风格”
上一篇:小鹏全新中大型轿跑 E29 官方预告亮相,比现款
返回顶部小火箭