解决“佛跳墙、老婆饼”问题,联通开源中文原

2025-01-08 19:23:32

  联通数据智能有限公司今日宣布开源首个完全在国产昇腾 AI 基础软硬件平台上实现训练和推理的中文原生文生图模型 ——

  在架构上,通过在 SDXL 架构中融合复合语言编码模块,实现了对中文长文本、多属性对应和中文特色词汇的精确语义理解,对应图像的生成效果得到了极大提升。

  在昇腾 AI 大规模算力集群上实现了中文原生文生图模型的训练和推理,

  联通数据智能有限公司表示,当前的文生图主流模型以英文输入为主,中文原生的文生图模型研发则相对比较缓慢,这导致了模型对中文语义的理解能力不足,中文特色生成能力有限。

  对此,元景文生图模型一方面将英文 CLIP 模型替换成中文 CLIP,使得模型中文短文本输入具有更好的理解能力;同时,引入复合语言编码架构,将基于 encoder-decoder 架构的语言模型引入了语言编码器部分,这使得模型能支持超过 CLIP 长度限制的长文本,

  元景中文文生图架构

  通过引入复合语言编码模块,同时通过引入海量中文图文对数据进行预训练,模型对中文专属名词,如

  ▲提示词:鼠标、老鼠

  提示词:仙鹤、吊车

  提示词:佛跳墙、老婆饼

  提示词:一只身体毛发黑白相间的兔子正在草丛间啃胡萝卜

  提示词:在绿色的森林中,隐藏着一座白色的哥特式教堂,教堂的尖塔直指蓝色的天空,教堂周围是五彩斑斓的野花和浅黄色的草坪

  联通数据智能有限公司透露,目前,元景文生图模型已在联通内外部多个项目中成功应用。

  目前,元景文生图模型已在 GitHub、Hugging Face、魔搭、始智等社区全面开源,附开源地址如下:

  GitHub:

  HuggingFace:

  魔搭:

  始智:

下一篇:蚂蚁集团捐赠 500 万元驰援西藏日喀则地震灾区
上一篇:国家发改委:2024 年全国汽车报废和置换更新超
返回顶部小火箭