解决“佛跳墙、老婆饼”问题,联通开源中文原
联通数据智能有限公司今日宣布开源首个完全在国产昇腾 AI 基础软硬件平台上实现训练和推理的中文原生文生图模型 ——
在架构上,通过在 SDXL 架构中融合复合语言编码模块,实现了对中文长文本、多属性对应和中文特色词汇的精确语义理解,对应图像的生成效果得到了极大提升。
在昇腾 AI 大规模算力集群上实现了中文原生文生图模型的训练和推理,
联通数据智能有限公司表示,当前的文生图主流模型以英文输入为主,中文原生的文生图模型研发则相对比较缓慢,这导致了模型对中文语义的理解能力不足,中文特色生成能力有限。
对此,元景文生图模型一方面将英文 CLIP 模型替换成中文 CLIP,使得模型中文短文本输入具有更好的理解能力;同时,引入复合语言编码架构,将基于 encoder-decoder 架构的语言模型引入了语言编码器部分,这使得模型能支持超过 CLIP 长度限制的长文本,
元景中文文生图架构
通过引入复合语言编码模块,同时通过引入海量中文图文对数据进行预训练,模型对中文专属名词,如
▲提示词:鼠标、老鼠
提示词:仙鹤、吊车
提示词:佛跳墙、老婆饼
提示词:一只身体毛发黑白相间的兔子正在草丛间啃胡萝卜
提示词:在绿色的森林中,隐藏着一座白色的哥特式教堂,教堂的尖塔直指蓝色的天空,教堂周围是五彩斑斓的野花和浅黄色的草坪
联通数据智能有限公司透露,目前,元景文生图模型已在联通内外部多个项目中成功应用。
目前,元景文生图模型已在 GitHub、Hugging Face、魔搭、始智等社区全面开源,附开源地址如下:
GitHub:
HuggingFace:
魔搭:
始智: