全球首款 Transformer 专用 AI 芯片 Sohu 登场

2024-06-26 12:26:49

  Etched 公司宣布完成 1.2 亿美元 A 轮融资,查询公开资料,Etched 公司由两名哈佛大学辍学生加文・乌伯蒂和克里斯・朱创立,成立时间不到 2 年时间。

  Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中,乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造,推理性能大大优于 GPU 和其他通用人工智能芯片,同时能耗更低。

  在 Llama 70B 吞吐量中,Sohu 每秒可处理超过 50万个 tokens,让用户可以构建 GPU 无法实现的产品。

  Sohu 能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树、并行比较数百个响应、多播推测解码以及实时生成新内容等功能,为未来万亿级参数模型的运行提供了可能。

  附上官网链接,感兴趣的用户可以深入阅读。

下一篇:19名在越南的中国籍电诈嫌犯被移交我方,当地
上一篇:我国研制全球首个可开源的片上脑-机接口智能交
返回顶部小火箭