建议架构
*根据晶圆厂服务情况可能会调整工艺(5纳米或4纳米)
我们将使用三星的5纳米工艺*和他们的HBM3E内存来设计人工智能芯片,用于生成式AI(如GPT-3、LLaMA),
这是一个数十亿参数、小批量且内存密集型的工作负载。
*根据晶圆厂服务情况可能会调整工艺(5纳米或4纳米)
为了更有效地设计服务器用AI半导体,比起GPU,更应该以NPU特化结构进行设计,今后NPU将成为主流。*Google、Microsoft、Tesla等众多企业正在制造nVidia GPU以外的专用NPU
CPU架构 通用架构
GPU架构 并行性优化架构
NPU架构 内存运算模式优化架构
高度优化且灵活的处理器架构,搭配行业领先的HBM技术,在生成式AI工作负载中表现出色,性能(>30%)、
成本效益(>2倍)、功耗效率(>3倍)均优于现有的H100。