时间:2022-05-20 来源:系统堂 游览量: 次
继去年宣布第四代TPU加速器后,在 Google I/O 2022 上,Google宣布 8 套 Cloud TPU v4 Pod 计算设备将组成最大的机器学习中心,并强调使用 90% 的无碳能源驾驶。
在之前的描述中,谷歌表示第四代 TPU 加速器的计算性能比上一代提升了一倍,同时由 4096 组第四代 TPU 加速器组成的 POD 计算设备也可以对应更多超过 1 exaFLOPS 的计算性能。本次机器学习中心由 8 套 Cloud TPU v4 Pod 计算设备组成。峰值运行可达每秒 900 万 teraflops,使其成为全球最大的公共机器学习中心,并将通过 Google Cloud 服务向公众开放。
包括 Cohere、LG AI Research、Meta AI、Salesforce Research 在内的行业团队实际体验过 Google 的机器学习中心,它可以通过 TPU VM 架构搭建交互式开发环境,可以灵活应用 JAX、PyTorch 等机器学习框架,或 TensorFlow。此外,通过快速互联和优化的软件堆栈特性,创造出更出色的性能和可扩展性。
谷歌此次在 Google I/O 2022 上提到的 PaLM(Pathways Language Model)语言模型是通过 2 套 TPU v4 Pods 训练出来的,从而对应更快的语言翻译和理解。