谷歌云AIGC火力全开！推出新AI芯片TPU v5e，企业AI服务30美元/月，接入Llama 2等大模型

当地时间8月29日，谷歌云于美国旧金山举办了Google Cloud Next ’23大会，推出了20余款新品及更新，并突出强调了该公司2023年的关注重点——生成式AI。

首先，谷歌云基于AI进行了基础设施的优化，推出新型AI芯片Cloud TPU v5e，目前提供预览版；推出配备英伟达H100 GPU的A3虚拟机，将于下个月全面上市。此外，英特尔前高管创立的半导体公司 Ampere Computing也于当地时间周二表示，其旗舰芯片将由谷歌云提供。

其次，谷歌云推出一系列开发者工具Vertex AI的新功能，包括添加Meta的Llama 2、Anthropic的Claude 2等大模型，每用户每月30美元的企业版Colab，以及据称是首例推出的数字水印功能等。

同时，Workplace和谷歌云也完成了AI能力Duet AI的更新，包括在Google Meet中提供会议记录、摘要、翻译，在Google Chat中可直接与Duet AI对话等功能。

谷歌云称，70%以上的生成式AI独角兽公司都是其客户，包括AI21、Anthropic、Cohere、Jasper、MosaicML、Replit、Runway和Typeface等，并且一半以上获得融资的AI创业公司是其客户，包括Copy.ai、Fiddler AI、PromptlyAI、Quora、Synthesized、Writer等公司。

最后，针对开发者工具、数据、安全、可持续发展以及云生态系统等方面发布了公告。

一、面向AI大模型推出TPU v5e芯片，搭载英伟达H100的A3虚拟机下月上市

谷歌云称，其现在正处于计算领域千载难逢的拐点。25年来，谷歌云一直在投资数据中心和网络，现在拥有由38个云区域组成的全球网络，目标是到2030年完全依靠无碳能源24小时7天无间断运行。

今天，谷歌云宣布了关键的基础设施进步，包括推出新款AI芯片Cloud TPU v5e、配备英伟达H100 GPU的A3虚拟机、GKE企业版（GKE Enterprise）、跨云网络（Cross-Cloud Network）以及谷歌分布式云（Google Distributed Cloud，GDC）。

谷歌云称，Cloud TPU v5e系迄今为止最具成本效益、多功能且可扩展的专用AI加速器，现已提供预览版。客户可以使用单个Cloud TPU平台来运行大规模AI训练和推理。Cloud TPU v5e可扩展到数万个芯片，并针对效率进行了优化。与Cloud TPU v4相比，新版本每美元的训练性能提升2倍，推理性能提升2.5倍。TPU v5e提供与GKE、Vertex AI以及PyTorch、JAX和TensorFlow等领先框架的集成，客户可以通过易于使用、熟悉的界面开始使用。

▲谷歌云的TPU中心（图源：谷歌云发布视频截图）

搭载英伟达H100 GPU的A3虚拟机将于下个月全面上市。它采用高性能网络和其他先进技术专门构建，可实现当今最苛刻的生成式AI和LLM创新，能够实现比上一代A2高出三倍的训练性能。

▲英伟达的H100芯片（图源：英伟达官网）

GKE企业版支持多集群横向扩展，这是最苛刻的任务关键型AI或ML（机器学习）工作负载所必需的。客户已经可以看到生产率提高了45%，软件部署时间缩短了70%以上。从今天起，Cloud TPU v5e 将支持GKE，包括自动扩展、工作负载协调和自动升级。

跨云网络是一个全球网络平台，可帮助客户跨云连接和保护应用程序。它具有开放性、工作负载优化，并提供ML驱动的安全性以实现零信任。跨云网络旨在使客户能够从任何云端更轻松地访问谷歌服务，可将网络延迟降低35%。

谷歌分布式云旨在满足希望在边缘或数据中心运行工作负载的企业的独特需求。除了下一代硬件和新的安全功能之外，其还将通过Vertex AI集成和GDC Hosted上新的AlloyDB Omni托管产品，增强GDC产品组合，将AI引入边缘。AlloyDB是谷歌的全代管式数据库服务，AlloyDB Omni是其可下载版本。

二、自研模型升级，接入Llama 2等外部模型，AI生成内容检测工具等上线

Vertex AI是谷歌于2021年5月推出的全代管式ML（机器学习）工具，能帮助用户更快地构建、部署和扩缩ML模型，以用于任何使用场景。谷歌云称，从今年4月到7月，生成式AI客户项目的数量增长了150多倍。

今年3月，谷歌云曾推出Vertex AI搜索和对话（Vertex AI Search and Conversation）的预览版，以减少创建生成式搜索和聊天应用程序的复杂性，可以让缺乏机器学习专业知识的开发人员在短短几个小时内构建和部署智能应用程序。今天，谷歌云宣布该应用已全面上市，并推出了多轮搜索、摘要、自然语言预编程工具、跨平台实时检索和数据获取、输出迭代等新功能。

此外，谷歌云还宣布该平台中发布的几个新模型和工具，包括PaLM 2、Imagen和Codey升级、调整工具（Tools for tuning）、Llama 2等新模型接入、扩展服务、企业落地服务（Enterprise Grounding Service）、数字水印、Colab企业版等。

PaLM 2是谷歌自研的大语言模型，此次将升级为32k上下文窗口，企业可以轻松处理研究论文和书籍等较长格式的文档。Imagen是其文生图扩散模型，此次将升级视觉效果。Codey是谷歌基于PaLM 2构建的系列基础模型，此次将扩展其对新语言的支持。

▲谷歌自研大模型PaLM 2（图源：谷歌官网）

对于PaLM 2和Codey，谷歌云将分别提供适配器调整工具和预览版，可以通过少至100个示例来帮助提高LLM性能。谷歌云还为Imagen引入一种名为“风格调整”（Style Tuning）的工具，只需少量参考图片，企业客户就可以创建符合其特定品牌指南或其他创意需求的图像。

此次推出的新模型包括Meta的Llama 2和Code Llama、技术创新研究所（TII）的Falcon LLM以及Anthropic的Claude 2。谷歌云称，其公司将是唯一一家同时为Llama 2提供适配器调整和RLHF（强化学习从人类反馈）的云提供商。

Vertex AI此次对扩展功能的更新使开发人员可以访问、构建和管理一些提供实时信息、整合公司数据并代表用户采取行动的扩展程序。这为生成式AI应用程序开辟了无限的新可能性，这些应用可以作为企业的扩展运行，通过访问专有信息并在CRM（客户关系管理）系统或电子邮件等第三方平台上采取行动来实现。

企业落地服务可在Vertex AI基础模型、搜索和对话中使用，使客户能够在自己的企业数据中接地，以提供更准确的响应。谷歌云还与一些早期客户合作，测试支持谷歌搜索的技术的落地情况。

数字水印功能由谷歌DeepMind面向企业客户提供AI生成图像识别水印服务SynthID提供技术支持，可将水印直接嵌入像素图像中，使其对人眼不可见且难以被篡改。数字水印为客户提供了一种可扩展的方法，以负责任的方式创建和识别AI生成的图像。谷歌云称，他们是首家为AI生成的图像提供这项技术的超大规模云计算供应商。

▲数字水印功能示意图（图源：谷歌云开幕演讲视频截图）

Colab全称Colaboratory，是谷歌旗下的浏览器Python代码编辑器，用户无需任何配置便可以免费试用其GPU且轻松共享和协作。Colab企业版今天推出预览版，并计划于9月发布GA（General Availability，一般可用）版本。这项托管服务将谷歌Colab笔记本的易用性与企业级安全性和合规性功能结合在一起。数据科学家可以使用Colab企业版来协作加速AI工作流程，访问Vertex AI平台的全部功能、与BigQuery集成，甚至代码完成和生成。

三、Duet AI加速应用程序开发，简化基础设施和应用程序的操作和管理

谷歌云曾在5月的I/O大会上发布了Duet AI，在Workspace中引入了多个AI功能，全面对标微软的智能副驾“Copilot”。

本次大会上，谷歌云宣布在Workspace和谷歌云两个方面对Duet AI进行了一系列功能增强。Workspace中的Duet AI将于今天全面推出GA版本，而谷歌云中的Duet AI于今天推出更多预览功能，并将于今年晚些时候全面推出。

Workspace是谷歌旗下的办公和协作工具，拥有超过30以用户和超过1000万付费客户。此前，谷歌云曾推出一些Duet AI驱动的功能来提高客户的工作效率，例如在Gmail和Google Docs中编写和完善内容、在Google Slides中创建原始图像、在Google Sheets中将想法转化为行动和将数据转化为见解、在Google Meet中建立更有意义的联系等。

今天，谷歌云在Workspace中进行了两个方面的Duet AI增强，分别针对Google Meet和Google Chat。

1、Workspace中的Duet AI更新

针对Google Meet，Duet AI将在视频通话期间做笔记、发送会议摘要，且可以自动翻译18种语言的字幕。此外，为了确保每位与会者都能清楚地看到、听到和理解会议内容，还提供了演播室外观、演播室灯光和演播室声音。

针对Google Chat，用户将能够直接与Duet AI聊天，询问有关个人内容的问题，获取空间中共享文档的摘要，并补上错过的对话。提供了更新的用户界面、新的快捷方式和增强的搜索，让用户能够随时掌握对话的最新情况，同时提供了名为“huddles”的功能，让团队可以在已经开始协作的地方召开会议。

除了Workspace之外，Duet AI现在还可以在各种谷歌云产品和服务中提供AI帮助。例如，作为编码助手帮助开发人员更快地编码，作为专家顾问帮助运营商快速解决应用程序和基础设施问题，作为数据分析师提供快速、更好的洞察力，以及作为安全顾问推荐最佳实践以帮助预防网络威胁。

2、谷歌云中的Duet AI更新

在谷歌云中发布的Duet AI更新主要包括五个方面，分别是软件开发、应用程序和基础设施运营、数据分析、数据库加速和现代化以及安全运营。

在软件开发方面，Duet AI将在整个软件开发生命周期中提供专家帮助，通过最大限度地减少上下文切换来帮助开发人员提高工作效率，从而使开发人员能够更长时间地保持心流状态。除了代码完成和代码生成之外，它还可以通过协助进行代码重构来帮助用户更快地实现应用程序现代化；通过在Apigee中使用Duet AI，任何开发人员都可以使用简单的自然语言提示轻松构建API和集成。Apigee是谷歌云的原生API管理工具，用于构建、管理和保护API，并且支持任何使用场景、环境或规模。

在应用程序和基础设施运营方面，运营商可以直接在谷歌云控制台（Google Cloud Console）中以自然语言与Duet AI就多项服务进行对话，以快速检索有关基础设施配置、部署最佳实践以及有关成本和性能优化的专家建议的“操作方法”信息。

在数据分析方面，BigQuery中的Duet AI可以为编写SQL查询和Python代码提供上下文帮助，生成完整的函数和代码块，自动推荐代码补全，以自然语言解释SQL语句，并可以根据用户的架构和元数据生成建议。这些功能可以让数据团队更加关注业务成果。

在数据库加速和现代化方面，Cloud Spanner、AlloyD和Cloud SQL中的Duet AI可以帮助生成代码，以便于使用自然语言构建、修改或查询数据。谷歌云还将Duet AI的功能引入数据库迁移服务（DMS），帮助自动转换数据库代码，如存储过程、函数、触发器和包，这些代码无法使用传统翻译技术进行转换。

在安全运营方面，Duet AI将引入谷歌云安全产品中，包括Chronicle安全运营（Chronicle Security Operations）、Mandiant威胁情报（Mandiant Threat Intelligence）和安全指挥中心（Security Command Center），可以使安全专业人员更有效地预防威胁，减少安全工作流程中的工作量，并提高安全人才的水平。

四、推出AlloyDB AI等工具，新增SAP等合作伙伴

最后，谷歌云在数据和分析、信息安全、云生态系统等方面发布了几项重要公告。

1、数据和分析方面

首先，谷歌云认为数据是生成式AI的核心，这也是他们持续为谷歌的数据和AI云开发新功能的原因。除了前文提到的Duet AI驱动的相关功能外，谷歌云还宣布了BigQuery Studio、AlloyDB AI以及数据云合作伙伴的更新。

BigQuery Studio是用于数据工程、分析和预测分析的单一界面，有助于提高数据团队的效率。通过与Vertex AI基础模型的新集成，谷歌云称其正在通过跨云分析、治理和安全数据共享的创新等方式，帮助企业使用AI实现其数据湖仓一体（Data Lakehouse）。

AlloyDB AI是兼容PostgreSQL的数据库服务AlloyDB的一部分。它为构建生成式AI提供了一套集成的功能，包括比标准PostgreSQL快10倍的高性能矢量查询。此外，借助 AlloyDB Omni，用户可以在几乎任何地方运行AlloyDB，包括本地部署、谷歌云、AWS、Azure或通过谷歌分布式云。

谷歌云正在持续扩大其数据云合作伙伴，并称将继续扩大可用的合作伙伴解决方案和数据集的范围。其合作伙伴，如Confluence、DataRobot、Dataiku、Datastax、Elastic、MongoDB、Neo4j、Redis、SingleStore和Starburst，都在推出新功能，帮助客户利用数据加速和增强生成式AI开发。其合作伙伴也在向分析中心（Analytics Hub）添加更多数据集，包括来自Acxiom、Bloomberg、TransUnion、ZoomInfo等的可信数据，客户可以使用这些数据集构建和训练生成式AI模型。

2、信息安全方面

今年早些时候，谷歌云推出了安全AI工作台（Security AI Workbench），这是一个业界内首个可扩展平台，由其下一代安全大模型Sec-PaLM 2提供支持。几周前，谷歌云发布了安全运营解决方案Chronicle CyberShield，帮助政府打破信息孤岛，集中安全数据以帮助加强国家态势感知。除了前面提到的Duet AI创新之外，谷歌云还宣布了Mandiant Hunt for Chronicle、无代理漏洞扫描、网络安全进步以及有保障的工作负载（日本地区）。

Mandiant Hunt for Chronicle将Mandiant一线专家对攻击者行为的最新见解与Chronicle安全运营快速分析、搜索安全数据的能力相结合，帮助客户获得精英级支持而无需承担招聘、工具和培训的负担。

Security Command Center中的状态管理功能可检测Compute Engine虚拟机上的操作系统、软件和网络漏洞。

Cloud Firewall Plus为分布式防火墙服务添加了高级威胁防护和下一代防火墙（NGFW）功能，由Palo Alto Networks提供支持；网络服务集成管理器允许网络管理员轻松集成受信任的第三方NGFW虚拟设备以进行流量检查。

客户可以在谷歌云日本地区拥有强制执行数据驻留的受控环境、本地控制加密密钥的选项以及管理访问透明度。谷歌云还将继续发展我们的监管和主权解决方案合作伙伴计划，为客户的监管云环境带来创新的第三方解决方案。

3、生态系统扩大

谷歌云称，其生态系统已经通过生成式AI为企业带来了实际价值，并为全球数百万用户带来了由谷歌云提供支持的新功能。合作伙伴也在使用Vertex AI为客户构建自己的功能，包括Box、Canva、Salesforce、UKG等。大会上，谷歌云宣布了新的生态系统扩张。

电子签名企业DocuSign正在与谷歌合作，试点如何使用Vertex AI来帮助生成智能合约助手，这些助手可以总结、解释和回答复杂合约和其他文档中的内容。

软件供应商SAP正在利用SAP数据和Vertex AI构建新的解决方案，帮助企业将生成式AI应用于重要的业务用例，例如简化汽车制造或提高可持续性。

人力资源公司Workday的财务和人力资源应用程序现已在谷歌云上运行，在其流程中开发生成式AI功能，作为其多云战略的一部分。这包括生成高质量职位描述的功能，以及通过Workday Extend中的技能API为应用程序开发人员提供谷歌云生成式AI的功能，同时帮助确保客户最敏感信息的最高级别数据安全和治理。

此外，包括埃森哲、凯捷、德勤和Wipro在内的许多全球顶尖咨询公司已共同计划培训超过15万名专家，以帮助客户实施谷歌云生成式AI。