新知同享 | AI 开发广泛应用,高效构建

新知同享 | AI 开发广泛应用,高效构建_第1张图片
谷歌致力于通过高效、可靠的方法
构建 AI 驱动的产品
如今已经走过了七年 "AI 为先" 的旅程
一起来看 2023 Google 开发者大会上
AI 开发如何被广泛应用,简化开发
并将机器学习的强大能力
引入到应用和工作流中
提高开发者工作效率

新知同享 | AI 开发广泛应用,高效构建_第2张图片

新知同享 | AI 开发广泛应用,高效构建_第3张图片

新知同享 | AI 开发广泛应用,高效构建_第4张图片

新知同享 | AI 开发广泛应用,高效构建_第5张图片

新知同享 | AI 开发广泛应用,高效构建_第6张图片

精彩大会现场一览

新知同享 | AI 开发广泛应用,高效构建_第7张图片

过去 3 年,Web 机器学习技术的使用和开发都呈指数级增长,许多热门 Google 产品都已采用 Web 技术。谷歌的许多团队都在为 Web 机器学习的未来积极贡献力量。例如,Chrome 团队正致力于制定新的 Web 标准,使 TensorFlow.js 和 MediaPipe 等团队能够在这些堆栈的基础上构建各种产品和服务,并实现更出色的性能。

MediaPipe 是一个开源的跨平台框架,用于在移动设备、桌面设备和 Web 上构建机器学习解决方案。MediaPipe 提供可自定义的设备端解决方案,只需几行代码,即可将解决方案集成到 Web 应用中。此外,MediaPipe 也发布了新模型,例如人脸融合变形分类。开发者可以使用此模型来创建虚拟头像,使其实时匹配用户的面部表情。

MediaPipe Studio 是一款基于 Web 的应用程序,用于评估和自定义应用程序的设备上 ML 模型和管道。MediaPipe Studio 可让开发者使用自己的数据和自定义的 ML 模型在浏览器中快速测试 MediaPipe 解决方案,以及支持试验结果总数、报告结果的最小置信度阈值等模型设置。

新知同享 | AI 开发广泛应用,高效构建_第8张图片
谷歌对 WebGL 后端进行了重大优化,Web 机器学习模型的运行速度将比以往更快。单项运算级别中常见运算的性能最高能够免费提升到原来的 5.8 倍,热门模型性能优化最高可至原来的 1.59 倍。
MediaPipe Studio 可以提供手势识别等完全在浏览器中运行的解决方案

TensorFlow.js 是谷歌新发布的模型可视化调试程序,帮助开发者比较模型在不同 TensorFlow.js 后端上执行时的输出,找出运算输出从何时开始出现差异,以及差异有多大,以便发现在不同后端环境和设备上使用模型时可能出现的 bug。

新知同享 | AI 开发广泛应用,高效构建_第9张图片

TensorFlow.js 模型可视化调试程序

谷歌对 WebGL 后端进行了重大优化,Web 机器学习模型的运行速度将比以往更快。单项运算级别中常见运算的性能最高能够免费提升到原来的 5.8 倍,热门模型性能优化最高可至原来的 1.59 倍。

新知同享 | AI 开发广泛应用,高效构建_第10张图片

新知同享 | AI 开发广泛应用,高效构建_第11张图片

谷歌在 Chrome 稳定版中添加了对 WebGPU 的支持,为 Web 注入了十亿个 GPU 的强悍性能,使编解码器、游戏和机器学习等计算密集型应用能够在浏览器中运行,并且能够实现前所未有的细节丰富度和帧率。

新知同享 | AI 开发广泛应用,高效构建_第12张图片

语言模型旨在预测和生成合理的语言。发展至今,现代大语言模型规模庞大,可以预测句子、段落甚至整个文档的概率。典型自然语言可以处理实体提取、分类、生成摘要、情感分析、翻译等任务。谷歌新推出的大语言模型 (LLM) 工具 PaLM API 和 MakerSuite 可以帮助开发者快速开发原型。

新知同享 | AI 开发广泛应用,高效构建_第13张图片

大语言模型 (LLM)

MakerSuite 可以帮助开发者直接在浏览器中快速创建提示并为其进行原型设计,无需机器学习专业知识或代码。借助 MakerSuite,开发者将能够迭代提示、使用合成数据增强数据集,并轻松调整自定义模型。

新知同享 | AI 开发广泛应用,高效构建_第14张图片

MakerSuite

PaLM API 使开发者可以轻松、安全地试验谷歌的大型语言模型,即通过 PaLM API 直接访问谷歌的先进大型语言模型,构建生成式 AI 应用。它将为开发人员提供针对多回合用例优化的模型(例如内容生成和聊天)以及针对摘要、分类等用例优化的通用模型。PaLM API 可以提供文本服务、聊天服务、嵌入服务。

开发者现在可以使用 Firebase 扩展访问 PaLM API,即在带有 PaLM API 扩展程序的全新聊天机器人中添加用于连续对话、文本摘要等功能的聊天界面。

新知同享 | AI 开发广泛应用,高效构建_第15张图片

通过实例,一起来了解如何通过 AI 和机器学习构建应用。

用 Flutter & AI 构建 I/O Flip

I/O Flip 是一个使用 Flutter 和 AI 构建的虚拟纸牌游戏,它展示了多项 Google 技术的融合。具体来说,开发者用 Muse 上的 DreamBooth 生成角色图像,用 PaLM API 生成描述,用 Flutter 创建游戏 UI 和动画,用 Dart 编写后端,并使用一套 Firebase 和 Google Cloud 工具进行托管和共享。通过 2023 Google 开发者大会现场的互动展示区,参会者实际体验了这款纸牌游戏,在流畅的游戏体验中深切感受到使用 Flutter 和 AI 构建游戏的妙不可言。

新知同享 | AI 开发广泛应用,高效构建_第16张图片

参会者现场体验 I/O Flip 纸牌游戏

使用 OCR 获取 PDF
互联网上有接近 12% 的 PDF文件因为不精确的光学字符识别 (OCR),无法被有视力障碍的用户通过辅助技术访问到。通过在设备上运行 OCR,Chromebook 使用户可以使用这些 PDF 文件,高效转换,没有延迟。
为实现让 AI 助力每一个人
谷歌将坚持负责任地进行探索
持续关注 2023 Google 开发者大会
更多精彩内容更新

新知同享 | AI 开发广泛应用,高效构建_第17张图片

专题演讲视频持续更新中
扫码直达官网
探索大会更多精彩
关注“谷歌开发者”微信公众号,获取更多大会信息

新知同享 | AI 开发广泛应用,高效构建_第18张图片

你可能感兴趣的:(新知同享 | AI 开发广泛应用,高效构建)