Tapdata Connector实用指南：如何将 CRM 数据从 Salesforce 实时同步到MongoDB等其他数据库

【前言】作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台，内置 60+ 数据连接器，拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力，以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用 ETL 处理等。

随着 Tapdata Connector 的不断增长，我们最新推出《Tapdata Connector 实用指南》系列内容，以文字解析辅以视频演示，还原技术实现细节，模拟实际技术及应用场景需求，提供可以“收藏跟练”的实用专栏。本期实用指南将以 Tapdata 新增数据源 Salesforce → MongoDB 为例，演示 Tapdata 能够为 SaaS 类数据源的数据同步需求提供怎样的支持。

CRM（Customer Relationship Management，客户关系管理）类软件的兴起，源于企业对于客户关系管理的理解与需求。起初是市场竞争加剧，让企业开始意识到客户满意度和忠诚度对企业成功至关重要。企业需要充分了解客户偏好，并由此提供更好的产品和服务。而后随着销售流程的复杂化和业务数据的增长，为了进一步优化销售流程，提高销售效率和生产力，实现更好的客户沟通和协作，企业也开始更加依赖 CRM 软件作为企业管理的重要工具。

作为 CRM 软件的经典代表之一，Salesforce 通过将营销、销售、服务和 IT 团队整合到一个平台，成功改变了企业的运作方式。然而，在今天不断变化的数据环境中，想要仅凭 Salesforce “一己之力”来为企业获得最大价值已然远远不够。往往需要将其与一个表现出色的数据库或数仓结合起来，才能激发更强大的分析洞察力，促进企业效益持续增长。

同样密切关注数据价值与 SaaS 产品的 Tapdata，作为自带 ETL 的实时数据平台，也透过社区看到了大量相关的数据迁移需求，已于近日在产品层面实现了对 Salesforce 作为“源”的支持。

一、为什需要从 Salesforce 单兵作战走向组合牌

诚然，Salesforce CRM 已经为企业提供了一套相当全面的解决方案，包括销售自动化、客户服务、营销自动化和协作平台等，并由此帮助企业优化客户关系管理、提高销售效率、加强协作与沟通，以及提供数据分析等功能，从而提升企业的竞争力和业务水平。但并不能适用于所有企业的数据存储和处理需求，因而在单独使用时常会在以下几个方面受到掣肘：

数据量大时性能下降：当数据量达到一定规模时，Salesforce 的性能可能会下降，导致响应时间变慢，用户体验不佳；
数据分析功能有限：Salesforce 的数据分析功能相对较弱，不支持大规模数据分析和数据挖掘，对于需要进行深入分析的企业而言，会是个不小的麻烦；
限制开发自定义应用：Salesforce 的自定义应用开发受限，需要使用特定的开发语言和框架，不够灵活，开发周期可能较长；
访问量受定价模式限制：Salesforce 是按用户收费的，需要购买年度许可证才能开始使用。这样的定价模型可能会对访问和使用数据产生限制，从而影响企业在数据分析和管理方面的能力。企业可能需要在控制成本和提高数据访问灵活性之间进行权衡。

因此，为了充分利用企业数据，可以考虑将 Salesforce 和其他数据库或数据仓库联合使用，像是 MongoDB、BigQuery 等等，不仅可以有效解决上述问题，提高数据处理的效率和精度，通过将 Salesforce 中的数据整合到企业的数据生态系统中，还能实现更全面的数据分析、决策和应用，达到组合优势。

以 MongoDB 为例

大多数情况下，企业需要处理不同种类的数据，例如销售、客户关系、产品、员工和财务数据等。而 Salesforce 则主要用于管理客户关系和销售过程，因此并不能很好地满足企业在其他方面的数据处理需求。而 MongoDB 作为一个面向文档的 NoSQL 数据库，适用于处理半结构化和非结构化数据，且拥有更好的扩展性和灵活性。二者结合可以为企业用户创造价值如下：

更好地管理客户数据：打破 Salesforce 限制，更好地了解客户需求，提高销售效率；
更强大的数据处理能力：MongoDB 拥有强大的数据存储和查询能力，能够轻松处理大规模数据的存储和查询，且在大规模半结构化和非结构化数据处理方面表现出色，例如日志、社交媒体数据和传感器数据等，企业由此获得更好的洞察力，从而更好地了解其客户和市场趋势，发掘更多商业机会；
数据安全与灵活性保障：一方面，Salesforce 提供了严格的安全控制和访问权限控制，能够保护企业数据的安全。另一方面，MongoDB 的数据模型和查询语言非常灵活，可以适应不同的数据结构和查询需求。

为了达到上述组合优势，我们需要首先实现 Salesforce 数据向包括 MongoDB 在内的数据目标的同步。

二、Salesforce→ MongoDB 的数据同步任务

点击查看演示视频
（*本演示视频版本为 Tapdata 本地部署版）

版本指路：
>>> 点击登录 Tapdata Cloud
>>> 申请试用 Tapdata 本地部署版

操作流程详解（Tapdata Cloud）

① 登录 Tapdata Cloud

默认已完成 Tapdata Cloud 账号注册及 Agent 部署，且已拥有 Salesforce 账号并存有一定量的数据，预备将其向其他目标库同步。

② 创建数据源 Salesforce 的连接

在 Tapdata Cloud 连接管理页面，点击【创建连接】按钮，并在 Alpha 数据源中选择 Salesforce。

输入连接名称，并点击授予令牌。

自动跳转至 Salesforce 登录界面并完成登录

*注意：Salesforce 提供了很多不同版本供用户选择，目前 Tapdata 仅支持：企业版、无限版、开发者版，以及专业版。详情可参考 Salesforce 相关文档：https://help.salesforce.com/s/articleView?id=000385436&type=1

Salesforce 登录成功后，自动跳转回 Tapdata Cloud 连接配置页面，显示【账户授权成功】（*注意：完成授权前，不可测试或保存连接）

点击【连接测试】，测试通过后，即可【保存】连接

③ 创建数据目标 MongoDB 的连接

回到 Tapdata Cloud 连接管理页面，点击【创建连接】按钮，并在 GA 数据源中选择 MongoDB。

参考右侧连接配置帮助，完成 MongoDB 的连接创建

④ 新建数据同步任务

*Tapdata Cloud 目前是主要支持【数据复制】和【数据开发-Beta】能力，前者主要用于数据库到数据库的复制，后者主要用于表到表的数据复制和迁移，支持更多节点操作，可按需选用。本文将以数据开发任务作为模板演示。

右侧菜单栏点击【数据开发】，再点击【创建】按钮，进入任务创建 DAG 页

通过拖拉拽的方式，将刚创建的 Salesforce 源节点，与 MongoDB 目标节点拖入画布并连线

点击源节点与目标节点，分别选择待同步表和目标表后，即可启动任务

三、Why Tapdata

很多企业在面对类似的数据同步需求时，习惯于从编写自定义 ETL 脚本开始，但这不仅会影响项目推进速度，通常还需要后续不短的人力和时间投入来维护这些脚本的稳定运行。但如果能将这部分工作交由一个优秀的工具进行自动化处理，无疑可以省下大量投入数据处理与调度以及复杂硬编码脚本的时间，让整个团队更高效。而这正是 Tapdata 在做的事。

借助 Tapdata 出色的实时数据能力和广泛的数据源支持，可以在几分钟内完成从 Salesforce 到目标库包括全量、增量等在内的多重数据同步任务。

在 Salesforce → Any Destination 的数据同步任务中，Tapdata 展现出如下优势：

内置 60+ 数据连接器，稳定的实时采集和传输能力
以实时的方式从各个数据来源，包括数据库、API、队列、物联网等数据提供者采集或同步最新的数据变化。支持多源异构数据双向同步，自动映射关系型到非关系型。一键实现实时捕获，毫秒内更新。已内置 60+连接器且不断拓展中，覆盖大部分主流的数据库和类型，并支持您自定义数据源。
具有强可扩展性的 PDK 架构
小时快速对接 SaaS API 系统；16 小时快速对接数据库系统。
对源库几乎无影响
基于自研的 CDC 日志解析技术，0入侵实时采集数据，对源库几乎无影响。
全链路实时
基于 Pipeline 流式数据处理，以应对基于单条数据记录的即时处理需求，如数据库 CDC、消息、IoT 事件等。不同于传统 ETL，每一条新产生并进入到平台的数据，会在秒级范围被响应，计算，处理并写入到目标表中。同时提供了基于时间窗的统计分析能力，适用于实时分析场景。
数据一致性保障
通过多种自研技术，保障目标端数据与源数据的高一致性，并支持通过多种方式完成一致性校验，保障生产要求。
可视化任务运行监控和告警
包含 20+ 可观测性指标，包括全量同步进度、增量同步延迟等，能够实时监控在运行任务的最新运行状态、日志信息等，支持任务告警。