PayPal 将分析负载迁至 Google Managed Spark

Vinod Ganesan

PayPal 分析可靠性工程总监

Raghu Agani

PayPal 大数据平台工程高级经理

立即试用 Gemini Enterprise

通往职场 AI 的大门

立即试用

在数据驱动的世界中，PayPal 提供及时且可操作洞察的能力是保持领先的核心。在 PayPal，数据驱动着从欺诈检测到用户体验提升的一切。数据也是释放代理式解决方案和体验潜力的核心。

然而，随着时间的推移，我们的分析环境已变成一个复杂的生态系统，由各种本地部署的技术和解决方案拼凑而成，以应对不断增长的需求。虽然这种方法在当时满足了我们的需求，但它开始给扩展和维护带来新的挑战。

应对充满挑战的分析格局

由于快速增长和收购，我们的数据分析平台逐渐变成了一个不均衡的格局。每个新平台或集成都满足了特定的业务需求，但它们加在一起增加了运营开销并引入了性能阻塞。可扩展性变得越来越困难，随着流程变得更加复杂，获得洞察的时间也变慢了。

复杂性滋生停滞

PayPal 的 遗留数据分析平台 很强大——每天处理数 PB 的数据——但在快速增长之后，它也变得越来越僵化。在零售高峰活动或全球发布期间进行扩容意味着数月的规划、缓慢的手动硬件配置，而且常常要在速度和成本之间做出妥协。

随着 PayPal 继续在全球扩展，我们认识到需要一套精简、统一的基础设施来提升数据效率并加速创新。

解决方案：统一、云原生的分析

为了克服这些障碍，我们将分析工作负载从本地遗留 Hadoop 平台迁移到了 Google 的 Managed Service for Apache Spark。

做出这一选择的关键原因包括：

• 快速配置和弹性扩展：Managed Spark 使我们能够在几分钟内部署集群，并根据处理需求进行扩展，从而消除了漫长的设置过程和空闲资源成本。
• 统一的基础设施：以 Apache Spark 为标准实现了各团队之间的一致性，同时利用 Managed Service for Apache Spark 和其他托管服务降低了运营复杂性。
• 无缝集成：与 Google Cloud Storage (GCS)、BigQuery 及其他 Google Cloud 服务的原生集成简化了端到端的数据移动。

这一举措使 PayPal 能够实现数据处理能力的现代化，利用云原生解决方案的灵活性、可扩展性和可靠性。通过将以往运行在多个平台上的分散工作流和批处理作业整合到单一的基于云的分析平台上，我们减少了数据孤岛，并构建了统一的数据基础，从而提供更快、更丰富的洞察。

这使开发人员和应用团队能够专注于交付业务价值，而不受基础设施的限制。至关重要的是，这一转变不仅仅是重新平台化。我们培育了一种新的实验文化，使团队能够快速测试、调优和部署分析工作负载，以应对不断变化的业务需求。

成果：更快的洞察，更低的开销

我们利用 Managed Spark 实现现代化的 Google Cloud 生态系统产生了深远的影响：

• 核心分析工作负载的处理时间缩短了 25%，为关键业务运营提供了近乎实时的洞察。
• SLA 达成率大幅提升了 30%，即使在季节性促销活动等流量激增期间也是如此。
• 随着我们整合工具并减少手动维护，运营成本也随之下降。

但也许最重要的是，我们的工程师现在花在救火上的时间更少，花在创新上的时间更多，能够快速原型化新的分析能力，为客户和合作伙伴创造价值。

从碎片化的环境过渡到统一、云原生的平台，从根本上增强了 PayPal 的分析能力。随着业务需求的发展，投资于可扩展、统一的数据基础可确保我们能够以速度、精确性和影响力提供洞察——为全球客户推动持续创新。我们使用 Managed Service for Apache Spark 的旅程是构建这一现代分析基础的重要一步。

进一步了解如何开始使用 Managed Service for Apache Spark 和 BigQuery 来构建您的 代理式数据云。

发布于

• 数据分析
• 金融服务