AWS助力Sony LIV构建实时视频流分析

这篇客座文章是与Sony LIV的Mukund Acharya共同撰写的。

实时数据分析正在改变流媒体应用理解和服务受众的方式。在本文中，我们分享了Sony LIV如何利用Amazon Kinesis Data Streams实现亚秒级处理，并借助AWS服务在AWS上构建全面的流媒体分析解决方案。具体来说，我们分享了SonyLIV如何利用Amazon Kinesis Data Streams进行亚秒级事件摄取，Amazon Data Firehose实现可靠的存储交付，Amazon EMR配合Apache Spark进行可扩展的批处理和微批处理，以及使用Apache Iceberg在Amazon S3上构建符合ACID、可查询的数据湖表。这些服务共同使SonyLIV能够捕获数百万并发观看者事件，以经济高效的方式大规模处理这些事件，并从实时参与度指标到历史趋势分析中提取可操作的见解——所有这些都构建在一个完全托管、支持无服务器的架构中。

关于Sony LIV

Sony LIV由Sony Pictures Networks India运营，是印度领先的OTT（Over-The-Top）流媒体应用之一，提供包括直播体育、原创剧集、电影和电视节目在内的优质内容，服务于移动端、网页端和智能电视设备上的数百万用户。

作为亚洲杯最新赛事转播权的一部分，Sony LIV利用AWS服务构建了流媒体分析解决方案，成功实时处理了数百万并发会话。

批处理面临的挑战

随着Sony LIV观众的增长和直播体育赛事吸引越来越多的观看者，团队发现了从批处理分析转向实时数据应用的机会。现有架构能够按计划可靠地处理批数据，但直播赛事规模的扩大要求更快、更细粒度的洞察。团队着手解决三个关键领域：

1. 实时可见性：近乎实时地跟踪前端用户事件、旅程和转化漏斗，尤其是在高风险的体育直播流期间，以查看并发观看人数的峰值，并在互动模式发生时做出响应。
2. 全面的质量监控： 实施视频质量关键性能指标（KPI）的端到端监控，包括缓冲率、播放失败、视频启动时间和重新缓冲事件，以主动改善观看体验。
3. 统一数据架构： 将来自多个来源的数据整合到统一架构中，以实现全面的客户视图，支持未来的个性化和基于机器学习（ML）的推荐。

Sony LIV需要从被动的批处理演变为实时数据应用，以便在规模上提供可操作的参与度洞察，并为统一的客户画像奠定基础。

流媒体分析架构

图1：Sony LIV在AWS上的流媒体分析架构

来自移动端、网页端和智能电视应用的数据通过应用程序负载均衡器流向Amazon Elastic Kubernetes Service（Amazon EKS）的Pod进行验证和预处理。该架构实现了并行处理路径，以平衡速度和成本效益。

实时路径： 需要立即处理的优先事件，如播放失败、用户交互和直播体育参与信号，流经Amazon Kinesis Data Streams进行亚秒级处理。这些事件通过ClickHouse连接器直接流向ClickHouse，从而实现低延迟的实时分析。

批处理路径： 高容量批处理事件通过Amazon Data Firehose摄取到Amazon Simple Storage Service（Amazon S3）上的原始落地区域，并按事件类型和时间分区。然后，Amazon EMR运行Apache Spark处理这些原始数据，执行模式验证、去重和转换——并将处理后的输出作为Apache Iceberg表写回S3

统一数据层： AWS Glue对来自流式和批处理源的数据进行目录化，创建统一的模式，为客户数据应用提供支持。这个统一的数据层作为构建全面客户画像和实现个性化推荐的基础。

分析与监控： ClickHouse作为低延迟分析引擎，为实时仪表盘和视频质量监控提供支持。运营团队跟踪关键KPI，包括峰值并发观看量、缓冲率、视频启动时间和播放失败情况，以便在直播活动中快速响应问题。

自定义仪表盘和Datadog为业务指标和应用性能监控提供可视化，而Amazon CloudWatch跟踪基础设施健康状况，提供跨应用的端到端可见性。

结果与业务影响

其成果： 产品、分析和工程团队现在运营在单一统一仪表盘上，利用仅数秒（而非数小时）前的新鲜数据做出实时决策。自动扩展和无服务器设计优化了成本，同时在峰值负载下提供了可靠性。在基础层面，集中式数据目录现已成为商业智能、机器学习负载和运营监控的单一事实来源。

这一转型帮助Sony LIV实时处理数百万并发会话，尤其是在2025年亚洲杯等高关注度赛事期间。

1. 加速洞察: 数据延迟从数小时降至数秒，使得能够即时洞察观众行为、内容表现和流媒体健康状况。
2. 统一决策: 产品、分析和工程团队现在使用统一仪表盘进行实时决策。
3. 优化运营: 解决方案的自动扩展和无服务器设计优化了成本，同时支持可靠性和容错性。

除了性能提升，新架构还为个性化内容推荐和运营敏捷性奠定了坚实基础。通过整合集中式数据目录和可扩展分析层，该解决方案现在为商业智能、机器学习工作负载和监控提供了单一事实来源。

未来创新

Sony LIV计划通过集成先进的机器学习模型来扩展其分析能力，以实现实时推荐、用户流失预测和异常检测。团队还将致力于构建统一的客户档案，以支持超个性化体验。

基于AWS的架构为未来的增长和创新提供了坚实基础，使Sony LIV能够为不断扩大的观众群体提供高度个性化的体验。

结论

通过采用AWS，Sony LIV将其分析架构转变为一个实时、可扩展且由洞察驱动的解决方案。该解决方案将数据延迟从数小时降至数秒，在高峰活动期间支持处理数百万个并发会话，并使Sony LIV成为印度流媒体分析创新的领导者。

要了解更多关于AWS如何帮助您的媒体组织实施实时流媒体分析解决方案的信息，请探索以下资源：

• AWS媒体与娱乐 – 了解AWS如何为全球媒体公司提供内容交付、流媒体和分析支持。
• Amazon Kinesis Data Streams – 了解此解决方案中使用的全托管实时数据流服务。
• AWS上的数据流分析（AWS博客） – 阅读关于客户如何在AWS上构建流媒体分析管道的相关文章。