logo

ASP 2.0 重磅升级,定义消息流平台新标杆

技术文档技术文档
作者:谙流科技
发布时间:2025年9月18日

引言

在数字经济时代,数据已成为核心生产要素,其流动、处理与应用的效率与可靠性直接关乎企业的核心竞争力。尤其对于金融、通信、高端制造等关键行业,构建一个稳定、高性能、云原生的数据流动平台,是支撑其核心业务系统(如新一代分布式核心系统)高效运转、实现数字化转型与敏捷创新的基石。

在此背景下,谙流科技作为 Apache Pulsar 中国原厂,正式推出其金融级云原生消息平台 ASP 的重大升级版本——ASP 2.0 。此版本不仅是技术迭代的成果,更是谙流科技深度融合深厚金融场景实践经验与前沿云原生、信创及数据流动技术的里程碑,旨在为企业的“新核心”系统建设与现代化演进提供坚实的数据基础设施保障。

ASP 2.0 核心升级

本次升级聚焦于企业在大规模、高并发、强一致性、高可用和严合规等场景下的痛点,提供了远超开源版本的价值。它不仅强化了作为金融级消息流平台的核心竞争力,更通过全方位的运维、管控和安全增强,为企业构建稳定、可靠、可视化的数据流动基础设施提供了坚实保障。

可靠性全面提升

“我们致力于将消息平台的可靠性从‘可用’提升至‘永续’,确保您的核心业务在任何情况下都能持续运转。”

🧩 跨 K8s 集群部署模式

现实挑战

一次底层硬件故障引发单一 Kubernetes 集群整体不可用。由于无法快速将流量切换至备用集群,核心业务随之中断,整个过程持续小时级别,最终导致重大财务损失或声誉风险。

解决方案:    

ASP 2.0 支持 Pulsar 集群跨多个 Kubernetes 集群进行部署,能够实现真正的跨云容灾。我们优化了 Pulsar 核心组件(如 Broker、Bookie、ZooKeeper)在 K8s 上的调度策略和存储管理,显著提升了大规模集群下的弹性伸缩能力和故障自愈速度。当某个 Kubernetes 集群发生故障时,流量可以无缝路由至健康集群,将灾难恢复时间(RTO)从小时级缩短至分钟级乃至秒级,为核心业务提供金融级的连续性保障。

🧩 主备容灾模式

现实挑战:    

在大促期间,主数据中心因网络运营商光缆被挖断导致长时间宕机。其原有的容灾方案数据同步延迟高,且切换流程繁琐,耗时漫长。等灾备中心启动时,大量订单数据已丢失,用户体验和公司声誉受损严重。

解决方案:  

ASP 2.0 提供数据级和应用级主备容灾解决方案。通过秒级数据同步和消费位点机制,确保生产中心(Active)与灾备中心(Standby)间的数据高度一致。一旦监测到生产中心故障,系统可依据策略快速切换至灾备中心,极低的恢复点目标(RPO),几乎实现数据零丢失,有效规避此类事故带来的巨大风险。

🧩 引入混沌工程

现实挑战:    

客户生产环境往往复杂且严苛,当多重故障并发时,可能引发意外后果。例如某芯片厂房的 MES 系统, 由于 MQ 故障导致停机,导致严重的生产事故。

解决方案:    

为了避免这类“黑天鹅”事件,我们将混沌工程深度集成至研发流水线主动模拟网络延迟、存储延迟、节点故障、资源耗尽等极端场景。更重要的是,我们将客户遇到的实际生产问题抽象转化为我们的测试用例,持续验证和提升系统在复杂条件下的稳定性和容错能力。这意味着 ASP 2.0的可靠性是从真实故障中淬炼而来的,能为你提供更值得信赖的稳定性保障。

可靠性全面提升

“我们确保平台性能可预测、可规划,并能随业务扩展,同时保障关键业务的资源隔离。”

✳️ 海量Topic稳定支持

现实挑战:

某物联网(IoT)场景需秒级顺序采集全国十万设备的数据,以供统计分析与实时告警。但在开源管控台中查看 Topic 列表时,浏览器常卡顿或崩溃,运维体验极差。此外,默认监控配置下,指标(如堆积数、生产消费速率)采集延迟高、数据易丢失,难以真实反映集群状态,宛如“盲人摸象”。

解决方案:

针对超大规模场景下海量 Topic 的管理挑战,ASP 2.0 进行了专项深度优化,确保系统在承载 20 万级别 Topic 时依然保持卓越性能与稳定服务。

  • 管控体验流畅顺滑:管控台采用异步延迟加载与分页查询机制,即使面对海量Topic列表,也能保证控制台操作响应迅速,用户体验流畅如初。
  • 监控洞察实时精准:通过优化元数据管理机制与监控数据采集链路,聚焦关键核心指标(如吞吐量、消息堆积),为运维团队提供准确、实时的系统状态洞察,助力快速定位与排障。
  • 负载均衡智能稳健:优化负载均衡策略,有效避免大规模Topic转移引发的稳定性波动,确保服务持续稳定。

ASP 2.0 致力于让超大规模集群的运维管理变得简单、透明、可靠,助力运维团队从纷繁复杂中精准掌控全局态势。

✳️ 精细化全局限流

现实挑战:

在大促等高并发场景下,非关键业务(如营销通知)的 Topic 可能突发巨大流量,争抢系统的 IO、网络等核心资源,导致支付交易等关键消息处理延迟,甚至可能引发线上故障。开源方案通常仅提供分区级别的限流,缺乏全局视野,难以确保关键业务的稳定性和资源隔离

解决方案:

ASP 2.0 提供了多层次、细粒度的全局流量治理能力,支持从Topic、命名空间到跨地域(GEO)级别的精准流量控制。运维团队可以依据业务优先级,为不同服务、不同重要性的消息流灵活设置流量配额,例如:

  • 将通知类 Topic 的速率限制在 1 万条/秒,防止其冲击核心服务。
  • 对跨地域同步链路进行 GEO 级别限速,保障关键跨域网络的稳定性。

有效隔离资源,确保核心链路始终获得必要资源,保障其 SLA,是构建高可靠性、高质量多租户服务的基础。

运维与管控能力升级

“我们将运维从一门‘艺术’变为可重复、可审计的‘科学’,显著降低人力成本与操作风险。”

✅ 运维发布流程化

现实挑战:

某中大型公司的运维团队负责维护超过十套Pulsar集群(开发、测试、预发、生产等)。每次版本升级或配置变更,运维人员都需手动登录不同集群执行脚本,流程繁琐、效率低下。更严峻的是,人工操作极易因环境差异(如测试与生产环境的一个参数配置不符)引发意外,曾导致生产环境性能波动。团队迫切需要一套标准化、自动化的发布变更流程,以提升效率并杜绝人为错误。

解决方案:

ASP 2.0 对运维发布平台进行了重磅升级,核心引入变量管理与可定制发布流程模板功能

  • 变量管理:将各环境差异参数抽象为变量,实现一套流程模板,多处复用,彻底规避环境配置错配。
  • 流程模板自定义:通过可视化界面,将复杂的发布操作(如更新组件、重启服务、健康检查)拆解为原子步骤并灵活编排,形成标准化、可重复使用的发布流程模板。

这使得运维变更流程全面规范化、模板化,极大减少了人为误操作风险,显著提升了发布效率和操作的可追溯性,发布效率提升超 10 倍,并提供完整的审计日志满足合规要求。

✅ 全链路可观测性

现实挑战:

在日常运维中,您是否常面临以下困扰:需要频繁回应业务方关于消息状态(如生产时间、生产者来源、消费是否正常及处理耗时)的查询;需要排查业务 Topic 异常重连背后的集群原因;或需要验证数据副本的健康状态与多机房部署策略的符合性等等。

解决方案:

ASP 2.0 增强了全链路可观测性,提供三大核心能力:

  • 消息轨迹追踪 (Message Tracing):支持记录和查询消息的完整生产、存储、投递路径,包括消息在哪个生产者产生、最终被哪个消费者成功消费或投递失败。这帮助运维人员快速定位消息堆积或丢失的根本原因,极大缩短了故障排查时间(MTTR)。
  • Topic 生命周期管理:记录 Topic 从创建、删除、Lookup、Unload、生产连接到订阅关系变更等全生命周期内的所有关键操作事件。这不仅便于在出现问题时进行审计和回溯,也增强了系统的安全性和可管控性。
  • 数据一致性对账: 主动检测如 ‘Ledger 孤儿数据’、‘副本多机架缺失’等底层数据一致性问题,并提供修复工具,防患于未然。

✅ 多环境统一管控

现实挑战:

金融企业为隔离风险,通常会在生产域部署多套独立的集群,且网络物理隔离。这导致运维人员不得不穿梭于多个管控台之间,操作繁琐,效率低下。更重要的是,分散的管理方式难以保障环境间配置的一致性,微小的配置偏差就可能为应用发布带来不可预知的风险,成为敏捷交付的潜在阻碍。

解决方案:

ASP 2.0 的管控台增强了多环境统一管理能力。运维人员可以在一个统一的管控界面中,同时管理和监控开发、测试、预发、生产等多个环境的 Pulsar 集群。这实现了:

  • 集中监控:一站式洞察所有环境的核心健康指标与实时运行状态,全局态势一目了然。
  • 统一操作:简化了跨环境的日常运维操作。
  • 配置一致性:降低了因环境差异导致问题的概率。

统一门户、统一视角、统一操作,极大简化了运维复杂度,助力企业实现安全、高效的持续交付。

安全与合规性增强

“我们将运维从一门‘艺术’变为可重复、可审计的‘科学’,显著降低人力成本与操作风险。”

🛡️ 信创适配

积极拥抱国产化生态,已完成与主流国产芯片(如鲲鹏、飞腾)、操作系统(如麒麟、统信UOS)及数据库等基础软硬件的深度兼容与互认证。确保ASP 2.0在国产化环境中不仅能稳定运行,更能提供与企业级需求匹配的高性能、高可靠性和功能完整性,满足金融、政务等关键行业对信息技术应用创新的严苛要求。

🛡️ 精细化权限管控

提供基于角色(RBAC)的精细化访问控制,支持对用户或角色授予特定集群、命名空间乃至 Topic 级别的数据查看与操作权限。实现了多租户环境下的精准权限隔离与数据安全管控,全面满足企业内部审计与合规性要求。

ASP 2.0 价值阐述

ASP 2.0 是基于 Pulsar 构建的新一代云原生消息流平台。它深度融合了深厚的金融级场景实践与前沿技术,为企业核心业务系统提供稳定、高性能、安全可靠的数据流动基石,助力企业应对数字化转型中的复杂挑战。

💎 核心业务无忧

交易、清算、风控等核心系统提供金融级的高可靠、强一致性消息传输保障,确保关键业务7×24小时稳定运行,数据零丢失,为业务连续性和数据安全提供坚如磐石的底层支撑。

🛠️ 显著降本增效

构建统一消息和流处理平台,极大减少了技术栈的复杂度和异构系统的维护成本。其完善的运维能力大幅降低了人力投入,而卓越的性能表现则有效降低了硬件资源的需求与投入,为企业带来可观的投资回报率(ROI)。

☁️ 云原生转型加速器

深度拥抱 Kubernetes,提供全生命周期的云原生支持,包括弹性伸缩、故障自愈和跨集群容灾能力。助力企业敏捷上云,平滑推进云原生架构演进,提升业务敏捷性和资源利用率。

🛡️ 信创合规无忧

积极拥抱国产化生态,已完成与主流国产芯片(如鲲鹏)、操作系统(如麒麟、统信UOS)及数据库等基础软硬件的深度兼容与互认证。一站式满足金融、政务等关键行业对信息技术应用创新的严苛要求,有效降低合规风险。

🔄 生态开放与投资保护

100% 兼容 Pulsar 生态,确保客户现有技术与人才投资得到最大程度的保护。同时,其开放架构设计也降低了用户未来的迁移和扩展成本,实现了与现有技术的无缝集成和平滑过渡。

ASP 2.0 vs. Pulsar

27a2c745-a5b4-4ec8-985f-acbc06bd53fd.png

客户案例

综合性头部券商

在某头部证券公司全面上云的架构升级中,谙流ASP 为其构建了坚实的云原生消息中间件 PaaS 平台,统一技术栈,显著降低了消息中间件的总体拥有成本(TCO)。并利用 ASP 特有的 Functions 轻量级计算和 GEO 跨地域复制功能,实现了系统性能与可靠性的双重优化,日常运维工作量大幅降低,为业务连续性提供了坚实保障。

区域性省级城商银行

某区域性银行启动全栈国产化统一消息平台建设,采用谙流ASP作为消息中间件 PaaS 基座,以构建一个高可靠、弹性化的统一消息中枢,该项目为核心系统的自主化转型贡献了可复制的成功实践。

全国性股份制银行

在新核心架构升级的背景下,某股份制银行基于 Pulsar 构建了自主可控的云原生统一消息中间件服务能力,实现了同城多活与异地灾备的实时切换。

政府公共安全

某国家级监测机构采用 ASP 产品构建高效数据处理平台,成功接入并处理来自全国上万台监测设备的实时数据。依托 ASP 对海量 Topic 的稳定运行能力,该平台为公众提供了安全可靠的预警信息服务。

更多信息

🆓 社区版

若您希望免费体验 ASP 的基础管控功能,可以从 ASP 社区版开始。

社区版旨在回馈 Pulsar社区,提供了基础且稳定的集群管理能力,适合用于开发测试环境、学习研究或非核心业务场景。

下载命令:

BASH
1curl -s https://get.ascentstream.com/ce | bash

下载链接:

https://ascentstream.com/download

官方文档:

https://ascentstream.com/docs/asp/asp-community/overview

💼 企业版

对于有生产环境部署、大规模集群管理、高可用性与高安全性要求的企业用户,建议使用功能更完备、服务有保障的 ASP。

联系我们获取产品白皮书;企业版通常提供深度定制的 PoC(概念验证)服务,我们的团队会根据您的具体业务需求和环境,提供更具针对性的解决方案、报价和技术支持细节。

ASP 2.0 的发布,标志着谙流科技在金融级消息流平台领域迈上了新台阶。我们始终聚焦客户的核心业务需求,将金融级的严苛标准、云原生的敏捷弹性以及信创的合规保障深度融合。2.0 版本不仅仅是技术的升级,更是我们助力客户构建下一代数据基础设施、实现数字化转型的郑重承诺。

端到端加密,多团队数据安全共享

logo

谙流科技由 Apache Pulsar 和 Apache BookKeeper 的核心人员倾力打造,专注提供云原生消息队列(MQ)和流处理(Streaming)基础软件及解决方案,打造统一消息流 PaaS 平台,助力企业数字化新质生产力。

关注谙流,获取最新动态

谙流科技公众号