分布式 Data Warebase
ProtonBase 是一款云原生分布式 Data Warebase(Data Warebase = Data Warehouse + Database)。致力于通过一款产品同时支持数据库和大数据系统应用场景,为用户带来极致的用户体验,大幅降低数据存储和使用的门槛。
所有数据:分布式 Data Warebase 能够存储所有数据,包括结构化数据、半结构化数据和非结构化数据。
所有场景:分布式 Data Warebase 能够支持所有场景,包括简单查询、关键词搜索、语义搜索和汇总分析,以及它们的各种组合。
挑战极限:分布式 Data Warebase 在业务的基本需求即性能、正确性和实时性上挑战极限。分布式 Data Warebase 在数据库场景是个更好的数据库,因为它通过分布式解决了数据库的水平扩展问题。分布式 Data Warebase 在数仓场景是个更好的数仓,因为它同时解决了数仓的正确性和实时性问题。
极简体验:分布式 Data Warebase 为开发和运维提供了极简体验。
-
统一的 API:无论用户在哪个场景,都像是在使用同一个产品,而不会像使用多个产品那样感受到各种细微的区别;
-
统一的数据存储:所有的数据都是一份存储;
-
兼容已有生态:分布式 Data Warebase 虽然是一个新的系统,但是不存在陡峭的学习曲线,用户使用已有的关系型数据库知识就可以快速上手应用分布式 Data Warebase ;
-
隔离:由于分布式 Data Warebase 支持各种场景的工作负载,所以在隔离上展开了许多工作,可以让不同的工作负载有比较好的隔离;
-
自适应:通过自适应的能力,系统能够针对具体的业务场景自动调优,保证对每一个具体的业务场景都做到真正的最优。
ProtonBase 产品定位
ProtonBase 是一个多云原生、兼容 PostgreSQL 的分布式 Data Warebase ,旨在为云环境下的应用提供强大的数据支持。其设计哲学是结合数据仓库和数据库功能,为用户提供从简单的数据检索到复杂的数据分析等多种数据操作的能力。
- 多云:支持所有主流云厂商。ProtonBase 底层建立在云上,采用了云的存储和基于容器的调度技术。 ProtonBase 目前主要支持五朵云:阿里云、华为云、腾讯云、 AWS 和 Azure ,未来还会支持更多的云厂商 。
- 云原生:充分使用容器化的技术,发挥公有云的弹性。
- 兼容 PostgreSQL:PostgreSQL 有非常强大的生态和工具链,有很完整的 SQL 的支持。兼容 PostgreSQL 大大降低学习和使用 ProtonBase 的门槛。用户只要会使用关系型数据库,就会使用 ProtonBase 。
数据接入层
ProtonBase 的数据接入层支持广泛的数据源类型,以适应企业多变的数据需求。这一层实现了与以下数据源的兼容性和集成:
- 传统的SQL数据库系统:如MySQL和PostgreSQL,保障了与现有企业数据库的无缝连接。
- NoSQL数据库:例如MongoDB,为非结构化或半结构化数据提供灵活的存储和查询选项。
- 云对象存储:如Amazon S3兼容的接口,用于处理大规模数据集的存储和检索。
- 日志和事件数据处理:用于接收和处理应用程序生成的日志和事件流。
- 物联网(IoT)设备接入:支持从各种IoT设备收集数据。
- IDC数据处理:确保数据中心运营的数据得到有效管理。
数据存储层
基于云存储的底层资源,ProtonBase 构建了一个统一的数据存储抽象层,能在多云环境中高效地管理和调度数据存储。这个层次采用了高度可扩展的存储策略,支持在不同云服务商(如阿里云、华为云、腾讯云、AWS和Azure)之间的数据备份和复制,确保了数据的持久性和可靠性。
分布式计算层
核心的计算层由称为Warebase的分布式计算集群构成。Warebase是ProtonBase的核心计算资源,每个Warebase由多个计算单元(Unit)组成,这些Unit可以根据负载进行弹性扩展。计算层利用容器化技术和云原生调度系统,优化了计算资源的分配和伸缩,提升了计算任务的处理效率和系统整体的性能。
云服务层
在计算和存储层之上,ProtonBase 提供了一系列云服务,以满足不同业务场景下的需求。这包括但不限于:
- 数据集成服务:简化了数据流入的过程,加强了数据的整合能力。
- 管理和运维服务:提供了一套工具,简化数据库和Warebase的日常管理。
- 可观测性服务:监控系统状态,优化性能,及时响应系统事件。
- 安全服务:确保数据安全和符合合规性要求。
- 计费服务:为使用的服务提供透明且灵活的计费模式。
应用集成和服务接口
最上层是为企业提供的应用集成和服务接口,这些接口使得ProtonBase能够为各种企业应用程序提供支持,包括:
- 业务应用接口:确保业务应用能够高效地存取数据。
- 搜索服务:提供强大的搜索能力,满足实时查询需求。
- 业务智能和分析工具:支持企业进行数据分析和决策。
- 实时决策平台:允许构建实时数据流处理和决策系统。
- AI/ML算法集成:为机器学习和人工智能算法提供数据支持,加速模型训练和推理过程。