从阿里云 Hologres 迁移到 ProtonBase 完整指南

在将数据库从 Hologres 迁移到 ProtonBase 的过程中，了解两者之间的差异以及如何将配置和功能映射至关重要。本文旨在为您提供详细的迁移指导，包括每个特性的功能说明、在两种数据库中的实现方式、迁移和优化建议以及注意事项。

1. 存储模式：行存、列存、行列混存

功能说明

存储模式决定了数据库如何在物理上存储数据，这对查询性能和存储效率有直接影响。

• 行存储：适合频繁的插入、更新和删除操作，通常用于 OLTP（在线事务处理）场景。

• 列存储：适合大规模数据的批量查询和分析操作，通常用于 OLAP（在线分析处理）场景。

• 行列混合存储：结合行存和列存的优点，适用于需要同时支持高并发写入和复杂查询的场景。

Hologres 实现

语法示例：

-- 创建行存表（需要显式指定）
CREATE TABLE row_t (
    id INT PRIMARY KEY,
    name TEXT,
    age SMALLINT,
    gender CHAR(1)
)
WITH (
    orientation = 'row'
);
 
-- 创建列存表（默认）
CREATE TABLE columnar_t (
    id INT PRIMARY KEY,
    name TEXT,
    age SMALLINT,
    gender CHAR(1)
);
 
-- 创建行列混存表
CREATE TABLE hybrid_t (
    id INT PRIMARY KEY,
    name TEXT,
    age SMALLINT,
    gender CHAR(1)
)
WITH (
    orientation = 'row,column'
);

ProtonBase 实现

语法示例：

-- 创建行存表（默认存储模式）
CREATE TABLE row_t (
    id INT PRIMARY KEY,
    name TEXT,
    age SMALLINT,
    gender CHAR(1)
);
 
-- 创建列存表
CREATE TABLE columnar_t (
    id INT PRIMARY KEY,
    name TEXT,
    age SMALLINT,
    gender CHAR(1)
) USING columnar;
 
-- 创建行列混存表
CREATE TABLE hybrid_t (
    id INT PRIMARY KEY,
    name TEXT,
    age SMALLINT,
    gender CHAR(1)
) USING hybrid;

迁移和优化建议

• 迁移方法：

  • 行存表：在 Hologres 中显式指定 orientation = 'row'，在 ProtonBase 中无需修改，默认即为行存储。

  • 列存表：Hologres 中默认创建列存表，在 ProtonBase 中需要添加 USING columnar。

  • 行列混存表：将 Hologres 的 WITH (orientation = 'row,column') 替换为 ProtonBase 的 USING hybrid。

• 优化建议：

  • 根据业务需求选择存储模式：

    • OLTP 场景：选择行存储，优化频繁的写操作和单行查询。

    • OLAP 场景：选择列存储，优化大规模数据的批量查询和分析。

    • 混合场景：选择行列混合存储，兼顾读写性能。

    • Online Schema Evolution: ProtonBase 支持下线修改表的存储类型，如果迁移初期不确定使用场景，可以使用默认的配置，数据导入后，再按需调整。

注意事项

• 存储模式影响查询性能：在迁移过程中，应根据实际业务需求和查询模式选择适当的存储模式，并进行性能测试。

• 语法差异：Hologres 使用 WITH (orientation = '...') 指定存储模式，ProtonBase 使用 USING ...。

• 数据类型和约束：确保在迁移过程中字段的数据类型和约束保持一致，以避免数据错误。

2. 表组和分片数：Table Group 和 Shard Count

功能说明

表组（Table Group）和分片数（Shard Count） 用于管理数据库的分片和数据分布，提高并行处理能力和查询性能。

• 表组（Table Group）：逻辑概念，将表组织在一起，共享相同的分片策略。

• 分片数（Shard Count）：指数据被分割成的片段数量，影响数据的并行度和负载均衡，同一个表组内，所有表有相同的分片数。

Hologres 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    name TEXT
)
WITH (
    table_group = 'my_table_group'
);

特点：

• 分片数一旦设定无法更改：调整分片数需要重建表，重新导入数据。

• 合理的分片数：合适的分片数可以提高并行处理能力，但过多的分片会导致系统调度开销远大于 SQL 执行开销，导致资源浪费，性能下降，并发下降明显。

ProtonBase 实现

说明：

• ProtonBase 使用 Store 的概念，类似于 Shard，但具备自适应能力，更加灵活。

• Store 数量可以动态调整：无需重建表或重新导入数据，支持在线扩展，调整过程不阻塞业务读写。

• 默认情况下，ProtonBase 自动管理数据分布，不需要手动设置分片数。

迁移和优化建议

• 迁移方法：

  • 忽略 Hologres 的 Table Group 和 Shard Count 配置：在 ProtonBase 中，不需要指定这些参数。

  • 依赖 ProtonBase 的自动数据分布：利用其灵活性和自动化特性。

• 优化建议：

  • 监控系统性能：在高负载或性能瓶颈情况下，考虑手动调整 Store 的数量或配置。

  • 利用动态扩展能力：根据业务需求，灵活调整资源配置。

注意事项

• 避免过度分片：过多的 Store 可能导致管理复杂度增加和资源浪费。

• 数据倾斜：监控数据在 Stores 之间的分布，避免数据倾斜导致性能下降。

3. 主键定义和索引优化

功能说明

主键（Primary Key） 用于唯一标识表中的每一行，确保数据完整性，并自动创建索引，优化查询性能。

Hologres 实现

语法示例：

CREATE TABLE user_table (
    user_id INT NOT NULL,
    username VARCHAR(50) NOT NULL,
    email VARCHAR(100),
    PRIMARY KEY (user_id, username)
);

特点：

• 支持复合主键：可以由多个列组成。

• 主键列必须非空：使用 NOT NULL 约束。

ProtonBase 实现

语法示例：

CREATE TABLE user_table (
    user_id INT,
    username VARCHAR(50),
    email VARCHAR(100),
    PRIMARY KEY (user_id)
);

特点：

• 与 Hologres 类似，支持主键定义和自动创建索引。

• 支持多种索引类型，可根据需要创建额外的索引。

迁移和优化建议

• 迁移方法：

  • 直接迁移主键定义：语法一致。

  • 确保主键列的顺序和数据类型保持一致。

• 优化建议：

  • 主键设计：避免使用单调递增的字段（如自增ID）作为主键，可能导致写入热点。

  • 索引优化：根据查询需求，考虑在经常使用的非主键列上创建索引。

注意事项

• 主键列的选择：应选择经常用于查询和连接的列，提高查询性能。

• 联合主键的顺序：在复合主键中，列的顺序会影响查询效率，应根据查询条件设置。

4. 分布键（Distribution Key）

功能说明

分布键决定了数据在集群节点之间的分布方式，影响查询性能和数据倾斜。

Hologres 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    name TEXT
)
WITH (
    distribution_key = 'id'
);

特点：

• 数据根据分布键的哈希值分布：确保相同分布键值的数据存储在同一个 Shard 上。

• 通常选择主键或经常用于 JOIN 的列作为分布键。

ProtonBase 实现

说明：

• ProtonBase 使用 Range 分布，不需要显式指定分布键。

• 数据根据主键值范围自动分布在不同的 Stores 上。

迁移和优化建议

• 迁移方法：

  • 忽略 Hologres 的分布键设置：在 ProtonBase 中无需指定。

  • 关注主键设计：确保主键值的分布均匀，避免数据倾斜。

• 优化建议：

  • 避免使用单调递增的主键：可能导致写入热点，可考虑使用 UUID 或包含随机部分的主键。

  • 监控数据分布：定期检查数据在 Stores 之间的分布情况，必要时进行调整。

注意事项

• 数据倾斜风险：主键设计不当可能导致部分节点负载过高，影响性能。

• 无法直接控制数据分布：在 ProtonBase 中，数据分布由系统自动管理。

5. 事件时间列（Event Time Column）

功能说明

事件时间列用于处理基于时间的查询和分析，常用于时间序列数据的存储和查询优化。

Hologres 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    event_time TIMESTAMPTZ,
    data TEXT
)
WITH (
    event_time_column = 'event_time'
);

特点：

• 指定事件时间列：数据库引擎可利用该列优化时间范围查询。

ProtonBase 实现

语法示例：

-- 设置处理时间字段
SET experimental_processing_time_field = 'event_time';

特点：

• 通过设置会话级参数指定事件时间列。

• 影响数据的处理方式和查询优化。

迁移和优化建议

• 迁移方法：

  • 在数据导入前，使用 SET experimental_processing_time_field 指定事件时间列。

  • 确保在会话开始时设置，使其在整个会话中生效。

• 优化建议：

  • 结合聚簇索引：在事件时间列上建立聚簇索引，进一步优化时间范围查询。

  • 分区策略：根据事件时间列，对数据进行分区，提升查询效率。

注意事项

• 会话级参数：experimental_processing_time_field 是会话级参数，需在每个会话中设置。

• 数据一致性：确保事件时间列的数据准确性，避免因错误的时间戳导致查询错误。

6. 聚簇索引（Clustering Key）

功能说明

聚簇索引通过对物理存储上的数据排序，加速基于特定列的范围查询和排序操作。

Hologres 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    age INT,
    name TEXT
)
WITH (
    clustering_key = 'age:asc'
);

特点：

• 指定聚簇索引列和排序方向：提高基于该列的查询性能。

ProtonBase 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    age INT,
    name TEXT
) USING columnar WITH (
    clustering_key = (age)
);

特点：

• 在创建表时，通过 WITH (clustering_key = (column_list)) 指定聚簇索引。

迁移和优化建议

• 迁移方法：

  • 将 Hologres 的聚簇索引设置转换为 ProtonBase 的 WITH (clustering_key = (column_list))。

• 优化建议：

  • 选择高选择性的列：聚簇索引列应具有较高的基数，减少重复值。

注意事项

• 聚簇索引列数量：通常不超过两个，过多的聚簇列可能影响性能。

• 重新组织数据：建立聚簇索引可能需要重新组织数据，耗费资源，建议在非高峰期操作。

7. 字典编码（Dictionary Encoding）

功能说明

字典编码通过将重复的字符串值映射为整数，减少存储空间，提高查询效率，特别是对 GROUP BY 和 JOIN 操作有益。

Hologres 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    category TEXT
)
WITH (
    dictionary_encoding_columns = 'category:auto'
);

特点：

• 为特定列指定字典编码：可以选择 on、off 或 auto 模式。

ProtonBase 实现

语法示例：

-- 设置字典编码模式
SET experimental_adaptive_dictionary_encoding_mode = 'auto';  -- 默认模式

特点：

• 自适应字典编码：ProtonBase 自动为合适的列应用字典编码，无需手动指定。

迁移和优化建议

• 迁移方法：

  • 无需手动指定字典编码列：ProtonBase 会自动处理。

  • 如果需要调整，可以修改会话参数 experimental_adaptive_dictionary_encoding_mode。

• 优化建议：

  • 监控查询性能：如果发现性能问题，考虑调整字典编码模式。

  • 高基数列：对于高基数列，可能需要禁用字典编码。

注意事项

• 会话级参数：experimental_adaptive_dictionary_encoding_mode 是会话级参数，需在每个会话中设置。

• 重新加载数据：修改字典编码模式后，可能需要重新加载数据才能生效。

8. 位图索引（Bitmap Index）

功能说明

位图索引对低基数列的等值查询和聚合操作有显著性能提升，适用于性别、状态等重复值多的列。

Hologres 实现

语法示例：

CREATE TABLE my_table (
    id INT,
    status TEXT
)
WITH (
    bitmap_columns = 'status:on'
);

特点：

• 为特定列启用位图索引：提高查询性能。

ProtonBase 实现

语法示例：

-- ProtonBase 会自动为适合的列创建位图索引 （无需手动创建）
-- 自适应位图索引如下
CREATE INDEX status_adp_bitmap_idx ON my_table USING split_bitmap (status) WITH (adaptive = true);
 
 
-- 手动创建位图索引
CREATE INDEX status_bitmap_idx ON my_table USING split_bitmap (status);

特点：

• 自动创建位图索引：ProtonBase 默认自动为适合的列创建。

• 可手动创建和调整：提供更精细的控制。

迁移和优化建议

• 迁移方法：

  • 依赖 ProtonBase 的自动位图索引：通常无需手动设置。

  • 需要精细控制时，可手动创建位图索引。

• 优化建议：

  • 监控查询性能：确定是否需要手动创建或调整位图索引。

  • 使用自适应模式：WITH (adaptive = true) 使系统根据数据特征优化注意事项

• 写入性能影响：位图索引可能增加写入开销，需权衡读写性能。

• 适用列：仅对低基数列有效，高基数列不建议使用位图索引。

总结

在从 Hologres 迁移到 ProtonBase 的过程中，理解两者之间的特性差异，并根据业务需求进行调整，能够确保数据库性能和稳定性。

• 充分测试：在迁移前后，进行全面的功能和性能测试。

• 持续优化：根据实际运行情况，调整配置和索引策略。

• 参考文档：深入学习 ProtonBase 的官方文档，了解其特性和最佳实践。

如果在迁移过程中遇到问题，建议寻求专业支持或咨询技术专家。