配置 AWS Glue 外部表

面向 AWS Glue 的配置方法

AWS Glue 是基于数据湖的元数据管理服务,ProtonBase 可以通过外部表方式与 Glue 元数据对接,实现查询加速和数据导入。

安装扩展

安装 extension,仅需要安装一次,如果已经安装过,可以忽略。

CREATE EXTENSION glue_fdw;  

创建 Glue 外部服务器

CREATE SERVER <server_name> FOREIGN DATA WRAPPER glue_fdw 
OPTIONS (
 REGION 'region-id'
);
-- 示例
CREATE SERVER glue_server FOREIGN DATA WRAPPER glue_fdw 
OPTIONS (
 REGION 'us-east-1'
);

创建用户映射

为本地用户账号授予对应的对象存储的访问权限,通过 access_idaccess_key 授权。

CREATE USER MAPPING for public SERVER glue_server 
OPTIONS (
 ACCESS_ID 'access-id',
 ACCESS_KEY 'access-key'
);

创建外表

-- 将 glue_db 下的 t1 表创建为外表,元数据保存在 public schema 下。
IMPORT FOREIGN SCHEMA glue_db LIMIT TO(t1) FROM SERVER glue_server INTO public;