pg_basebackup
是一个 核心实用程序,它通过流复制协议创建运行中的 PostgreSQL 集群数据目录的“基础备份” - 一个二进制快照。此基础备份通常用作复制原始集群版本的依据;例如,将运行中的集群的数据复制到另一台服务器后,可以使用复制的数据作为其数据目录启动 PostgreSQL 实例,并将其配置为复制备用服务器。如果配置正确,此备用服务器将自动同步源服务器在创建基础备份后发生的任何更改。
pg_basebackup
添加于 PostgreSQL 9.1。
请注意,尽管名称如此,pg_basebackup
本身并不是备份实用程序;应使用 pg_dump
或 pg_dumpall
(或者更好地使用诸如 Barman 或 pgBackRest 之类的实用程序)进行常规数据库备份。此外,pg_basebackup
只能创建整个集群的快照,而不是单个数据库或对象。对于此任务,pg_dump 或 逻辑复制 是更合适的工具。(但是,通过使用 pg_basebackup
“启动” 复制备用服务器,可以从备用服务器创建备份,并避免 pg_dump 等对主数据库造成的负载)。
要能够创建基础备份,pg_basebackup
需要在运行中的集群上具有超级用户或复制用户登录名,并在 pg_hba.conf 中定义相应的连接权限。必须有足够的 walsender 进程可用(配置设置 max_wal_senders
)。
默认情况下,pg_basebackup
会创建原始集群中所有文件和目录的一对一副本(选项 --format=plain
),但它也可以将复制的数据输出到 tar 文件(选项 --format=tar
)。有关 表空间 处理的注意事项,请参阅文档。
请注意,已完成的基础备份将包含原始服务器数据目录中包含的任何配置文件,例如 postgresql.conf
和 pg_hba.conf
文件。在使用复制的数据目录启动 PostgreSQL 实例之前,可能需要调整或创建这些文件(以及 PostgreSQL 11 及更早版本中的 recovery.conf
)。
进度监控
pg_basebackup
提供了一个 --progress
选项,用于动态显示基础备份的进度(以百分比和千字节为单位)。
从 PostgreSQL 13 开始,可以使用 进度报告 视图 pg_stat_progress_basebackup
监控源服务器上基础备份的过程。
变更历史
- PostgreSQL 17
- PostgreSQL 15
- 实现了新的
COPY
子协议(提交 cc333f32) - 添加了选项
-t
/--target
(提交 3500ccc3) - 扩展了选项
--compress
以接受压缩方法和可选的压缩级别(提交 5c649fe1) - 选项
--compress
可以接受client-gzip
或server-gzip
以及gzip
(提交 0ad80329) - 选项
--compress
可以接受lz4
或server-lz4
(提交 dab29847) - 选项
--compress
可以接受client-lz4
(提交 751b8d23) - 选项
--compress
可以接受zstd
、client-zstd
或server-zstd
(提交 7cf085f0) - 选项
--compress
可以接受(client|server)-zstd:workers=N
以使用多个 zstd 工作线程提供并行备份(提交 51c0d186)
- 实现了新的
- PostgreSQL 13
- 为基础备份生成备份清单,可以使用新的实用程序
pg_verifybackup
进行验证(提交 0d8c9c12) - 默认情况下显示备份总估计大小(提交 fab13dc5)
- 添加了选项
--no-estimate-size
(提交 fab13dc5)
- 为基础备份生成备份清单,可以使用新的实用程序
- PostgreSQL 12
- 选项
--write-recovery-conf
现在会将其配置设置写入postgresql.auto.conf
(提交 2dedf4d9)
- 选项
- PostgreSQL 11
- 添加了选项
--create-slot
,用于自动创建使用--slot
选项指定的复制槽(提交 3709ca1c)
- 添加了选项
- PostgreSQL 10
- PostgreSQL 9.6
- 添加了选项
--slot
以在备份开始前预留复制槽(提交 0dc848b0)
- 添加了选项
- PostgreSQL 9.5
- PostgreSQL 9.4
- PostgreSQL 9.3
- 添加了
--write-recovery-conf
选项,该选项创建一个基本的 recovery.conf 文件(提交 915a29a1)。 --xlog-method
能够处理流式时间线切换(提交 0b632913)。- 添加了
-d
/--dbname
选项以接受 conninfo 字符串(提交 aa05c37e)。
- 添加了
- PostgreSQL 9.2
- 能够从备用服务器创建基本备份(提交 8366c780)。
- PostgreSQL 9.1
- 添加(提交 048d148f)。
示例
postgres@node:~> pg_basebackup -h node1 -U repuser -D /path/to/local/datadir --wal-method=fetch --format=plain \
--label=backup_2023-03-26 --progress --verbose pg_basebackup: initiating base backup, waiting for checkpoint to complete pg_basebackup: checkpoint completed pg_basebackup: write-ahead log start point: 0/14000028 on timeline 1 pg_basebackup: starting background WAL receiver pg_basebackup: created temporary replication slot "pg_basebackup_877159" 165000/165000 kB (100%), 1/1 tablespace pg_basebackup: write-ahead log end point: 0/14000120 pg_basebackup: waiting for background process to finish streaming ... pg_basebackup: syncing data to disk ... pg_basebackup: renaming backup_manifest.tmp to backup_manifest pg_basebackup: base backup completed
请注意,执行命令后,通常需要几秒钟的延迟才能看到任何活动;这通常是因为 pg_basebackup
正在等待下一个 检查点 发生(可以使用选项 --checkpoint=fast
强制执行检查点)。
在 pg_stat_replication
运行时,pg_basebackup
将如下所示
postgres=# SELECT * FROM pg_stat_replication; -[ RECORD 1 ]----+----------------------------- pid | 10770 usesysid | 90766160 usename | repuser application_name | pg_basebackup client_addr | 192.168.1.33 client_hostname | client_port | 31933 backend_start | 2023-03-27 02:34:53.29996+01 state | backup sent_location | 0/0 write_location | flush_location | replay_location | sync_priority | 0 sync_state | async
在 PostgreSQL 13 及更高版本中,可以通过源服务器上的 系统目录 视图“pg_stat_progress_basebackup
”监控基本备份操作的进度,例如:
postgres=# SELECT * FROM pg_stat_progress_basebackup \gx -[ RECORD 1 ]--------+------------------------- pid | 29070 phase | streaming database files backup_total | 2179629568 backup_streamed | 945447936 tablespaces_total | 1 tablespaces_streamed | 0
参考文献
- PostgreSQL 文档: pg_basebackup