PostgreSQL 10.0 preview 功能增强 - QUERY进度显示

标签

PostgreSQL , 10.0 , query进度


背景

query进度的显示,有一个插件pg_query_state支持。

PostgreSQL 10.0将在内核层面增加一个这样的支持。

首先会在analye命令上尝试,但是它会设计为通用的视图,支持其他命令,诸如CREATE INDEX, VAUUM, CLUSTER等。

Hello Hackers,  

Following is a proposal for reporting the progress of ANALYZE command:  

It seems that the following could be the phases of ANALYZE processing:
1. Collecting sample rows
2. Collecting inherited sample rows
3. Computing heap stats
4. Computing index stats
5. Cleaning up indexes  

The first phase is easy if there is no inheritance but in case of
inheritance we need to sample the blocks from multiple heaps.
Here the progress is counted against total number of blocks processed.  

The view provides the information of analyze command progress details as
follows
postgres=# \d pg_stat_progress_analyze
           View "pg_catalog.pg_stat_progress_analyze"
       Column       |  Type   | Collation | Nullable | Default
-------------------+---------+-----------+----------+---------
  pid               | integer |           |          |
  datid             | oid     |           |          |
  datname           | name    |           |          |
  relid             | oid     |           |          |
  phase             | text    |           |          |
  heap_blks_total   | bigint  |           |          |
  heap_blks_scanned | bigint  |           |          |
  total_sample_rows | bigint  |           |          |  

I feel this view information may be useful in checking the progress of
long running ANALYZE command.  

The attached patch reports the different phases of analyze command.
Added this patch to CF 2017-03.  

Opinions?  

Note: Collecting inherited sample rows phase is not reported yet in the
patch.  

Regards,
Vinayak Pokale
NTT Open Source Software Center

这个patch的讨论,详见邮件组,本文末尾URL。

PostgreSQL社区的作风非常严谨,一个patch可能在邮件组中讨论几个月甚至几年,根据大家的意见反复的修正,patch合并到master已经非常成熟,所以PostgreSQL的稳定性也是远近闻名的。

参考

《官人要杯咖啡吗? - PostgreSQL实时监测PLAN tree的执行进度 - pg_query_state》

https://commitfest.postgresql.org/13/1053/

https://www.postgresql.org/message-id/flat/c1691d3a-5b8f-ba1a-105a-3d3ef33f36ce@lab.ntt.co.jp#c1691d3a-5b8f-ba1a-105a-3d3ef33f36ce@lab.ntt.co.jp

时间: 2024-09-19 09:46:51

PostgreSQL 10.0 preview 功能增强 - QUERY进度显示的相关文章

PostgreSQL 10.0 preview 功能增强 - 增加access method CHECK接口amcheck

标签 PostgreSQL , 10.0 , amcheck , 逻辑一致性检测 , 物理存储检测 背景 一些高端存储.包括ZFS文件系统,在使用了RAID后,有块检测和异常块的修复功能. 对于数据库来说,数据的可靠性是非常重要的指标,例如: 1. 写进入是什么,读出来就应该是什么. 2. 当操作系统的collate发生变化时,索引的顺序可能与实际的collate顺序不匹配.造成不稳定现象. 3. 数据块partial write,可能导致数据损坏. 4. 内存页异常,使用到某些异常页时,可能带

PostgreSQL 10.0 preview 功能增强 - 后台运行(pg_background)

标签 PostgreSQL , 10.0 , 后台运行 , pg_background_launch , pg_background_result , pg_background_detach , pg_background 背景 当用户在管理数据库时,如果要在交互式界面跑一些QUERY,但是不知道QUERY要运行多久,担心网络问题或者其他问题导致终端断开,QUERY执行情况不明的话.就需要后台运行这个功能了. 后台运行在LINUX中也很常见,比如 nohup ls -la / >/tmp/re

PostgreSQL 10.0 preview 功能增强 - 逻辑订阅端 控制参数解说

标签 PostgreSQL , 10.0 , 逻辑订阅 背景 PostgreSQL 逻辑订阅相关文章请参考 <PostgreSQL 10.0 preview 变化 - 逻辑复制pg_hba.conf变化,不再使用replication条目> <PostgreSQL 10.0 preview 功能增强 - 备库支持逻辑订阅,订阅支持主备漂移了> <PostgreSQL 10.0 preview 功能增强 - 逻辑复制支持并行COPY初始化数据> <PostgreSQ

PostgreSQL 10.0 preview 功能增强 - OLAP增强 向量聚集索引(列存储扩展)

标签 PostgreSQL , 10.0 , Vertical Clustered Index (columnar store extension) , 列存储 , 向量聚集索引 背景 未来数据库OLTP+OLAP逐渐模糊化,需求逐渐融合是一个大的趋势,如果你的数据库只支持OLTP的场景,未来可能会成为业务的绊脚石. 在这方面PostgreSQL每年发布的新版本,都给用户很大的惊喜,OLTP已经具备非常强大的竞争力(性能.功能.稳定性.成熟度.案例.跨行业应用等),而OLAP方面,新增的feat

PostgreSQL 10.0 preview 功能增强 - 动态视图pg_stat_activity新增数据库管理进程信息

标签 PostgreSQL , 10.0 , pg_stat_activity , 管理进程 , 后台进程 , 工作进程 , 并行计算进程 背景 PostgreSQL为进程模型,启动时.启动后会fork一些管理进程,以及用户连接时会产生用户的服侍进程. 例如 1. postmaster,负责监听 2. startup进程,负责recovery 3. logger, 负责写日志 4. shared buffer writer,负责通过LRU算法刷脏页,持久化数据文件 5. wal buffer w

PostgreSQL 10.0 preview 功能增强 - libpq支持多主机连接(failover,LB)让数据库HA和应用配合更紧密

标签 PostgreSQL , 10.0 , libpq , jdbc , failover , loadbalance , multi host , target_session_attrs 背景 数据库一主多备,这个词在互联网应该不陌生.但是主备切换和应用程序如何配合才能天衣无缝呢?你可能会有这样的疑问. 1. 什么类型的QUERY发给主库,什么类型的QUERY发给备库? 2. 主库和备库发生了角色切换之后,客户端连接如何配合? 业界有一些做法可以回答这两个问题. 1. 通常使用集群软件,使

PostgreSQL 10.0 preview 功能增强 - slave支持WAITLSN &#039;lsn&#039;, time;用于设置安全replay栅栏

标签 PostgreSQL , 10.0 , waitlsn , replay , slave , 流复制 , 等待恢复 背景 PostgreSQL 的流复制是非常灵活的,在主库端,可以将事务的级别设置为同步,异步,本地同步,远程同步刷盘,远程同步刷OS缓存,远程数据库apply等多种级别. <PostgreSQL 9.6 同步多副本 与 remote_apply事务同步级别> 但是在备库,还没有一个可以设置安全栅栏的手段,比如说,我们要让备库apply到某个位点后,再执行某个QUERY. 1

PostgreSQL 10.0 preview 功能增强 - 逻辑复制支持并行COPY初始化数据

标签 PostgreSQL , 10.0 , 逻辑复制 , 初始数据COPY 背景 PostgreSQL 已支持逻辑复制,同时对逻辑复制增加了一个初始同步的增强功能,支持通过wal receiver协议跑COPY命令(已封装在逻辑复制的内核代码中),支持多表并行. 也就是说,你可以使用PostgreSQL的逻辑复制,快速的(流式.并行)将一个实例迁移到另一个实例. Logical replication support for initial data copy Add functionalit

PostgreSQL 10.0 preview 功能增强 - 回滚范围可精细控制(事务、语句级)

标签 PostgreSQL , 10.0 , 事务回滚 , 语句回滚 , 服务端特性 背景 数据库的原子操作单位是事务,那么在一个事务中的SQL,正常情况下,应该是这样的:要么全部提交,要么全部回滚. 为了保证持久性,数据库还有一个概念,事务日志,每当事务提交时,都需要确保REDO持久化(REDO的写IO会比较多,IO延迟直接关系到tps吞吐量,特别是小事务). 因此,有些业务,为了提高整体的吞吐(比如数据插入的吞吐),通常会使用分批提交的方式,比如一个事务中封装1000条INSERT语句. 但