Java技术债务Java技术债务

  •  首页
  •  分类
  •  归档
  •  标签
  • 博客日志
  • 资源分享
  •  友链
  •  关于本站
注册
登录

ClickHouse的数据一致性(七)

ClickHouse,数据库

文章目录


数据一致性的方案

查询 CK 手册发现,即便对数据一致性支持最好的 Mergetree,也只是保证最终一致性:

  • 1手动使用OPTIMIZE
  • 2 通过 Group by 去重
  • 3 通过 FINAL 查询

ClickHouse的数据一致性(七) - Java技术债务

我们在使用 ReplacingMergeTree、SummingMergeTree 这类表引擎的时候,会出现短暂 数据不一致的情况。在某些对一致性非常敏感的场景,通常有以下几种解决方案。

1 手动使用OPTIMIZE(强烈不建议生产上使用)

在写入数据后,立刻执行 OPTIMIZE 强制触发新写入分区的合并动作。

OPTIMIZE TABLE table_name FINAL;

语法:OPTIMIZE TABLE [db.]name [ON CLUSTER cluster] [PARTITION partition | PARTITION ID 'partition_id'] [FINAL] [DEDUPLICATE [BY expression]]

2 通过 Group by 去重

此方法通常需要在创建表时,添加删除标识字段:比如is_deleted,默认为0,0代表未删除,1代表已删除;并且需要以时间为索引进行order by排序。

(1)执行去重的查询

SELECT
	user_id ,
  argMax(score, create_time) AS score,
  argMax(is_deleted, create_time) AS deleted,
  max(create_time) AS ctime
FROM test_a
GROUP BY user_id
HAVING deleted = 0;

函数说明:

argMax(field1,field2):按照 field2 的最大值取 field1 的值。当我们更新数据时,会写入一行新的数据,例如上面语句中,通过查询最大的create_time 得到修改后的 score 字段值。

注意:ClickHouse并不能很好的支持事务型数据的删除,但是可以通过其他策略支持删除,比如is_deleted字段来支持数据,如果将某user_id删除,即将某user_id对应的is_deleted置为1。

然而,这行数据并没有被真正的删除,而是被过滤掉了。在一些合适的场景下,也可以结合表级别的TTL 最终将物理数据删除。

3 通过 FINAL 查询

在查询语句后增加 FINAL 修饰符,这样在查询的过程中将会执行 Merge 的特殊逻辑(例 如数据去重,预聚合等)。

但是这种方法在早期版本基本没有人使用,因为在增加 FINAL 之后,我们的查询将会变 成一个单线程的执行过程,查询速度非常慢。

在 v20.5.2.7-stable 版本中,FINAL 查询支持多线程执行,并且可以通过 max_final_threads 参数控制单个查询的线程数。但是目前读取 part 部分的动作依然是串行的。

FINAL 查询最终的性能和很多因素相关,列字段的大小、分区的数量等等都会影响到最 终的查询时间,所以还要结合实际场景取舍。

**参考链接:**https://github.com/ClickHouse/ClickHouse/pull/10463

数据一致性的方案

查询 CK 手册发现,即便对数据一致性支持最好的 Mergetree,也只是保证最终一致性:

  • 1手动使用OPTIMIZE
  • 2 通过 Group by 去重
  • 3 通过 FINAL 查询

ClickHouse的数据一致性(七) - Java技术债务

我们在使用 ReplacingMergeTree、SummingMergeTree 这类表引擎的时候,会出现短暂 数据不一致的情况。在某些对一致性非常敏感的场景,通常有以下几种解决方案。

1 手动使用OPTIMIZE(强烈不建议生产上使用)

在写入数据后,立刻执行 OPTIMIZE 强制触发新写入分区的合并动作。

OPTIMIZE TABLE table_name FINAL;

语法:OPTIMIZE TABLE [db.]name [ON CLUSTER cluster] [PARTITION partition | PARTITION ID 'partition_id'] [FINAL] [DEDUPLICATE [BY expression]]

2 通过 Group by 去重

此方法通常需要在创建表时,添加删除标识字段:比如is_deleted,默认为0,0代表未删除,1代表已删除;并且需要以时间为索引进行order by排序。

(1)执行去重的查询

SELECT
	user_id ,
  argMax(score, create_time) AS score,
  argMax(is_deleted, create_time) AS deleted,
  max(create_time) AS ctime
FROM test_a
GROUP BY user_id
HAVING deleted = 0;

函数说明:

argMax(field1,field2):按照 field2 的最大值取 field1 的值。当我们更新数据时,会写入一行新的数据,例如上面语句中,通过查询最大的create_time 得到修改后的 score 字段值。

注意:ClickHouse并不能很好的支持事务型数据的删除,但是可以通过其他策略支持删除,比如is_deleted字段来支持数据,如果将某user_id删除,即将某user_id对应的is_deleted置为1。

然而,这行数据并没有被真正的删除,而是被过滤掉了。在一些合适的场景下,也可以结合表级别的TTL 最终将物理数据删除。

3 通过 FINAL 查询

在查询语句后增加 FINAL 修饰符,这样在查询的过程中将会执行 Merge 的特殊逻辑(例 如数据去重,预聚合等)。

但是这种方法在早期版本基本没有人使用,因为在增加 FINAL 之后,我们的查询将会变 成一个单线程的执行过程,查询速度非常慢。

在 v20.5.2.7-stable 版本中,FINAL 查询支持多线程执行,并且可以通过 max_final_threads 参数控制单个查询的线程数。但是目前读取 part 部分的动作依然是串行的。

FINAL 查询最终的性能和很多因素相关,列字段的大小、分区的数量等等都会影响到最 终的查询时间,所以还要结合实际场景取舍。

**参考链接:**https://github.com/ClickHouse/ClickHouse/pull/10463

完
  • 本文作者:Java技术债务
  • 原文链接: https://cuizb.top/myblog/article/1639988535
  • 版权声明: 本博客所有文章除特别声明外,均采用 CC BY 3.0 CN协议进行许可。转载请署名作者且注明文章出处。
阅读全文
Java技术债务

Java技术债务

Java技术债务
Java技术债务
热门文章
  1. ClickHouse使用过程中的一些查询优化(六)2003
  2. MySQL数据库被攻击,被删库勒索,逼迫我使出洪荒之力进行恢复数据764
  3. MySQL主从同步原理458
  4. 线程池的理解以及使用414
  5. Spring Cloud Gateway整合nacos实战(三)409
分类
  • Java
    30篇
  • 设计模式
    27篇
  • 数据库
    20篇
  • Spring
    18篇
  • MySQL
    13篇
  • ClickHouse
    11篇
  • Kubernetes
    10篇
  • Redis
    9篇
  • Docker
    8篇
  • SpringBoot
    7篇
  • JVM
    6篇
  • Linux
    5篇
  • Spring Cloud
    5篇
  • 多线程
    5篇
  • Netty
    4篇
  • Kafka
    4篇
  • 面经
    4篇
  • Nginx
    3篇
  • JUC
    3篇
  • 随笔
    2篇
  • 分布式
    1篇
  • MyBatis
    1篇
  • 报错合集
    1篇
  • 生活记录
    1篇
  • 源码
    1篇
  • 性能优化
    1篇

最新评论

  • MySQL数据库被攻击,被删库勒索,逼迫我使出洪荒之力进行恢复数据2022-05-06
    Java技术债务:@capture 一起探讨学习,服务器被黑很正常,及时做好备份以及做好防护
  • MySQL数据库被攻击,被删库勒索,逼迫我使出洪荒之力进行恢复数据2022-04-13
    capture:我的刚上线两天,网站里就两篇文章也被攻击了,纳闷
  • Java常用集合List、Map、Set介绍以及一些面试问题2022-01-18
    Java技术债务:HashSet和TreeSet 相同点:数据不能重复 不同点: 1、底层存储结构不同; HashSet底层使用HashMap哈希表存储 TreeSet底层使用TreeMap树结构存储 2、唯一性方式不同 HashSet底层使用hashcode()和equal()方法判断 TreeSet底层使用Comparable接口的compareTo判断的 3、HashSet无序,TreeSet有序
  • undefined2021-12-14
    Java技术债务:如果不指定线程池,CompletableFuture会默认使用ForkJoin线程池,如果同一时间出现大量请求的话,会出现线程等待问题,建议使用自定义线程池。。。
  • undefined2021-12-02
    you:很好,对于小白相当不错了,谢谢
  • CSDN
  • 博客园
  • 程序猿DD
  • 纯洁的微笑
  • spring4all
  • 廖雪峰的官方网站
  • 猿天地
  • 泥瓦匠BYSocket
  • crossoverJie
  • 张先森个人博客
  • 越加网

© 2021-2022 Java技术债务 - Java技术债务 版权所有
总访问量 0 次 您是本文第 0 位童鞋
豫ICP备2021034516号
Java技术债务 豫公网安备 51011402000164号

微信公众号

Java技术债务
Java技术债务

专注于Spring,SpringBoot等后端技术探索

以及MySql数据库开发和Netty等后端流行框架学习

日志
分类
标签
RSS

有不足之处也希望各位前辈指出