Java技术债务Java技术债务

  •  首页
  •  分类
  •  归档
  •  标签
  • 博客日志
  • 资源分享
  •  友链
  •  关于本站
注册
登录

ClickHouse常见问题排查与解决(一)

ClickHouse,数据库

文章目录

  • 1、Table
  • is
  • in
  • readonly
  • mode
  • (zookeeper
  • path:
  • /clickhouse/tables/iov/t_fault/2)
  • 2、Replica
  • /clickhouse/tables/s1/dwd/xxxx/replicas/dt_fault
  • already
  • exists
  • 3、数据写入成功,但是数据库并不存在数据
  • 4、查询时(非MergeTree表引擎),查出多条重复数据

1、Table is in readonly mode (zookeeper path: /clickhouse/tables/iov/t_fault/2)

  • 异常说明

    表示Zookeeper压力过大,表处于只读状态,导致插入失败

  • 分析问题

    Zookeeper压力过大原因分析:

    • 写入数据以及频率过高
    • 集群中出现Zookeeper节点挂掉,导致压力过大
  • 解决方案:

    • 在zookeeper中将dataLogDir存放目录应该与dataDir分开,可单独采用一套存储设备来存放ZK日志。
    • 做好zookeeper集群和clickhouse集群的规划,可以多套zookeeper集群服务一套clickhouse集群。保证Zookeeper集群高可用

2、Replica /clickhouse/tables/s1/dwd/xxxx/replicas/dt_fault already exists

  • 异常说明

    删除表 ZK replicas未同步

  • 分析问题

    表的元信息会保存到Zookeeper节点上,删除副本以及本地表后,客户端未显示表,但是Zookeeper中的元信息未同步删除,即会出现异常。

  • 解决方案

    • 删除本地表后等待若干时间(根据经验得大概5分钟),再删除副本(分布式表)
    • 可以登录ClickHouse服务器进行删除

3、数据写入成功,但是数据库并不存在数据

  • 问题说明

    表引擎是MergeTree或者ReplicateMergeTree,所以不存在数据被合并掉。

    order by字段包括四个,并且时间在中间,比如:id,name,time,type

  • 分析问题

    根据Arthas(是一个Java诊断工具,由阿里巴巴中间件团队开源。它在开发人员中被广泛采用和流行。)一些手段查询到方法的入参以及方法栈的执行情况得知,数据确实入库。

    比如同一时刻入参有三条数据进行入库,查询表只有两条数据。

    • 第一种猜测

      数据重复导致ClickHouse对重复数据进行幂等性操作,进而把重复数据删除。或者会被ClickH忽略掉此次insert

      ClickHouse常见问题排查与解决(一) - Java技术债务

      大概意思是说已经有一个一模一样的数据块了。另外ck没有事务概念,但是为了保证重复插入的insert的幂等性,会检测重复,如果重复则跳过。

      本地测验重复数据会部分保留在数据库,部分被删除。

    • 第二种猜测

      怀疑order by排序字段位置不合理

  • 解决方案

    1. 如果想保存重复数据,两种解决办法

      1. 关闭幂等性校验。SET insert_deduplicate=0
      2. 增加一个或者多个冗余字段,保证每条数据不相同
    2. 创建表时,order by字段是必须的,但是合理安排order by字段,时间放在所有字段的后边

      比如:name,code,type,time等。

4、查询时(非MergeTree表引擎),查出多条重复数据

  • 问题说明

    表引擎为:ReplicatedReplacingMergeTree

    select * from A join B A.id=B.id

  • 分析问题

    表引擎ReplacingMergeTree一个特性就是:去重;但是不保证过程的数据一致性,只能保证数据最终的一致性。如果数据出现更新的话,查询的时候可能会查询出来多条重复数据。

  • 解决方案

查询数据时,在表名后边加上关键字final ,保证数据唯一性。

1、Table is in readonly mode (zookeeper path: /clickhouse/tables/iov/t_fault/2)

  • 异常说明

    表示Zookeeper压力过大,表处于只读状态,导致插入失败

  • 分析问题

    Zookeeper压力过大原因分析:

    • 写入数据以及频率过高
    • 集群中出现Zookeeper节点挂掉,导致压力过大
  • 解决方案:

    • 在zookeeper中将dataLogDir存放目录应该与dataDir分开,可单独采用一套存储设备来存放ZK日志。
    • 做好zookeeper集群和clickhouse集群的规划,可以多套zookeeper集群服务一套clickhouse集群。保证Zookeeper集群高可用

2、Replica /clickhouse/tables/s1/dwd/xxxx/replicas/dt_fault already exists

  • 异常说明

    删除表 ZK replicas未同步

  • 分析问题

    表的元信息会保存到Zookeeper节点上,删除副本以及本地表后,客户端未显示表,但是Zookeeper中的元信息未同步删除,即会出现异常。

  • 解决方案

    • 删除本地表后等待若干时间(根据经验得大概5分钟),再删除副本(分布式表)
    • 可以登录ClickHouse服务器进行删除

3、数据写入成功,但是数据库并不存在数据

  • 问题说明

    表引擎是MergeTree或者ReplicateMergeTree,所以不存在数据被合并掉。

    order by字段包括四个,并且时间在中间,比如:id,name,time,type

  • 分析问题

    根据Arthas(是一个Java诊断工具,由阿里巴巴中间件团队开源。它在开发人员中被广泛采用和流行。)一些手段查询到方法的入参以及方法栈的执行情况得知,数据确实入库。

    比如同一时刻入参有三条数据进行入库,查询表只有两条数据。

    • 第一种猜测

      数据重复导致ClickHouse对重复数据进行幂等性操作,进而把重复数据删除。或者会被ClickH忽略掉此次insert

      ClickHouse常见问题排查与解决(一) - Java技术债务

      大概意思是说已经有一个一模一样的数据块了。另外ck没有事务概念,但是为了保证重复插入的insert的幂等性,会检测重复,如果重复则跳过。

      本地测验重复数据会部分保留在数据库,部分被删除。

    • 第二种猜测

      怀疑order by排序字段位置不合理

  • 解决方案

    1. 如果想保存重复数据,两种解决办法

      1. 关闭幂等性校验。SET insert_deduplicate=0
      2. 增加一个或者多个冗余字段,保证每条数据不相同
    2. 创建表时,order by字段是必须的,但是合理安排order by字段,时间放在所有字段的后边

      比如:name,code,type,time等。

4、查询时(非MergeTree表引擎),查出多条重复数据

  • 问题说明

    表引擎为:ReplicatedReplacingMergeTree

    select * from A join B A.id=B.id

  • 分析问题

    表引擎ReplacingMergeTree一个特性就是:去重;但是不保证过程的数据一致性,只能保证数据最终的一致性。如果数据出现更新的话,查询的时候可能会查询出来多条重复数据。

  • 解决方案

查询数据时,在表名后边加上关键字final ,保证数据唯一性。

完
  • 本文作者:Java技术债务
  • 原文链接: https://cuizb.top/myblog/article/1645691702
  • 版权声明: 本博客所有文章除特别声明外,均采用 CC BY 3.0 CN协议进行许可。转载请署名作者且注明文章出处。
阅读全文
Java技术债务

Java技术债务

Java技术债务
Java技术债务
热门文章
  1. ClickHouse使用过程中的一些查询优化(六)2003
  2. MySQL数据库被攻击,被删库勒索,逼迫我使出洪荒之力进行恢复数据764
  3. MySQL主从同步原理458
  4. 线程池的理解以及使用414
  5. Spring Cloud Gateway整合nacos实战(三)409
分类
  • Java
    30篇
  • 设计模式
    27篇
  • 数据库
    20篇
  • Spring
    18篇
  • MySQL
    13篇
  • ClickHouse
    11篇
  • Kubernetes
    10篇
  • Redis
    9篇
  • Docker
    8篇
  • SpringBoot
    7篇
  • JVM
    6篇
  • Linux
    5篇
  • Spring Cloud
    5篇
  • 多线程
    5篇
  • Netty
    4篇
  • Kafka
    4篇
  • 面经
    4篇
  • Nginx
    3篇
  • JUC
    3篇
  • 随笔
    2篇
  • 分布式
    1篇
  • MyBatis
    1篇
  • 报错合集
    1篇
  • 生活记录
    1篇
  • 源码
    1篇
  • 性能优化
    1篇

最新评论

  • MySQL数据库被攻击,被删库勒索,逼迫我使出洪荒之力进行恢复数据2022-05-06
    Java技术债务:@capture 一起探讨学习,服务器被黑很正常,及时做好备份以及做好防护
  • MySQL数据库被攻击,被删库勒索,逼迫我使出洪荒之力进行恢复数据2022-04-13
    capture:我的刚上线两天,网站里就两篇文章也被攻击了,纳闷
  • Java常用集合List、Map、Set介绍以及一些面试问题2022-01-18
    Java技术债务:HashSet和TreeSet 相同点:数据不能重复 不同点: 1、底层存储结构不同; HashSet底层使用HashMap哈希表存储 TreeSet底层使用TreeMap树结构存储 2、唯一性方式不同 HashSet底层使用hashcode()和equal()方法判断 TreeSet底层使用Comparable接口的compareTo判断的 3、HashSet无序,TreeSet有序
  • undefined2021-12-14
    Java技术债务:如果不指定线程池,CompletableFuture会默认使用ForkJoin线程池,如果同一时间出现大量请求的话,会出现线程等待问题,建议使用自定义线程池。。。
  • undefined2021-12-02
    you:很好,对于小白相当不错了,谢谢
  • CSDN
  • 博客园
  • 程序猿DD
  • 纯洁的微笑
  • spring4all
  • 廖雪峰的官方网站
  • 猿天地
  • 泥瓦匠BYSocket
  • crossoverJie
  • 张先森个人博客
  • 越加网

© 2021-2022 Java技术债务 - Java技术债务 版权所有
总访问量 0 次 您是本文第 0 位童鞋
豫ICP备2021034516号
Java技术债务 豫公网安备 51011402000164号

微信公众号

Java技术债务
Java技术债务

专注于Spring,SpringBoot等后端技术探索

以及MySql数据库开发和Netty等后端流行框架学习

日志
分类
标签
RSS

有不足之处也希望各位前辈指出