跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • Clickhouse,你们是怎样防止重复插入数据的呢
未分類
15 4 月 2021

Clickhouse,你们是怎样防止重复插入数据的呢

Clickhouse,你们是怎样防止重复插入数据的呢

資深大佬 : wmhack 0

怎样防止一条 id 相同的数据重复插入进去呢

或者能覆盖旧数据也行

大佬有話說 (9)

  • 資深大佬 : yuanmomo

    唯一键

  • 主 資深大佬 : wmhack

    @yuanmomo 查了一下 clickhouse 手册,没有唯一键的语句额,方便说一下吗

  • 資深大佬 : Evrins

    Replacemergingtree

  • 資深大佬 : yuanmomo

    @wmhack 不好意思,我不知道 clickhouse 是 olap 的数据库,我当成了一个应用。

    看看看这里吧

    https://github.com/ClickHouse/ClickHouse/issues/3386

  • 資深大佬 : Leviathann

    @wmhack replace merging tree 会把 order by 的键作为唯一键,异步把相同唯一键的数据合并

  • 資深大佬 : xx19941215

    club house 一眼看成这个

  • 資深大佬 : iluckypig

    ReplacingMergeTree,原理就是 merge 的时候会把 order by 键相同的数据覆盖掉,https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replacingmergetree/

  • 資深大佬 : RangerWolf

    上面的 replace merge tree 我觉得都没法达到主想要的效果。两个很大的问题:
    1. 及时性,经常会出现重复数据。因为是异步更新( final 性能很低)
    2. 性能,merge 的性能极低

  • 主 資深大佬 : wmhack

    @RangerWolf 确实是的,我试了一下 replace merge,延迟更新确实挺难受的

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具