首页 > V2EX > V2EX-单机 8 核 32G, 用什么技术才可以做单表 20 亿数据的过滤查询?
2022
01-14

V2EX-单机 8 核 32G, 用什么技术才可以做单表 20 亿数据的过滤查询?

cxh116: 需求是抓取 eth 的 block 与 transaction 来分析, transaction 数据 10 亿以上了.
数据存在 pg 数据,大小在 2TB 以上.

目前是使用 postgresql + timescale, transaction 表的 hash 字段加了索引,1 小时返回不了根据 hash 单字段的过滤查询结果.

3 秒左右一个块,一个 block 里有 300 左右个 tx ,也就是每秒写入差不多在 100 条记录.

需要根据 transaction 的 hash , from addr, to addr 查询,简单的 key value.

期望简单查询能在 1 分钟左右出结果.

目前准备尝试的方案是使用 clickhouse 列数据库,但抓取数据的成本太高,且也需要开发,所以先请教一下大佬们,看有没有更好的方案.

from V2EX-最新主题 https://ift.tt/3GEDvtq
V2EX-单机 8 核 32G, 用什么技术才可以做单表 20 亿数据的过滤查询? - 第1张  | 牛C网(NiuL.Net)
牛C网:https://j1o.net
牛C网导航:https://niuc.icu
零九导航:https://09.gay

最后编辑:
作者:分享菌
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。