首页 > V2EX > V2EX-ESL 工具 kettle 导入 MySQL 千万级数据速度快速变慢
2023
01-25

V2EX-ESL 工具 kettle 导入 MySQL 千万级数据速度快速变慢

dollck: 提前声明环境条件:
Windows 11 Kettle Spoon
java version “1.8.0_351”
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
MySQL8.0 (本地)
800MB csv 文件 约 3000 万行数据
表输出线程 x10
使用连接池
提交记录数量 10000
useCompressiontrue
rewriteBatchedStatementstrue
useServerPrepStmtsfalse

问题说明:
使用 Kettle Spoon 向本地 MySQL 服务器导入 CSV 数据。启动转换后发现表输出速度骤降,30s 内从单线程处理速度 9000+降到 100+

尝试措施:
尝试过换成远程数据库,现象相同

from V2EX-最新主题 https://ift.tt/2lWIhkn
福利APP推荐:https://niucnet.notion.site
广告投放:https://t.me/cnxalex
牛C网:https://j1o.net
牛C网导航:https://niuc2.com
福利APP合集:https://j1o.net/share/1678.html
V2EX-ESL 工具 kettle 导入 MySQL 千万级数据速度快速变慢 - 第1张  | 牛C网(NiuL.Net)

最后编辑:
作者:分享菌
这个作者貌似有点懒,什么都没有留下。

留下一个回复