问：现有一千万条的数据，如何高效的实现快速的增量数据抽取？

FineReport 数字化转型的学习者和实践者 发布于 2023-1-31 20:39

回答问题关注问题

悬赏：3 F币 + 添加悬赏

提示：增加悬赏、完善问题、追问等操作，可使您的问题被置顶，并向所有关注者发送通知

共1回答

最佳回答

CD20160914Lv8专家互助
发布于2023-1-31 20:48（编辑于 2023-1-31 20:55）

mysql的话，在数据连接中配置一下这三个参数

其它的数据库一般不用配置，这个就要看数据库服务器配置与kettle的服务器硬件配置的配置了

,1000万条，如果服务器够好的话正常的话15-30分钟

useServerPrepStmts=false

rewriteBatchedStatements=true

useCompression=true

举报收起评论(6)

数字化转型的学习者和实践者(提问者) 多问一句：这三个数据分别是什么意思？

2023-01-31 20:53

CD20160914 回复数字化转型的学习者和实践者(提问者) 看上面截图。和那个链接里面有说明的。

2023-01-31 20:55

数字化转型的学习者和实践者(提问者) 回复 CD20160914 谢谢

2023-01-31 21:02

数字化转型的学习者和实践者(提问者) 转换就用表输入，表输出两个组件就可以了吗？

2023-01-31 21:05

CD20160914 回复数字化转型的学习者和实践者(提问者) 是的。

2023-01-31 21:06

还有1条评论点击查看

2关注人数

316浏览人数

最后回答于：2023-1-31 20:55

活动推荐更多

热门课程更多

确定取消