小白不白(提问者) 都是同样的过滤条件；就是现在明确数据不会变了，我现在手动执行是11条；但是明天早上自动执行的结果又会变成10条，感觉kettle有点bug，但是又不得不用这个kettle，不知道咋优化，数据量很大，有200W条数据，看deepseek说可能是批量插入的问题

回复

2025-06-11 11:30 

取消 回复

华莉星宸 回复 小白不白(提问者) 这最基本的插入 应该不是bug
你插入是不是用了主键更新？你可以新建一个表 直接插入进去 看看是不是源数据在晚上发生了变化

回复

2025-06-11 11:33 

取消 回复

小白不白(提问者) 回复 华莉星宸 主键更新，是说数据库表那里设置了主键？还是kettle？kettle可以设置主键更新吗

回复

2025-06-11 11:35 

取消 回复

小白不白(提问者) 回复 华莉星宸 请问你们kettle的服务器一般运行内存是多少G，总是报JVM不足，感觉是这个原因导致的困顿然后数据传输不完整

回复

2025-06-11 13:36 

取消 回复

华莉星宸 回复 小白不白(提问者) 你就几行数据 应该不会内存不足吧~
可以适当增加内存试试https://blog.csdn.net/Dreamy_zsy/article/details/108759508

回复

2025-06-11 13:56 

取消 回复

还有1条评论 点击查看

评论

小白不白(提问者) 对的，就是晚上一直有很多job并行执行；还有就是kettle和FineReport工程部署在同一个服务器了，资源占用有时候不及时重启都得70%多了，Windows提示JVM不足，所以夜间的时候感觉有这种可能，1,就是这么调整过的

回复

2025-06-11 14:03 

取消 回复

Scyalcire 回复 小白不白(提问者) 调整job的执行时间，每个都尽量错开，然后其他job避免全量更新

回复

2025-06-11 14:14 

取消 回复

小白不白(提问者) 回复 Scyalcire 全量更新 资源会更吃紧吗？但是我发现不论是增量更新，还是全量更新的时间 一个百万级别的表都得要25分钟左右

回复

2025-06-11 15:49 

取消 回复

Scyalcire 回复 小白不白(提问者) 增量更新通常比全量更新更节省系统资源‌，数据量小，10万以内，选择全量，百万级的，肯定选择增量

回复

2025-06-11 15:57 

取消 回复

小白不白(提问者) 回复 Scyalcire 好的 蟹蟹~ 我去优化优化，主要job太多，都错不开了，FR和kettle又部署在一台服务器上，FR晚上没人用，但是光开在那的资源占用率都挺高的，所以考虑是不是要把FR和kettle分开，不然JVM就是会不足

回复

2025-06-11 16:03 

取消 回复