帆软Report超大数据量（百万级）如何做缓存（存在数据集参数）

目前写sql从数据表抽取数据发现速度过慢，因为表中存在百万级数据量，导致看板查询速度过慢，如何做优化呢？（存在数据集参数）

FineReport Henry.99 发布于 2025-3-18 19:01

1min目标场景问卷

立即参与

回答问题关注问题

悬赏：3 F币 + 添加悬赏

提示：增加悬赏、完善问题、追问等操作，可使您的问题被置顶，并向所有关注者发送通知

共2回答

最佳回答

CD20160914Lv8专家互助
发布于2025-3-18 19:08（编辑于 2025-3-18 19:31）

找一个开源工具，比如kettle，做增量更新，比如10分钟或者5分钟更新一次吧，这么大的量，肯定要增量更新，按日期或者主键ID来更新，抽取过来后，你就做数据处理了。。

kettle篇：增量更新_kettle增量更新数据-CSDN博客

再用工具kettle把它弄成右边那样汇总一下呀！！这样数据行减少了N倍，查询怎么都快！

领导一般肯定看汇总，业务一般要明细。如果是真正的明细，那么你的数据库要增加索引！！而且前端的时候要做真正的分页，不是现在默认的那个行后分页！！！通过在数据集写序号后，然后前端改造一下传参数，这样去分页！

举报收起评论(5)

Henry.99(提问者) 你好，我的问题意思是，表已经存在了很多数据，我写SQL已经查询的很慢了，Kettle不是做数据更新的吗？跟查询没有什么关系吧

2025-03-18 19:12

CD20160914 回复 Henry.99(提问者) 表中很多数据的话，你看报表是看汇总，那么直接再做一个数据同步处理，只要汇总呀！！比如200万行的数据，按维度汇总后，可能只有10000行了，这个是结果表，那么查询肯定就快呀！而不是在前端直接查询几百万或者上千万的明细表汇总，那么加上索引也不一定快！！

2025-03-18 19:14