当前位置：网站首页 > 优雅编程 > 正文

FineReport大数据量性能优化（finereport数据量过大触发保护机制）

sinye56 2024-10-04 11:02 6 浏览 0 评论

业务场景

天然气月用气量分析报表
展示一年内，每个月的用户数量及用气量变化
根据表具类型、客户类型分组

场景难点

2分钟（因营收正式库的查询限制，必须在2分钟进程中断前查询出所有数据）
无法使用sql分页（报表需求限制，查询出的数据必须在2行内查询并汇总展示出来）
亿级的数据量（主要取数表格，气量表数据量为85648253条）

处理思路

拆分单表（尽量把在营收数据库里直接运行的sql调整成单表语句，然后在报表展示时再做关联匹配，优化查询速度）
根据分析拆出用户表、用气表（其中用户表因分组需要，实际需要进行关联查询，但实测已不影响查询速度）

增加筛选条件减少数据范围（如数据分机表、物联网表分开取数）
单表再根据时间段进行拆分（气量表通过条件筛选后仍无法在进程杀死前查出数据，因此进一步根据时间段进行拆分）

报表组装

相关数据在报表里进行进一步处理（如用户数量采用求和计算）
按报表格式配置各各参数（根据用户类型进行分组、更加月份进行取数）

多库协查

原因（物联网表的大数据量使得即使时间段减成一个月，仍无法在两分钟内查出数据。这时数据再细化成10天，已经严重影响表报效率了）
物联网数据有可快速响应的clickhouse数据库供选择（千万级的数据在clickhouse 里响应数据也是秒级的）

如下图一年的数据查询执行时间为578ms

在物联网数据统计页面同时配置了oracle和clickhouse数据库。
通过结合clickhouse数据库，整体报表的打开时间为3秒左右。

抽取缓存配置

配置抽取缓存时间（膜表），通过缓存定时抽取配置，膜表的查询数据可以优化到20秒左右。

oracle大数据查询优化

相关推荐

linux安装FTP: 1、在nkftp目录下安装ftp，进入到nkftp里面[root@localhostbin]#cd/data/nkftp执行安装命令：[root@localhostnkftp]#rpm-i...

LINUX下搭建FTP服务器: FTP服务器介绍FTP是FileTransferProtocol（文件传输协议）的英文简称，而中文简称为“文传协议”。用于Internet上的控制文件的双向传输。同时，它也是一个应用程序（App...

Linux下如何进行FTP设置: 目录：一、Redhat/CentOS安装vsftp软件二、Ubuntu/Debian安装vsftp软件一、Redhat/CentOS安装vsftp软件1.更新yum源yumupdate-y2.安...

推荐使用集串口 SSH远程登录和FTP传输三合一工具MobaXterm: 来源：百问网作者：韦东山本文字数：1216，阅读时长：4分钟在以前的资料里，串口和SSH远程登使用SecureCRT，window与ubuntu数据传输使用filezilla，窗口切换来切换去，麻烦也...

如何搭建FTP服务器(Linux系统): 上次说了Windows操作系统下搭建的FTP服务器，那有朋友问我，说买的XX轻量应用服务器都是属于Linux的操作系统，我该如何为搭建FTP服务器呢？...

Linux 命令 ncftp(文件传输)——想玩转linux就请一直看下去: 我是IT悟道，点击右上方“关注”，每天分享IT、科技、数码方面的干货。Linuxncftp命令...

如何用 ftp 实现一键上传: 简介ftp是Internet标准文件传输协议的用户界面，它允许用户与远程网络站点之间传输文件...

Linux安装ftp: 1安装vsftpd组件安装完后，有/etc/vsftpd/vsftpd.conf文件，是vsftp的配置文件。[root@bogon~]#yum-yinstallvsftpd2添加一个...

一天一点点:linux - ftp命令: linuxftp命令设置文件系统相关功能。FTP是ARPANet的标准文件传输协议，该网络就是现今Internet的前身。语法ftp[-dignv][主机名称或IP地址]参数：-d详细显示指令执...

Centos 7 搭建FTP: 目录安装软件以及启动服务添加防火墙规则关闭selinuxftp配置常用常用参数详解特殊参数配置文件没有的参数也可以添加到配置中1.安装软件以及启动服务yuminstall-yvsftpdsys...

【Linux】Linux中ftp命令，没有你想的那么简单: 本文介绍了Linux中FTP命令的基本用法，包括连接与登录远程服务器，以及解析了FTP协议中五个最常用的操作命令的使用和解析过程。同时，提供了一个包含常用FTP操作命令的表格，供读者参考。通过熟练掌握...

linux 命令行操作ftp: 以下是linuxftp命令参数的详解。FTP>!从ftp子系统退出到外壳?FTP>?显示ftp命令说明??和help相同?格式:?[command]说明:[com...

多学习才能多赚钱之:linux如何使用ftp: linux如何使用ftp步骤1:建立FTP连接想要连接FTP服务器，在命令上中先输入ftp然后空格跟上FTP服务器的域名'domain.com'或者IP地址例如:ftpdom...

linux常用网络操作方法:ftp命令使用方法: 常用网络操作方法Linux提供了一组强有力的网络命令来为用户服务，这些工具能够帮助用户登录到远程计算机上、传输文件和执行远程命令等。本节介绍下列几个常用的有关网络操作的命令：ftp传输文件tel...

Linux 5.15有望合并Memory Folios方案内核构建速度可提升7%: 甲骨文公司的长期内核开发人员MatthewWilcox已经研究了“内存对开区”概念相当长的一段时间，这可以改善Linux的内存管理，使其具有更大的效率。例如，使用内存对开的基准测试表明，内核的构建速...

取消回复欢迎你发表评论:

一周热门

最近发表

首页
收录
顶部