百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 优雅编程 > 正文

监控druid数据库连接池连接泄露的思路

sinye56 2024-09-29 22:12 10 浏览 0 评论

背景介绍

在【使用arthas一步步分析druid连接池Bug】中介绍了druid 1.2.18之前的版本存在连接泄露的风险,同时为了发现新版本可能存在的连接泄露风险,需要能够及时发现连接泄露的问题,下面介绍一下解决思路。

解决思路

这里的连接泄露是指【使用arthas一步步分析druid连接池Bug】中由于druid bug导致没有关闭连接的场景。
主要思路如下:

  1. 获取DruidDataSource实例当前管理的连接数量
  2. 获取DruidDataSource实例对应数据库实例的网络连接数量
  3. 将【1】【2】数据监控起来,并设置报警规则:当【2】-【1】>【阈值】的时候报警出来。

获取DruidDataSource实例管理的连接数量

我们通过自定义实现DruidDataSourceStatLogger的方式获取连接池的数据。

public class DruidDataSourceMetricsLogger extends DruidDataSourceStatLoggerAdapter implements DruidDataSourceStatLogger {
	@Override
    public void log(DruidDataSourceStatValue statValue) {
        int activeCount = statValue.getActiveCount();
        int poolingCount = statValue.getPoolingCount();
    }
}

使用连接池中活跃连接的数量和连接池中pooling的连接数量,作为需要监控的连接数量。

获取DruidDataSource对应数据库实例的网络连接数量

继续完善DruidDataSourceMetricsLogger中的逻辑,思路如下:

  1. 通过jdbcUrl解析出数据库IP和端口
  2. 通过数据库IP和端口查询出网络连接数量

通过jdbcUrl解析出数据库IP和端口

@Override
public void log(DruidDataSourceStatValue statValue) {
	... ...
	List<String> addresses = parse(statValue.getUrl());
}

private static List<String> parse(String url){
    List<String> ret = new LinkedList<>();
    int pos = url.indexOf('?');
    if (pos != -1) {
        url = url.substring(0, pos);
    }
    url = url.substring("jdbc:".length());
    pos = url.indexOf(":");
    String dbType = url.substring(0,pos);
    url = url.substring(pos);
    if(ORACLE.equals(dbType)){
        url = url.substring(7);
    }else {
        url = url.substring(3);
    }
    int slash = url.indexOf('/');
    url = url.substring(0, slash);

    String[] addresses = url.split(",");
    StringBuilder grep = new StringBuilder();
    for (String address : addresses) {
        String host = "127.0.0.1";
        String port = null;
        int portIdx = address.lastIndexOf(':');
        if (portIdx != -1 && address.lastIndexOf(']') < portIdx) {
            host = address.substring(0, portIdx);
            port = address.substring(portIdx + 1);
        }
        if(port == null){
            if(MYSQL.equals(dbType)){
                port = "3306";
            }else if(ORACLE.equals(dbType)){
                port = "1521";
            }
        }
        boolean valid = isValidAddress(host);
        if(!valid){
            try{
                host = InetAddress.getByName(host).getHostAddress();
                valid = true;
            }catch (Exception e){
            }
        }
        if(!valid){
            ret.clear();
            break;
        }
        ret.add(host + ":" + port);
    }
    return ret;
}

通过数据库IP和端口查询出网络连接数量

@Override
public void log(DruidDataSourceStatValue statValue) {
	... ...
	List<String> addresses = parse(statValue.getUrl());
	int netCount = netCount(addresses);
}
private int netCount(List<String> addresses){
    if(addresses.isEmpty()){
        return 0;
    }
    StringBuilder filter = new StringBuilder();
    for(String address : addresses){
        if(filter.length() == 0){
            filter.append("dst ").append(address);
        }else {
            filter.append(" or dst ").append(address);
        }
    }

    String cmd = "ss -ant state established " + filter;
    List<String> ret = runNative(cmd);
    return (ret.size() == 0) ? 0 : (ret.size() - 1);
}
public static List<String> runNative(String cmdToRunWithArgs) {
    Process p;
    try {
        p = Runtime.getRuntime().exec(cmdToRunWithArgs);
    }  catch (Exception e) {
        return new ArrayList<>(0);
    }

    ArrayList<String> sa = new ArrayList<>();
    BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
    try {
        String line;
        while ((line = reader.readLine()) != null) {
            sa.add(line);
        }
        p.waitFor();
    } catch (Exception ie) {
        return new ArrayList<>(0);
    } finally {
        try {
            reader.close();
        } catch (Exception e) {
        }
    }
    return sa;
}

将数据监控起来

通过上面已经获取到了需要监控的数据,收集监控数据的方式根据使用的监控系统不同而不同,我们是把监控指标数据存入文件,监控agent再将数据指标采集走。

public class DruidDataSourceMetricsLogger extends DruidDataSourceStatLoggerAdapter implements DruidDataSourceStatLogger {
    private final static Logger logger = LoggerFactory.getLogger("profile");
    private final static String ORACLE = "oracle";
    private final static String MYSQL = "mysql";
	@Override
    public void log(DruidDataSourceStatValue statValue) {
        int activeCount = statValue.getActiveCount();
        int poolingCount = statValue.getPoolingCount();
        List<String> addresses = parse(statValue.getUrl());
		int netCount = netCount(addresses);
        logger.info("{}|{}|{}",activeCount,poolingCount,netCount);
    }
}

使用方法

最后需要将上面的类配置到Spring容器中,步骤如下:

第一步

配置Druid指标Logger,在Spring中添加如下配置:

<bean id="druidDataSourceMetricsLogger" class="DruidDataSourceMetricsLogger"/>

第二步

在需要监控的DruidDatasource配置中添加如下配置:

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
  	... ...
    <property name="timeBetweenLogStatsMillis" value="60000" />
  	<property name="statLogger" ref="druidDataSourceMetricsLogger" />
  	... ...
</bean>

总结

通过druid logger的方式获取druid指标,通过jdbcUrl最终获取到与数据库的网络连接数量,将以上指标数据放入监控系统并通过配置报警来及时发现连接泄露的问题。
注:由于网络连接是通过jdbcUrl中IP获取的,对于不仅仅是通过jdbcUrl中IP创建的网络连接是统计不十分准确。

相关推荐

程序员:JDK的安装与配置(完整版)_jdk的安装方法

对于Java程序员来说,jdk是必不陌生的一个词。但怎么安装配置jdk,对新手来说确实头疼的一件事情。我这里以jdk10为例,详细的说明讲解了jdk的安装和配置,如果有不明白的小伙伴可以评论区留言哦下...

Linux中安装jdk并配置环境变量_linux jdk安装教程及环境变量配置

一、通过连接工具登录到Linux(我这里使用的Centos7.6版本)服务器连接工具有很多我就不一一介绍了今天使用比较常用的XShell工具登录成功如下:二、上传jdk安装包到Linux服务器jdk...

麒麟系统安装JAVA JDK教程_麒麟系统配置jdk

检查检查系统是否自带java在麒麟系统桌面空白处,右键“在终端打开”,打开shell对话框输入:java–version查看是否自带java及版本如图所示,系统自带OpenJDK,要先卸载自带JDK...

学习笔记-Linux JDK - 安装&amp;配置

前提条件#检查是否存在JDKrpm-qa|grepjava#删除现存JDKyum-yremovejava*安装OracleJDK不分系统#进入安装文件目...

Linux新手入门系列:Linux下jdk安装配置

本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来,内容主要包括Linux入门的一些理论概念知识、Web程序、mysql数据库的简单安装部署,希望能够帮到一些初学者,少走一些弯路。注意:L...

测试员必备:Linux下安装JDK 1.8你必须知道的那些事

1.简介在Oracle收购Sun后,Java的一系列产品就被整合到Oracle官网中,打开官网乍眼一看也不知道去哪里下载,还得一个一个的摸索尝试,而且网上大多数都是一些Oracle收购Sun前,或者就...

Linux 下安装JDK17_linux 安装jdk1.8 yum

一、安装环境操作系统:JDK版本:17二、安装步骤第一步:下载安装包下载Linux环境下的jdk1.8,请去官网(https://www.oracle.com/java/technologies/do...

在Ubuntu系统中安装JDK 17并配置环境变量教程

在Ubuntu系统上安装JDK17并配置环境变量是Java开发环境搭建的重要步骤。JDK17是Oracle提供的长期支持版本,广泛用于开发Java应用程序。以下是详细的步骤,帮助你在Ubuntu系...

如何在 Linux 上安装 Java_linux安装java的步骤

在桌面上拥抱Java应用程序,然后在所有桌面上运行它们。--SethKenlon(作者)无论你运行的是哪种操作系统,通常都有几种安装应用程序的方法。有时你可能会在应用程序商店中找到一个应用程序...

Windows和Linux环境下的JDK安装教程

JavaDevelopmentKit(简称JDK),是Java开发的核心工具包,提供了Java应用程序的编译、运行和开发所需的各类工具和类库。它包括了JRE(JavaRuntimeEnviro...

linux安装jdk_linux安装jdk软连接

JDK是啥就不用多介绍了哈,外行的人也不会进来看我的博文。依然记得读大学那会,第一次实验课就是在机房安装jdk,编写HelloWorld程序。时光飞逝啊,一下过了十多年了,挣了不少钱,买了跑车,娶了富...

linux安装jdk,全局配置,不同用户不同jdk

jdk1.8安装包链接:https://pan.baidu.com/s/14qBrh6ZpLK04QS8ogCepwg提取码:09zs上传文件解压tar-zxvfjdk-8u152-linux-...

运维大神教你在linux下安装jdk8_linux安装jdk1.7

1.到官网下载适合自己机器的版本。楼主下载的是jdk-8u66-linux-i586.tar.gzhttp://www.oracle.com/technetwork/java/javase/downl...

window和linux安装JDK1.8_linux 安装jdk1.8.tar

Windows安装JDK1.8的步骤:步骤1:下载JDK打开浏览器,找到JDK下载页面https://d.injdk.cn/download/oraclejdk/8在页面中找到并点击“下载...

最全的linux下安装JavaJDK的教程(图文详解)不会安装你来打我?

默认已经有了linux服务器,且有root账号首先检查一下是否已经安装过java的jdk任意位置输入命令:whichjava像我这个已经安装过了,就会提示在哪个位置,你的肯定是找不到。一般我们在...

取消回复欢迎 发表评论: