druid数据连接池详解

Druid Nicholas 2018-11-30 881浏览
相关标签: druid

   image.png

1、用前须知

目前公司业务系统的数据源配置使用DBCP和DRUID两种,部分开发对连接的参数理解不是很清晰,对参数的配置没有依据业务系统的实际情况,导致连接等资源浪费。


2、DBCP和DRUID参数对比

DBCP和DRUID常见的配置参数

参数名

DBCP默认参数

DRUID默认参数

说明

name(DRUID独有)

配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。如果没有配置,将会生成一个名字,格式是:"DataSource-" + System.identityHashCode(this). 另外配置此属性至少在1.0.5版本中是不起作用的,强行设置name会出错。详情-点此处

url



连接数据库的url,不同数据库不一样。例如:
mysql : jdbc:mysql://10.20.153.104:3306/druid2
oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto

username



连接数据库的用户名

password



连接数据库的密码。如果你不希望密码直接写在配置文件中,DRUID可以使用ConfigFilter。详细看这里

driverClassName

根据url自动识别

根据url自动识别

这一项可配可不配,如果不配置druid会根据url自动识别dbType,然后选择相应的driverClassName

initialSize

0

0

初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时。建议和minIdle一样

maxActive

8

8

最大连接池数量

maxIdle

8

8(已废弃)

最大等待连接中的数量。超过空闲时间,数据库连接将被标记为不可用,然后被释放。

 druid已经不再使用,配置了也没效果

minIdle

0

0

连接池中最小的空闲的连接数,低于这个数量会被创建新的连接(默认为0,调整为5,该参数越接近maxIdle,性能越好,因为连接的创建和销毁,都是需要消耗资源的;但是不能太大,因为在机器很空闲的时候,也会创建低于minidle个数的连接,类似于jvm参数中的Xmn设置)

最小连接池数量,建议值参见下面的计算公式

maxWait

无限

2000ms

获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。建议配置2000ms

poolPreparedStatements

false

false

是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。

maxPoolPreparedStatementPerConnectionSize(DRUID独有)


-1

要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true。在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100

validationQuery



用来检测连接是否有效的sql,要求是一个查询语句,常用select 'x'。如果validationQuery为null,testOnBorrow、testOnReturn、testWhileIdle都不会起作用。

validationQueryTimeout

-1

-1

单位:秒,检测连接是否有效的超时时间。

testOnBorrow

true

true

申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。建议值:false

testOnReturn

false

false

归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。

testWhileIdle

false

false

建议配置为true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。

removeAbandonedTimeout(或removeAbandonedTimeoutMillis

300(或300*1000)

 300(或300*1000)

处理活跃连接(未关闭),针对连接泄漏、数据库死锁问题。超过时间限制,回收无用的连接(默认为 300秒),removeAbandoned 必须为 true。

数据库连接的状态:关闭、未关闭(活跃)、在执行(这个值执行前后会设置)。还在执行的连接不会被回收。

removeAbandoned

 

true

False

处理活跃连接,针对连接泄漏问题。是否清除已经超过removeAbandonedTimeout设置的无效连接。建议值:true

logAbandoned

false

false

用于连接泄漏场景,关闭abandonded连接时是否输出错误日志。建议值:true

 

keepAlive(仅DRUID有)


false
(1.0.28)

连接池中的minIdle数量以内的连接,空闲时间超过minEvictableIdleTimeMillis,则会执行keepAlive操作。

timeBetweenEvictionRunsMillis

1分钟

1分钟(1.0.14)

1) Destroy线程定时监测的间隔, Destroy线程会检测连接的间隔时间,如果连接空闲时间大于等于minEvictableIdleTimeMillis则关闭物理连接。
2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明

numTestsPerEvictionRun(DBCP独有)

3

不再使用

设定在进行后台对象清理时,每次检查几个链接,建议设置和maxActive一样大或者-1,这样每次可以有效检查所有的链接。DRUID不再使用,一个DruidDataSource只支持一个EvictionRun

minEvictableIdleTimeMillis

30分钟

30分钟

连接保持空闲而不被驱逐的最长时间。建议值:5* timeBetweenEvictionRunsMillis

connectionInitSqls



物理连接初始化的时候执行的sql

 connectionProperties



建立新连接时将发送到JDBC驱动程序的连接属性。

字符串的格式必须为[propertyName = property;] *

注 - “用户”和“密码”属性将被明确传递,因此不需要在此处包含。

其中maxActive、minIdle、minEvictableIdleTimeMillis的配置需要根据业务的特性来配置。不根据实际情况,往大配置,会浪费数据库的资源,甚至影响其他应用。数据库最大连接默认值是100,最大值是16384,我们公司配置的是2000。

 

依据参数:

业务所有机器的平均QPS、峰值QPS、QPS平均RT(单位s,理论上是db的平均执行时间)、平均TPS、峰值TPS、TPS平均RT(单位s),业务机器数。

 

计算公式:

minIdle=(平均QPS* QPS平均RT +平均TPS* TPS平均RT)/业务机器数

maxActive=(峰值QPS* QPS平均RT +峰值TPS* TPS平均RT)/业务机器数

或者maxActive= 容器处理请求的线程池大小 (前提:业务代码中没有另起多线程)

 

以咨询工程为例(咨询之前统计的TPS峰值是1700,一次TPS可能对应多条sql,以下QPS、TPS已经远超过实际值):

平均QPS=1000、峰值QPS=5000、QPS平均RT(单位s)= 0.0039、平均TPS=2000、峰值TPS=8000、TPS平均RT(单位s)=0.002、业务机器数=7

minIdle=(1000*0.0039+2000*0.002)/7=1

maxActive=(5000*0.0039+8000*0.002)/7=6

为了稳妥起见,按两倍(或者三倍)的容量评估,则minIdle配置成2。maxActive配置成12。


3、配置示例

DRUID数据源链接配置参数示例:

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}"/>
        <property name="password" value="${jdbc.password}"/>
        <property name="maxActive" value="${参考计算公式}" />
        <property name="maxWait" value="2000" />
        <property name="logAbandoned" value="true" /> 
        <property name="removeAbandoned" value="true" /> 
        <property name="removeAbandonedTimeout" value="180" />         
        <property name="initialSize" value="5" /> 
        <property name="minIdle" value="${参考计算公式}" />
        <property name="minEvictableIdleTimeMillis" value="${参考计算公式}" />
        <property name="validationQuery" value="SELECT 'x'" />
        <property name="testWhileIdle" value="true" />
        <property name="testOnBorrow" value="false" />
        <property name="testOnReturn" value="false" />
        <property name="poolPreparedStatements" value="true" />
        <property name="connectionInitSqls" value="set names utf8mb4;" />
        <property name="maxPoolPreparedStatementPerConnectionSize" value="20" />
<bean/>


DBCP数据源链接配置参数示例:

<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
       <property name="driverClassName" value=" com.mysql.jdbc.Driver" /><!—可以不配置 –->
       <property name="url" value="${jdbc.url}" />
       <property name="username" value="${jdbc.username}" />
       <property name="password" value="${jdbc.password}" />
       <property name="maxActive" value="${参考计算公式}" />
       <property name="initialSize" value="${和minIdle 一样}" />
       <property name="maxWait"><value>2000</value></property>
       <property name="maxIdle" value="${和maxActive一样}" />
       <property name="minIdle" value="${参考计算公式}" />
       <property name="removeAbandoned"><value>true</value></property>
       <property name="removeAbandonedTimeout"><value>180</value></property>
       <property name="timeBetweenEvictionRunsMillis"><value>60000</value></property>
       <property name="minEvictableIdleTimeMillis"><value>30000</value></property>
       <property name="connectionProperties"><value>useUnicode=true;characterEncoding=utf-8</value></property>
       <property name="testWhileIdle"><value>true</value></property>
       <property name="testOnBorrow"><value>false</value></property>
       <property name="testOnReturn"><value>false</value></property>
       <property name="validationQuery"><value>SELECT @@version</value></property>
       <property name="numTestsPerEvictionRun"><value>-1</value></property>
</bean>


相关标签: druid
相关文章
    0.用前须知 Druid是Java语言中最好的数据库连接池。数据库连接池有很多选择,c3p、dhcp、proxool等,druid作为一名后起之秀,凭借其出色的性能,提供强大的监控和扩展功能。公司建议统一使用druid作为数据库连接池组件。 1. Pom依赖配置 java版本要求:jdk 1.6+ <dependency>     <groupId>com.alibaba</groupId>继续阅读>>
2018-11-30 966浏览 3个赞
    1、用前须知 目前公司业务系统的数据源配置使用DBCP和DRUID两种,部分开发对连接的参数理解不是很清晰,对参数的配置没有依据业务系统的实际情况,导致连接等资源浪费。 2、DBCP和DRUID参数对比 DBCP和DRUID常见的配置参数 参数名 DBCP默认参数 DRUID默认参数 说明 name(DRUID独有) 无 无 配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。如果没有配置,将会生成一个名字,格式是:"DataSou继续阅读>>
2018-11-30 880浏览 3个赞
    依赖druid版本 <dependency>     <groupId>com.alibaba</groupId>     <artifactId>druid</artifactId>     <version>1.0.9</version> </dep继续阅读>>
2018-11-30 328浏览 0个赞
版权声明
本站的文章和资源来自互联网或者站长的原创。如果有侵犯版权的资源请尽快联系站长,我们会在24h内删除有争议的资源。