beeline执行hql报“Too many connections”问题解决

出现问题：使用Hive Beeline执行hql语句时，经常报“Too many connections”错误。

经检查，一般会出现该问题的主是3种问题：MySQL配置问题、HiveServer2配置问题、haproxy配置问题。

下面主要介绍下三种问题的解决方案。

MySQL配置问题

可能原因：

1. 同时执行的hql语句过多，hive使用的元数据库使用的MySQL配置连接数不足
2. 有大量MySQL连接未释放
3. 执行的查询语句太复杂，查询元数据超时（可能性最小）

解决

1. /etc/my.cnf 文件

   1 2 3 4 5 6 7 8

   # 增加以下内容 [mysqld] # 最大连接数 max_connections=1000 # 非交互式连接（客户端）最大空闲时长（s） interactive_timeout=1800 # 交互式连接（jdbc）最大空闲时长（s） wait_timeout=1800

2. 重启MySQL服务

   1	systemctl restart mysqld

mysql连接状态相关查询语句

1. 查看mysql连接情况

   1	show processlist;

2. mysql长连接默认检测时间

   1 2	show variables like 'wait_timeout'; show variables like 'interactive_timeout';

HiveServer2配置问题

可能原因：

1. hive允许的连接数过少
2. 在运行的hive连接过多且不释放

解决

• 如果是hive连接过多且不释放，需要针对单个作业进行分析或直接kill掉占用过多的作业；
• 如果是hive允许的连接数过少，可以修改HiveServer2的配置，增加连接数，_但该需要根据实际情况去配置，一味增加最大线程数可以会加大服务器压力_，但实际上并没有解决问题。

以下为HS2的修改：

1. 修改并保存 hive-site.xml，或在CM中找到HS2设置修改

   1 2 3 4 5

   <property> <name>hive.server2.thrift.max.worker.threads</name> <value>600</value> <description>Maximum number of Thrift worker threads</description> </property>

2. 重启HS2

   1 2 3 4 5 6 7 8

   # 停止 hive --service hiveserver2 --stop # 验证启停 jps # 启动 hive --service hiveserver2 --start

haproxy配置问题

可能原因：
使用HA连接hive，HA的配置最大连接数过少、等待时间过短导致

解决

1. 在 /etc/haproxy/haproxy.cfg 新增或修改（根据实际修改）

   1 2 3 4 5 6 7 8 9

   defaults timeout http-request 1m #默认http请求超时时间 timeout queue 10m #默认队列超时时间 timeout connect 10m #默认连接超时时间 timeout client 10m #默认客户端超时时间 timeout server 10m #默认服务器超时时间 timeout http-keep-alive 30s #默认持久连接超时时间 timeout check 1m #设置超时检查超时时间 maxconn 3000 #设置最大连接数

2. 重启 haproxy

   1	systemctl restart haproxy