MySQL 运维实战课
张新铭(俊达)
云掣科技资深数据库专家,前淘宝网、支付宝数据库专家
647 人已学习
新⼈⾸单¥59
MySQL 运维实战课
15
15
1.0x
00:00/00:00
登录|注册

08|程序访问数据库内存溢出怎么解决?

你好,我是俊达。
不知道你平时使用各种语言编写程序访问数据库的时候,有没有遇到过内存方面的问题,确切地讲,是应用程序访问数据库时,消耗了大量的内存,甚至导致整个服务器的内存都耗尽了。
作为一名数据库的用户,我原先也写过一些简单的程序,用来同步数据。代码的核心逻辑很简单,就是到源库执行 SELECT 语句查询数据,每次读取一行数据,然后到目标库执行 INSERT 写入数据,就像下面这段简单的 Python 代码所展示的。
import MySQLdb
def copy_table(src_conn, dest_conn):
sql_select = 'select * from src_tab'
sql_insert = "insert into dest_tab values(%s,%s,%s)"
cur = src_conn.cursor()
cur.execute(sql_select)
row = cur.fetchone()
while row:
insert_row(dest_conn, sql_insert, row)
row = cur.fetchone()
def insert_row(dbconn, sql, data):
cur = dbconn.cursor()
cur.execute(sql, data)
dbconn.commit()
if __name__ == '__main__':
src_conn = MySQLdb.connect(host='src_host', port=3306, user='user_01', passwd='somepass', db='src_db');
dest_conn = MySQLdb.connect(host='dest_host', port=3306, user='user_01', passwd='somepass', db='dest_db');
copy_table(src_conn,dest_conn )
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 内存分析工具MAT(Memory Analyzer Tool)用于分析Java程序的内存使用情况,包括对象数量、占用空间、引用关系和属性值。 2. 通过Heapdump文件分析,可以定位到内存占用最高的对象,查看对象属性和引用,以及分析线程的调用栈,从而定位具体的SQL语句和参数。 3. SQL引擎在执行SELECT语句时,持续从存储引擎中获取数据,每读取到一行记录就将其通过网络发送给客户端,直到所有数据查询完成。 4. MySQL客户端和服务端之间的交互遵循一定的协议,对于查询语句,客户端发送的请求包格式大致上由命令类型和具体的协议数据组成。 5. SQL引擎的核心是一个大的循环,根据执行计划中的步骤,从表或索引中获取数据,每次调用存储引擎接口最多只获取一行记录。 6. 存储引擎获取到记录后,进行必要的格式转换后,将记录写到SQL引擎提供的临时内存中。 7. MySQL的客户端驱动获取数据时,有两种不同的方式:一种是将所有的记录缓存在本地内存中,另一种是采用流式处理,一次只读取一行记录。 8. 客户端TCP接收窗口大小为0时,服务端发送数据时会被阻塞,超时时间由net_write_timeout参数设置。 9. 在处理结果集时,默认行为是将数据全部加载到内存中,但当结果集太大时可能导致客户端内存溢出,可以采用流式处理,一次只读取一行记录。 10. 对于Java程序,可以使用Heapdump分析,找到返回大量数据的SQL,并在业务上进行分析,考虑是否需要查询这么多数据或改写SQL为分页方式。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《MySQL 运维实战课》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部