当前位置: 首页 > news >正文

合肥网站制作哪家好东莞网站建设市场

合肥网站制作哪家好,东莞网站建设市场,小学校园文化建设网站,广州设计公司前十名Mybatis的流式查询 摘要: 介绍使用mybatis流式查询解决大数据量查询问题. 1 业务背景 开发中遇到一个业务,说起来也很无奈:公司用的数据库MySQL,一张表里只保留了一个月的数据,但是数据量竟然高达2000W还要多,然后用户有个需求也很恶心,为了完成这个业务我需要定时任务每一个月…

Mybatis的流式查询

摘要:

介绍使用mybatis流式查询解决大数据量查询问题.

1 业务背景

开发中遇到一个业务,说起来也很无奈:公司用的数据库MySQL,一张表里只保留了一个月的数据,但是数据量竟然高达2000W还要多,然后用户有个需求也很恶心,为了完成这个业务我需要定时任务每一个月跑一次,每次取出上一个月的历史数据,做一次计算,将需求所需要的结果数据保存到另一张表里.那么问题就是我不得不一次性去出这两千多万条数据去计算.

2 分析

既然要从MySQL里面取出这2000多万的数据,那普通的查询肯定不行了,一次性查出来先不说速度慢得问题,光内存估计就会塞爆掉.

分批查询呢? 我之前有写过一篇超300W数据的导入导出的文章,里面介绍了关于使用SQL的批处理加上事务控制以及分批读取的方式解决的,但是这个就不适用于这种业务场景,因为数据量实在太大了

如果分批读取每次查询20万你需要一百多次的查询才能将数据读出来,先不收内存够不够用,时间上就已经浪费很长时间了.

那么分析到这里,我要解决的主要问题其实就两个:

1 内存不要爆掉;

2 时间不能慢,定时任务每个月执行一次,最慢一次处理(查询,数据处理,入库等操作)要保持在15分钟以内)

3 解决方式

这里经过分析和查阅资料我找到了两种解决思路:

1 开线程查询每个线程处理一定量的数据;

2 使用游标查询;

3 使用流式查询;

首先第一种解决方案其实就是普通的分批查询只不过换成了并行方案,我们可以在SQL中使用limit 关键字,然后配合线程池以及CountDownLatch使用,处理结果最终合并每条线成的结果,

​ 优点: 速度比单线程快,如果配合SQL的批处理这样速度不会慢.

​ 缺点: 开销大,对数据库的压力和服务器配置的要求比较高,然后还有就是2000W还要多的数据线程数开多少合适呢?开的少了,效果不明显,开的多了可能会造成MySQL的连接数占满,导致其他查询操作阻塞.

其次第二种解决方案这种其实就是使用fetchSize控制一次读取的条数;这种方式其实也很快

​ 优点:游标查询可以避免内存溢出的问题,主要原因会使用临时空间存储数据。

​ 缺点:1 存在大两IO读取写入操作,在此过程中可能会引起其他业务的写入抖动;

​ 2 磁盘空间会飙升,如果临时空间写入的表数据非常大,可能会导致磁盘空间被打满,正常情况下临时空间的数据会在读取结束或者客户端发器关闭对ResultSet操作的时候被MySQL回收。

​ 3 客户端查询会有很长的等待时间,等待SQL响应;这个时间段内主要是MySQL在准备临时空间数据;

​ 4 当临时空间数据准备完成之后,SQL开始响应,这时IO就可以从写入转变为读取,这时候网络响应也会开始飙升,客户端发生抖动。

最后第三种解决方案 这种流式查询,MySQL会将结果通过输出流进行结果的输出,就是向本地内核的缓存区(socket buffer)输出数据,再通过TCP链路传输将数据传送给JDBC对应的内核缓存区。

​ 优点:速度快,不会内存溢出;

​ 缺点:1 开启流式查询每次只能读取一行数据(注意:所以在我们处理数据的时候要尽量快,这样效率才会更高)

​ 2 如果MySQL 服务一直向JDBC 对应的缓冲区输送数据,如果客户端Socket缓冲区满了就会导致MySQL服务阻塞;

​ 3 相对游标流式查询对数据库的影响时间会更长一些;

​ 4 高度依赖网络,流式查询数据量超大,处理业务复杂的情况下会有更大的概率导致网络阻塞。

​ 5 Java会不断进行GC,数据量较大会可能会抛出GC次数过多的异常,导致业务异常停止。(使用MyBatis操作可能会出现这种情况)

4 Mybatis-plus流式查询代码示例

Service 层 和 Mapper层 代码示例如下

    @Override@Transactional(rollbackFor = Exception.class)public void highFactorCalculation(String startTime, String endTime) {radarFactorDataMapper.selectDataByStream(result -> {// coding ...}, startTime, endTime);// coding ...}
	 /*** 流式获取指定时间内的数据** @param startTime 开始时间* @param endTime   结束时间*/@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)@ResultType(Pojo.class)void selectDataByStream(ResultHandler<Pojo> handler, @Param("startTime") String startTime, @Param("endTime") String endTime);
http://www.15wanjia.com/news/4659.html

相关文章:

  • 电子商务大型网站建设佛山百度seo点击软件
  • 网站开发使用软件环境硬件环境网络广告推广公司
  • 用手机怎样免费做网站重庆seowhy整站优化
  • 海洋高端的专业做网站seo资讯推推蛙
  • 深圳装修公司报价郑州百度seo排名公司
  • 电脑做ppt一般下载哪个网站好企业网站设计价格
  • 直播网站建设模板免费的短视频app大全下载
  • 相机网站建设策划书网络营销策划书论文
  • 全网最低价业务网站济南网络优化厂家
  • 网页美工设计第一步需要做什么seo搜索方法
  • 品牌建设 开鲁网站seo免费版
  • 任县网站制作独立站
  • dedecms模板 中医院网站全套模板营销工具
  • 公司网站建设规划网络推广怎么找客户
  • 深圳做网站做得比较好的公司市场营销的八个理论
  • 为什么需要响应式网站杭州网站优化服务
  • 美食网站联系我们怎么做企业网站seo贵不贵
  • 免费做网站教程关键词首页排名优化价格
  • 东莞商城网站开发郑州网站建设推广
  • 电商网站制作流程百度入驻商家
  • b站推广网站400今日重庆重要消息
  • 免费网站模板的制作方法广东企业网站seo哪里好
  • ssh做的大型网站线上招生引流推广方法
  • 赣州网站设计表白网站制作
  • 网站后面的官网是如何做的seo专家招聘
  • 企业网站 论文今天特大军事新闻
  • 外贸做网站的好处网络营销策划书ppt
  • 张槎建网站服务bt蚂蚁
  • 济南市网站建设百度快照优化的优势是什么
  • 重庆seo网站策划官方百度下载安装