CWIKIUS
  • 首页
  • 计算科学
  • 房地产
  • 文化旅游
  • 项目和网站
    • OSSEZ 计算技术
    • USRealEstate 社区
    • 地区文化
    • CWIKI.US
    • BUG.OSSEZ.COM
    • RSS.OSSEZ.COM
CWIKIUS.CN
一个有独立思考和温度的清新站
  1. Home
  2. Computer Science
  3. This article

Spring Batch 中的 chunk

2022年10月20日 118Browse 0Like 0Comments

我们都知道 Spring Batch 有 2 种任务方式。

主要是在 Step 阶段,在 Step 阶段,我们可以执行一个 Tasklet,我们也可以按照 Chunk 来执行。

主要区别

如果使用 Tasklet 的话,我们可以一个 Step 对应一个 Tasklet,Spring Batch 不允许一个 Step 对应多个 Tasklet。

考虑有一个场景,我们需要使用 Spring Batch 对数据库中的表进行更新,这个表可能每次 Batch 要更新 几千条数据,需要满足每 5 分钟更新一次。

如果我们采取 Tasklet 的方式的话,正常的思维都是读取需要更新的数据,然后逐条进行更新。

这个没有问题吧,但是恰恰问题就在这里。

问题就是在 Spring Batch 使用的事务,Tasklet 在启动的时候会创建一个事务,那么读取 1000 条数据,处理 1000 条数据,写入 1000 条数据都在一个事务里面。

假设这个处理时间超过 5 分钟,下一次的任务又开始启动了,这个时候 Spring Batch 还会启动一个事务。

假设 10 分钟了,我们还是没有完成,Spring Batch 会继续启动任务和创建事务。

结果是什么,这个显而易见了,就是出现事务堆积,导致锁表,然后所有的任务都失败,无法完成。

针对这种场景,我们就需要 chunk 了。

chunk

Chunk 的主要目的就是为了告诉 Spring 一次执行几条记录。

我们如果设置 Chunk 为 1 的话,那么 Spring Batch 每次读取一条记录,处理一条记录,写入一条记录,然后将这个事务进行提交。

这样的话,可以有效的避免事务堆积导致的锁表。

 

2022-10-15_08-36-36

 

Chunk 的大小,通常比较小,如果一次性设太大了,也会锁表。

 

https://www.ossez.com/t/spring-batch-chunk/14151

Tags: None
Last updated:2022年10月20日

HoneyMoose

有温度的人文和独立的思考

Like
< Previous
Next >

Comments

Cancel reply

Archives
  • November 2023
  • October 2023
  • September 2023
  • August 2023
  • July 2023
  • June 2023
  • May 2023
  • April 2023
  • December 2022
  • November 2022
  • October 2022
  • September 2022
  • August 2022
  • May 2022
  • April 2022
  • March 2022
  • February 2022
  • January 2022
  • December 2021
  • November 2021
  • October 2021
  • September 2021
  • August 2021
  • July 2021
  • June 2021
  • May 2021
  • April 2021
  • March 2021
  • February 2021
  • January 2021
  • December 2020
  • November 2020
  • October 2020
  • September 2020
  • August 2020
  • July 2020
  • June 2020
  • May 2020
  • April 2020
  • March 2020
  • February 2020
  • January 2020
  • December 2019
  • November 2019
  • October 2019
  • September 2019
  • August 2019
  • July 2019
  • June 2019
  • May 2019
  • April 2019
  • March 2019
  • February 2019
  • January 2019
  • December 2018
  • November 2018
  • October 2018
  • September 2018
  • August 2018
  • July 2018
  • June 2018
  • May 2018
  • April 2018
  • March 2018
Categories
  • Computer Science (2,011)
    • Algorithm(算法) (26)
    • AMQP (4)
    • Angular (15)
    • CI (5)
    • Compile And CI (10)
    • Confluence (663)
    • DataBase (4)
    • Gradle (12)
    • Hibernate (12)
    • IDE (28)
    • Java (52)
    • Jersey (11)
    • Jira (10)
    • MariaDB (7)
    • PrestaShop (10)
    • Spring (48)
      • Spring Batch (11)
  • U.S. (294)
    • U.S. Travel (116)
  • USRealEstate (82)
  • VisaFn (18)

COPYRIGHT © 2020 CWIKIUS. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS

湘ICP备2020018253号-1