Spring Batch 防止状态持久化深度解析

理解状态持久化机制

默认行为与问题场景

在 Spring Batch 中，ItemReader 和 ItemWriter 默认会将当前处理状态保存到 ExecutionContext 中。这意味着：

• 每次读取/写入后，系统会记录当前进度（如行号）
• 作业重启时，系统会从上次保存的状态继续执行

WARNING

这种默认行为在某些场景下可能导致问题！
比如当使用处理标志列实现作业可重试时，状态持久化反而会造成逻辑冲突

处理标志列设计模式

这种设计的关键优势：

• ✅ 无需依赖处理进度状态
• ✅ 重启时自动跳过已处理记录
• ✅ 支持并行处理
• ❌ 但需要修改表结构添加标志列

禁用状态持久化实战

Kotlin 配置示例

@Configuration
class BatchConfig {

    @Bean
    fun playerSummarizationSource(dataSource: DataSource): JdbcCursorItemReader<PlayerSummary> {
        return JdbcCursorItemReaderBuilder<PlayerSummary>()
            .dataSource(dataSource)
            .rowMapper(PlayerSummaryMapper())
            .saveState(false) //  // 关键配置：禁用状态保存
            .sql("""
                SELECT games.player_id, games.year_no,
                       SUM(COMPLETES), SUM(ATTEMPTS),
                       SUM(PASSING_YARDS), SUM(PASSING_TD),
                       SUM(INTERCEPTIONS), SUM(RUSHES),
                       SUM(RUSH_YARDS), SUM(RECEPTIONS),
                       SUM(RECEPTIONS_YARDS), SUM(TOTAL_TD)
                FROM games, players
                WHERE players.player_id = games.player_id
                GROUP BY games.player_id, games.year_no
            """.trimIndent())
            .build()
    }
}

配置说明

1. saveState(false)：禁用状态保存的核心配置项
2. SQL 中的 WHERE 子句：确保只处理未标记的记录
3. PlayerSummaryMapper：自定义行映射器（需实现RowMapper接口）

注解配置替代方案

@Bean
@StepScope
fun reader(@Value("#{jobParameters[fileName]}") fileName: String): FlatFileItemReader<Data> {
    return FlatFileItemReaderBuilder<Data>()
        .name("dataReader")
        .resource(FileSystemResource(fileName))
        .delimited()
        .names("field1", "field2", "field3") // [!code warning] // 字段名需与实际文件匹配
        .saveState(false) // [!code highlight] // 禁用状态保存
        .build()
}

核心原理剖析

执行上下文(ExecutionContext)工作机制

状态保存 VS 处理标志列

特性	状态保存机制	处理标志列模式
重启行为	从断点继续	重新查询所有未处理记录
数据表要求	无需修改表结构	需要添加标志列
并行支持	❌ 单作业实例	✅ 多作业实例并行
实现复杂度	简单（框架内置）	中等（需业务逻辑配合）
适用场景	顺序处理的非事务性数据	需要幂等处理的关键数据

最佳实践指南

适用场景判断

推荐禁用状态保存的情况

1. 使用处理标志列的数据库读取操作
2. 处理非顺序依赖的数据源（如随机ID查询）
3. 实现幂等写入的ItemWriter
4. 需要并行处理的作业步骤

不建议禁用的情况

1. 大文件顺序处理（需断点续传）
2. 无状态标识的外部API调用
3. 必须保证顺序执行的业务流程

事务管理要点

@Bean
fun step1(transactionManager: PlatformTransactionManager): Step {
    return stepBuilderFactory.get("step1")
        .chunk<Player, PlayerSummary>(10)
        .reader(reader()) // saveState=false
        .writer(writer())
        .transactionManager(transactionManager)
        .faultTolerant()
        .skipLimit(10)
        .skip(DataIntegrityViolationException::class.java) // [!code highlight] // 异常跳过策略
        .build()
}

IMPORTANT

当禁用状态保存时，必须确保：

1. 每个chunk处理在独立事务中完成
2. 实现完善的错误恢复机制
3. 使用skip()避免单条记录失败导致整个作业终止

常见问题排查

状态残留问题

// [!code error] // 错误示例：混用状态保存与标志列
fun errorReader(): JdbcCursorItemReader<Data> {
    return JdbcCursorItemReaderBuilder<Data>()
        .sql("SELECT * FROM data WHERE processed = false")
        .saveState(true) // [!code error] // 冲突配置！
        .build()
}

症状表现

1. 重启后跳过部分未处理记录
2. 日志中出现 "Skipping item due to error" 但无实际错误
3. 处理计数与数据库实际记录不匹配

解决方案：

1. 检查所有Reader/Writer的saveState配置一致性
2. 清理历史作业执行记录：

-- 清理Spring Batch元数据
DELETE FROM BATCH_STEP_EXECUTION_CONTEXT;
DELETE FROM BATCH_STEP_EXECUTION;
DELETE FROM BATCH_JOB_EXECUTION_CONTEXT;
DELETE FROM BATCH_JOB_EXECUTION;

性能优化建议

大数据量处理优化方案（点击展开）

@Bean
fun efficientReader(): JdbcPagingItemReader<Data> {
    val query = JdbcPagingItemReaderBuilder<Data>()
        .dataSource(dataSource)
        .saveState(false)
        .queryProvider(object : SqlPagingQueryProviderFactoryBean() {
            init {
                setSelectClause("id, name, processed_ind")
                setFromClause("from large_data_table")
                setWhereClause("where processed_ind = false")
                setSortKey("id") // [!code highlight] // 关键排序字段
            }
        })
        .pageSize(500) // [!code highlight] // 合理设置分页大小
        .build()

    query.setRowMapper(DataRowMapper())
    return query
}

扩展应用场景

组合使用策略

@Bean
fun compositeReader(): CompositeItemReader<Data> {
    val reader = CompositeItemReaderBuilder<Data>()
        .delegates(
            fileReader().apply { setSaveState(false) }, // [!code highlight] // 文件读取器禁用状态
            dbReader().apply { setSaveState(true) }     // [!code highlight] // 数据库读取器保持状态
        )
        .build()

    return reader
}

自定义无状态Reader

class StatelessServiceReader(private val service: DataService) : ItemReader<Data> {

    private lateinit var items: Iterator<Data>

    override fun read(): Data? {
        if (!::items.isInitialized) {
            items = service.fetchUnprocessedItems().iterator()
        }
        return if (items.hasNext()) items.next() else null
    }
}

// 配置使用
@Bean
fun customReader(service: DataService): ItemReader<Data> {
    return StatelessServiceReader(service).apply {
        setSaveState(false) // [!code highlight] // 明确禁用状态保存
    }
}

TIP

自定义ItemReader时：

1. 实现InitializingBean确保资源初始化
2. 重写close()方法释放资源
3. 添加@Scope("step")支持作业参数注入

通过本文的深入解析，您应该掌握了在Spring Batch中精准控制状态持久化的关键技能。合理运用saveState=false配置，能够大幅提升批处理作业的灵活性和可靠性！