Spring Batch JdbcCursorItemReader导致内存不足问题

Spring batch JdbcCursorItemReader cause a memory not enough issue(Spring Batch JdbcCursorItemReader导致内存不足问题)

本文介绍了Spring Batch JdbcCursorItemReader导致内存不足问题的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在使用Spring Batch框架进行数据迁移。我使用的读取器是JdbcCursorItemReader。我将块大小设置为500,并将读取器获取大小设置为1000。但是,当使用Spring Batch运行该服务时,它似乎只读取了内存中的所有数据一次,然后就耗尽了内存。然后抛出内存不足的问题。下面是我对读者的定义:

   private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName,String tenant) {
        String tenantName = tenantHelper.determineTenant(tableName);
        JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>();
        itemReader.setDataSource(dataSource);
        itemReader.setSql("select * from " + tableName + " where " + tenantName + " ='" + tenant + "'");
        itemReader.setRowMapper(new ColumnMapRowMapper());
        itemReader.setFetchSize(100);
        return itemReader;
    }

另外,从Spring Batch文档here应该可以通过使用jdbcCursorItemReader来避免内存问题

推荐答案

通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是,它只是将所有数据读入内存,然后进行处理,JVM会将其视为一个大对象,直接分配到老一代中,直到整个过程完成后才能收集。

这篇关于Spring Batch JdbcCursorItemReader导致内存不足问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:Spring Batch JdbcCursorItemReader导致内存不足问题

基础教程推荐