在处理RAM中不能容纳的数据时，KERAS FIT_GENERATOR是不是最好的选择？

3)如果我想从hdf5文件中批量训练神经网络，并且在每个训练周期之后，将网络刚刚训练过的图像从主内存中删除，那么我的生成器方法有什么问题？

import tables
hdf5_path = "300K_Knot_data.hdf5"
extendable_hdf5_file = tables.open_file(hdf5_path, mode='r')

def imageLoader(files, batch_size):

    L = len(files.root.train_data)

    #this line is just to make the generator infinite, keras needs that    
    while True:

        batch_start = 0
        batch_end = batch_size

        while batch_start < L:
            limit = min(batch_end, L)
            X = files.root.train_data[batch_start:limit]
            X = np.reshape(X, (X.shape[0],128,128,3))
            X = X/255
            Y = files.root.train_label[batch_start:limit]

            yield (X,Y) #a tuple with two numpy arrays with batch_size samples     

            batch_start += batch_size   
            batch_end += batch_size

img_rows, img_cols = 128,128
###################################
# TensorFlow wizardry
config = tf.ConfigProto()

# Don't pre-allocate memory; allocate as-needed
config.gpu_options.allow_growth = True

# Only allow a total of half the GPU memory to be allocated
config.gpu_options.per_process_gpu_memory_fraction = 0.5

# Create a session with the above options specified.
K.tensorflow_backend.set_session(tf.Session(config=config))
###################################

model = Sequential()
model.add(Conv2D(64, (3,3), input_shape=(img_rows,img_cols,3)))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Conv2D(96, (3,3), padding='same'))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Conv2D(128, (3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))


model.add(Flatten())
model.add(Dense(128))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(3))
model.add(Activation('softmax', name='preds'))


#lr was originally 0.01

model.compile(loss='categorical_crossentropy',
optimizer=keras.optimizers.Adagrad(lr=0.01, epsilon=None, decay=0.0),metrics= 
['accuracy'])

# fits the model on batches with real-time data augmentation:

model.fit_generator(imageLoader(extendable_hdf5_file, 50),
                steps_per_epoch=240000 / 50, epochs=50)

以下是拟合模型的输出：

很抱歉，如果这里不是发布帖子的正确位置。 我的研究顾问不在城里，我花了相当多的时间试图解决这个问题，我只是需要一些意见，因为我在互联网上找不到足够的解决方案，或者似乎不能很好地理解我找到的足够好的东西来以一种好的方式实施它。我不是一个新程序员，但对python的经验相对较少。

推荐答案

我认为您定义生成器的方式很好。它似乎没有什么问题。不过，目前推荐使用Sequence class，特别是因为它在执行多处理时要安全得多。但是，使用生成器是可以的，并且仍然大量使用。

关于奇怪的准确率数字，您提到3000步的准确率是100%，然后下降到33%。我有以下建议来诊断此问题：

2)如果可能，将整个数据分成训练/验证/测试集(或至少训练/验证)。最常用的比例是60/20/20或70/15/15。但要确保这三个集合中的每一个类都是相等的(即，每个集合中的"解结"、"加三叶"和"减三叶"的数量大致相同)。请注意，它们的分布也应该大致相同。例如，您不应该为验证和测试集选择容易的。通常，在对整个数据进行混洗之后进行选择(即确保它们没有任何特定的顺序)是可行的。创建验证集可帮助您确保在培训过程中看到的进度是真实的，并且模型不会与培训数据过度匹配。

3)在激活之前或之后使用批归一化是still debatable。不过，some people claim如果你把它放在激活之后或者正好放在下一层之前，效果会更好。您也可以试用此功能。

5)如果一个纪元的培训需要很长时间，请考虑使用ModelCheckpoint和EarlyStopping回调。

这篇关于在处理RAM中不能容纳的数据时，KERAS FIT_GENERATOR是不是最好的选择？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！