Использование разделяемой памяти платформы CUDA в параллельной реализации искусственной нейронной сети прямого распространения

Abstract

В статье рассматриваются влияние способа использования разделяемой памяти на производительность реализации искусственной нейронной сети на платформе CUDA. Рассматриваются варианты размещения нескольких окон исходных данных и весовых коэффициентов в разделяемой памяти. Показано, что из-за нерационального использования времени ожидания загрузки данных из глобальной памяти производительность этих вариантов не превосходит производительности базовой схемы распараллеливания.

The performance of several schemes of shared memory usage in artificial neural network implementation on a CUDA platform is considered. The placement of several windows of input data and neuron inputs weights in shared memory is investigated. It is shown, that due to waiting while data is loaded from global memory, performance of these schemes doesn’t exceed the performance of basic scheme of parallelization.