Рішення задачі класифікації в e-learning на основі методу паралельної побудови дерев рішень

Abstract

Останнім часом в розвинутих країнах питанням машинного навчання приділяється все більше уваги. З одного боку це пов’язано зі стрімким ростом вимог до майбутніх фахівців, а з іншого - з дуже швидким розвитком інформаційних технологій та Інтернет комунікацій. Однією з головних задач e-learning є задача класифікації. Математичний апарат дерев рішень гарно пристосований для рішення задачі класифікації. Однак, з ростом кількості вхідних даних стає актуальним питання зменшення часу побудови дерев рішень. Використання паралельних обчислювальних систем та паралельних технологій програмування дозволяє отримати позитивні результати, але вимагає розробки нових методів побудови дерев рішень. В статті розкриваються основні етапи методу паралельної побудови дерев для вирішення задачі класифікації в e-learning. На відміну від існуючих, метод дозволяє враховувати особливості архітектури і організації паралельних процесів в обчислювальних системах із загальною і розподіленою пам'яттю. В методі врахована можливість оцінки показників ефективності побудови дерев рішень та паралельних алгоритмів. Отримання показників ефективності на кожній ітерації методу допомагає обрати раціональну кількість паралельних процесорів в обчислювальній системі. Це дозволяє домогтися подальшого скорочення часу побудови дерев рішень. Проведене моделювання з використанням технології паралельного програмування MPI, мови програмування Python для архітектури обчислювальної системи DM-MIMD підтверджує достовірність отриманих результатів. Наводиться приклад організації вхідних даних. Представлено Python програму для побудови дерева рішень. Розроблена візуалізація отриманих оцінок показників ефективності дозволяє користувачу обрати необхідну конфігурацію обчислювальної системи.

Recently, more and more attention has been paid to the issues of machine learning in developed countries. On the one hand, this is due to the rapid growth of requirements for future specialists, and on the other - with the very rapid development of information technology and Internet communications. One of the main tasks of e-learning is thetask of classification. The mathematical modeling system of decision trees is well adapted for the solution of the classification problem. However, as the number of input data increases, the issue of reducing the time of tree construction is becoming relevant. Using parallel computing systems and parallel programming technologies can produce positive results, but requires the development of new methods for constructing tree solutions. The article reveals the main stages of the parallel tree construction method for solving the classification problem in e-learning. Unlike existing ones, the method allows to take into account the features of architecture and the organization of parallel processes in computing systems with shared and distributed memory. The method takes into account the possibility of evaluating performance indicators for constructing decision trees and parallel algorithms. Obtaining performance indicators for each iteration of the method helps to select the rational number of parallel processors in the computing system. This allows you to further reduce the time of building tree solutions. The simulation with the use of MPI parallel programming technology, the Python programming language for the architecture of the DM-MIMD system, confirms the reliability of the results. Here is an example of the organization of input data. Presented by Python is a program for building a decision tree. The developed visualization of the obtained estimates of performance indicators allows the user to select the necessary configuration of the computing system.