Методичні вказівки до виконання лабораторних занять з дисципліни "Інженерія великих даних"

Abstract

У сучасному світі обробка великих обсягів даних стає все більш актуальною в умовах швидкого розвитку інформаційних технологій. Інженерія великих даних – це галузь, яка займається збором, зберіганням, обробкою та аналізом великих обсягів інформації, що дозволяє отримувати цінні інсайти та приймати зважені рішення в різних сферах діяльності. В рамках цієї дисципліни студенти ознайомляться з основними концепціями та технологіями, що лежать в основі обробки великих даних. Серед них особливе місце займає Apache Spark – потужний фреймворк для обробки даних, який дозволяє ефективно працювати з великими обсягами інформації завдяки своїй архітектурі, що підтримує розподілену обробку. Його перевагами є можливість роботи в кластерних середовищах, підтримка різних моделей обчислень (RDD, DataFrame, GraphX, MLlib), гнучкість та висока продуктивність у порівнянні з традиційними підходами. Метою лабораторних робіт є набуття практичних навичок у використанні Apache Spark для роботи з великими даними, включаючи їх зберігання, трансформацію, аналіз та моделювання. Виконання завдань дозволить студентам освоїти основні принципи розподілених обчислень, навчитися ефективно працювати з різними структурами даних та реалізовувати алгоритми машинного навчання у масштабованих системах. Знання та навички, отримані під час виконання лабораторних робіт, є актуальними для спеціалістів у галузях Data Science, Machine Learning, Big Data Engineering та інших напрямах, пов'язаних із аналізом великих обсягів інформації.