Методичні вказівки до розрахункового завдання "Аналіз польотів цивільної авіації"

Abstract

У сучасному цифровому світі обсяги даних невпинно зростають, а їх обробка та аналіз стає все більш важливою задачею для підприємств та організацій. Спростити роботу з даними та допомогти там, де сама робота з даними є проблемою, можна за допомогою технологій обробки великих обсягів даних (також їх називають технологіями інженерії даних та технологіями Big Data). Технології інженерії даних дозволяють багатьом підприємствам вивести на новий рівень прийняття рішень на основі даних, провести оптимізацію бізнес-процесів та зробити крок вперед в прогнозуванні та аналітиці. Для цього потрібні платформи обробки даних, на основі яких далі буде створене прикладне програмне забезпечення. На теперішній час таких платформ та технологій було створено доволі багато і здебільшого всі вони є розвитком базових відкритих платформ інженерії даних Apache Hadoop, Apache Hive та Apache Spark. Тому ці три технології є базовими у дисциплінах інженерії даних та мають використовуватись при виконанні розрахункового завдання. Розрахункове завдання «Аналіз польотів цивільної авіації» присвячене вирішенню типових задач аналізу даних за допомогою технологій Apache Hive та Apache Spark. В процесі виконання розрахункового завдання треба буде не тільки провести певний аналіз даних та отримати вірний результат, але і розібратися з тим, як ці дані завантажити, перетворити в зручний формат та оптимізувати виконання запитів. Практичні навички та наробки, отримані в ході виконання завдання можуть стати корисними у подальшій практичній діяльності інженера по роботі з даними. Мета: отримати практичні навички з обробки та аналізу великих обсягів даних за допомогою технологій Apache Hive та Apache Spark на платформі Apache Hadoop.