Колбасін, Вячеслав Олександрович2024-04-112024-04-112024Методичні вказівки до розрахункового завдання "Аналіз польотів цивільної авіації" з курсів "Технології обробки великих обсягів даних" та "Обробка великих обсягів даних у корпоративних системах" [Електронний ресурс] : для студентів спец. 122 "Комп’ютерні науки", 124 "Системний аналіз" / уклад. В. О. Колбасін ; Нац. техн. ун-т "Харків. політехн. ін-т". – Електрон. текст. дані. – Харків : НТУ "ХПІ", 2024. – 32 с. – URI: https://repository.kpi.kharkov.ua/handle/KhPI-Press/76440.https://repository.kpi.kharkov.ua/handle/KhPI-Press/76440У сучасному цифровому світі обсяги даних невпинно зростають, а їх обробка та аналіз стає все більш важливою задачею для підприємств та організацій. Спростити роботу з даними та допомогти там, де сама робота з даними є проблемою, можна за допомогою технологій обробки великих обсягів даних (також їх називають технологіями інженерії даних та технологіями Big Data). Технології інженерії даних дозволяють багатьом підприємствам вивести на новий рівень прийняття рішень на основі даних, провести оптимізацію бізнес-процесів та зробити крок вперед в прогнозуванні та аналітиці. Для цього потрібні платформи обробки даних, на основі яких далі буде створене прикладне програмне забезпечення. На теперішній час таких платформ та технологій було створено доволі багато і здебільшого всі вони є розвитком базових відкритих платформ інженерії даних Apache Hadoop, Apache Hive та Apache Spark. Тому ці три технології є базовими у дисциплінах інженерії даних та мають використовуватись при виконанні розрахункового завдання. Розрахункове завдання «Аналіз польотів цивільної авіації» присвячене вирішенню типових задач аналізу даних за допомогою технологій Apache Hive та Apache Spark. В процесі виконання розрахункового завдання треба буде не тільки провести певний аналіз даних та отримати вірний результат, але і розібратися з тим, як ці дані завантажити, перетворити в зручний формат та оптимізувати виконання запитів. Практичні навички та наробки, отримані в ході виконання завдання можуть стати корисними у подальшій практичній діяльності інженера по роботі з даними. Мета: отримати практичні навички з обробки та аналізу великих обсягів даних за допомогою технологій Apache Hive та Apache Spark на платформі Apache Hadoop.ukметодичні вказівкиінформаційні технологіїпрограмне забезпеченнякомп'ютерні системивстановлення віртуальної машиникластерицифровізаціяLearning Object