Advanced data aggregation in online education: a contextual web parser approach

Abstract

The paper presents a web aggregator system for collecting, filtering, and classifying data from educational platforms, focusing on online courses. It describes the development and testing of a system that uses contextual search to help users find courses matching their interests and knowledge level, while also handling spelling errors. The system's effectiveness is established through tests demonstrating its capability for rapid data collection and update, providing accurate and relevant results. The paper details the system's three-tier structure: data aggregation, user filtering, and user system interaction for tailored course recommendations. The development involves a Python web server, a MariaDB database, a parser for non-formal education platforms, and a web application for client data presentation. In this paper also highlight the system's scalability and potential for integration with other educational platforms. Emphasize the importance of continuous updates to the database for maintaining relevance in a rapidly evolving online education landscape. Additionally, the paper discusses future enhancements, including the implementation of advanced machine learning algorithms for improved search accuracy and personalization, emphasizing the system's ongoing evolution to meet the dynamic needs of online learners. У статті представлено структуру веб-агрегатора для збору, фільтрації та класифікації даних з освітніх платформ, зосереджених на онлайн-курсах. Показано архітектуру та результати тестування розробки, яка агрегує данні для системи, яка використовує контекстний пошук, щоб допомогти користувачам знайти курси, які відповідають їхнім інтересам та рівню знань, а також обробляє орфографічні помилки. Описано основні архітектурні елементи розробленого модулю. Ефективність системи підтверджується тестами, які демонструють її здатність до швидкого збору та оновлення даних, надання точних і релевантних результатів. У статті детально описано трирівневу структуру системи: агрегація даних, фільтрація користувачів та взаємодія користувача з системою для надання індивідуальних рекомендацій щодо курсів. Розробка включає веб-сервер на мові Python, базу даних MariaDB для зберігання результатів парсингу, парсер, який оснований на використанні бібліотек для платформ неформальної освіти та модуль міграції для кросплатформеного веб-додатку для представлення даних клієнтам. У цій статті також підкреслимо масштабованість та потенціал продуктового рішення для інтеграції з іншими освітніми платформами. Підкреслюється важливість постійного оновлення бази даних для підтримання її актуальності у швидкозмінному ландшафті онлайн-освіти. Для цього пропонується зробити модулі для авто адаптаціЇ під змінні умови. Крім того, в документі обговорюються майбутні вдосконалення, включаючи впровадження передових алгоритмів машинного навчання для підвищення точності пошуку та персоналізації, підкреслюючи постійну еволюцію системи для задоволення динамічних потреб онлайн-учнів. Таким чином, стаття підсумовує досвід розробки рішення для ефективної взаємодії з освітніми ресурсами, спрямованого на забезпечення якісного підбору навчальних курсів і підвищення зручності користування онлайн-освітніми платформами.