Information System for Air Quality Assessment and Data Processing: Design and Implementation
Loading...
Date
2024
Journal Title
Journal ISSN
Volume Title
Publisher
CEUR-WS Team, Aachen, Germany
Abstract
ENG: In recent years, the issue of air quality has become increasingly critical. This article presents a hardware and software-based solution for collecting and processing data from ground stations monitoring air quality. The system is designed to collect real-time data from monitoring stations, store the data in a central database, perform data processing, and detect anomalies. Additionally, the system offers data visualization through maps and tables. The developed solution consists of three core components: a web server, a web application, and ground stations. A key feature of the software is its ability to handle real-time data aggregation and fill data gaps using custom-built aggregators. This is achieved through real-time data parsing, managed by Celery workers and queued via RabbitMQ. All data is stored in an SQL database, with PostgreSQL and Django frameworks facilitating database management and administration. Python scripts are used to process raw data into user-friendly formats such as AQI indices and graphical representations. The system is designed for seamless deployment across multiple remote servers, ensuring high flexibility and reliability for researchers. This software architecture enables scalable, conflict-free deployment, enhancing the efficiency and accuracy of air quality assessments.
UKR: Останніми роками питання якості повітря набуває все більшої гостроти. У цій статті представлено програмно-апаратне рішення для збору та обробки даних з наземних станцій моніторингу якості повітря. Система призначена для збору даних зі станцій моніторингу в режимі реального часу, зберігання даних у центральній базі даних, обробки даних та виявлення аномалій. Крім того, система пропонує візуалізацію даних у вигляді карт і таблиць. Розроблене рішення складається з трьох основних компонентів: веб-сервер, веб-додаток та наземні станції. Ключовою особливістю програмного забезпечення є його здатність обробляти агрегацію даних у режимі реального часу та заповнювати прогалини в даних за допомогою спеціальних агрегаторів. Це досягається за допомогою парсингу даних у режимі реального часу, яким керують працівники Celery і який ставиться в чергу через RabbitMQ. Всі дані зберігаються в базі даних SQL, а фреймворки PostgreSQL та Django полегшують управління та адміністрування бази даних. Скрипти Python використовуються для обробки необроблених даних у зручні для користувача формати, такі як індекси AQI та графічні представлення. Система розроблена для безперешкодного розгортання на декількох віддалених серверах, що забезпечує високу гнучкість і надійність для дослідників. Ця програмна архітектура забезпечує масштабоване, безконфліктне розгортання, підвищуючи ефективність і точність оцінок якості повітря.
UKR: Останніми роками питання якості повітря набуває все більшої гостроти. У цій статті представлено програмно-апаратне рішення для збору та обробки даних з наземних станцій моніторингу якості повітря. Система призначена для збору даних зі станцій моніторингу в режимі реального часу, зберігання даних у центральній базі даних, обробки даних та виявлення аномалій. Крім того, система пропонує візуалізацію даних у вигляді карт і таблиць. Розроблене рішення складається з трьох основних компонентів: веб-сервер, веб-додаток та наземні станції. Ключовою особливістю програмного забезпечення є його здатність обробляти агрегацію даних у режимі реального часу та заповнювати прогалини в даних за допомогою спеціальних агрегаторів. Це досягається за допомогою парсингу даних у режимі реального часу, яким керують працівники Celery і який ставиться в чергу через RabbitMQ. Всі дані зберігаються в базі даних SQL, а фреймворки PostgreSQL та Django полегшують управління та адміністрування бази даних. Скрипти Python використовуються для обробки необроблених даних у зручні для користувача формати, такі як індекси AQI та графічні представлення. Система розроблена для безперешкодного розгортання на декількох віддалених серверах, що забезпечує високу гнучкість і надійність для дослідників. Ця програмна архітектура забезпечує масштабоване, безконфліктне розгортання, підвищуючи ефективність і точність оцінок якості повітря.
Description
Vol. Hnatushenko: ORCID 0000-0003-3140-3788
Keywords
air quality assessment, information technology, monitoring, data processing, semiconductor and electrochemical sensors, оцінка якості повітря, інформаційні технології, моніторинг, обробка даних, напівпровідникові та електрохімічні датчики, КІТС
Citation
Hnatushenko Vol., Bulana T., Gomilko I., Molodets B., Boldyriev D. Information System for Air Quality Assessment and Data Processing: Design and Implementation. CEUR Workshop Proceedings. Vol. 3909 : Proc. of the XI International Scientific Conference "Information Technology and Implementation" (IT&I 2024), Kyiv, Ukraine, November 20–21, 2024. Kyiv, 2024. P. 404–418.