Дослідження моделей баз даних для зберігання big data у сфері моніторінгу довкілля
Loading...
Date
2024
Journal Title
Journal ISSN
Volume Title
Publisher
Український державний університет науки і технологій, ННІ ≪Інститут промислових та бізнес технологій≫, ІВК ≪Системні технології≫, Дніпро
Abstract
UKR: Питання, пов’язані з утворенням великих масивів даних, до кінця не вирішені. Кількість інформації у світі постійно збільшується, що призвело до виникнення проблеми її збереження. Створене для визначення цих даних поняття «big data» включає у собі наступні характеристики: кількість, швидкість обробки, різноманітність, достовірність, змінність та цінність. До цього типу інформації відносяться характеристики навколишнього середовища; дані визначають розподіл відповідних показників на Землі і дають можливість дати прогноз на майбутнє щодо зміни їх у часі і просторі, що є важливим для ведення господарства та сталого розвитку людства. Але інформація щодо ефективної організації збереження і обробки таких даних є недостатньою, що вимагає проведення додаткових досліджень. Таким чином, об’єктом дослідження є дані, що отримують на постах спостереження за станом навколишнього середовища. Предметом дослідження є зберігання даних, отриманих у результаті проведення моніторингу навколишнього середовища. Метою дослідження є розробка критеріїв для оцінки та порівняння різних типів сховищ даних з урахуванням специфічних вимог для їх зберігання; визначення типів інформації, яка буде зберігатися у базі даних параметрів навколишнього середовища; створення ER-діаграми визначеної бази даних. Отримані дані класифікуються в залежності від стану середовища, його розташування та забрудненості. Оскільки дані одержують з розгалуженої системи спостережень, вони поетапно потрапляють від місця їх реєстрації через міську, регіональну, державну і глобальну мережу до місця їх зберігання. Відповідно, повинні бути забезпечені наступні критерії до отриманої інформації: зберігання даних різних типів, швидкий доступ і обробка та можливість масштабування. Існує дві основні моделі сховищ даних: реляційні та нереляційні, кожна з яких має переваги і недоліки. Так, реляційні (SQL) мають жорсткі схеми, які забезпечують надійність збереження інформації, але є неефективними для обробки великої кількості запитів і не володіють значною масштабованістю. Нереляційні (NoSQL) зберігають дані у неструктурованому типі, легко масштабуються, і забезпечують велику швидкість обробки запитів. Висновки. Проведено дослідження щодо організації даних, отриманих з пунктів спостереження за навколишнім середовищем. Створено схему обробки отриманих даних. Окреслено групи параметрів, що будуть зберігатися у базі даних. Сформульовано основні критерії щодо зберігання даних, що дозволяють більш ефективно їх організувати. Реалізовано ER-діаграму для бази даних.
ENG: The issues related to the formation of large data collections are not fully resolved. The amount of information in the world is constantly increasing, which has resulted in the problem of its storage. The term "big data" created to define this data includes the following characteristics such as quantity, processing speed, variety, reliability, variability and value. This type of information includes environmental characteristics; the data determine the distribution of relevant indicators on the Earth and make it possible to make a forecast for the future regarding their changes in time and space, which is important for economic management and sustainable development of humanity. However, there is not enough information on the effective organisation of the storage and processing of such data, and further research is needed. Thus, the object of the study is the data obtained at environmental monitoring stations. The subject of the study is the storage of data obtained as a result of environmental monitoring. The purpose of the study is to develop criteria for evaluating and comparing different types of data repositories, taking into account specific requirements for their storage; to determine the types of information to be stored in the database; to create an ER-diagram of a particular database. The received data are classified according to the state of the environment, its location and pollution. As the data is obtained from an extended system of observations, it passes in stages from the place of its registration through the city, regional, state and global network to the place of its storage. Accordingly, the following criteria for the information received must be provided such as the ability to store data of various types, quick access and processing, and scalability. There are two main models of data bases such as relational and non-relational, each of them has its advantages and disadvantages. For example, relational (SQL) data storage systems have rigid schemes that ensure the reliability of information storage, but are inefficient for processing a large number of queries and have no significant scalability. Non-relational (NoSQL) systems store data in an unstructured type, are easily scalable, and provide high speed of query processing. Conclusions. The research has shown that non-relational databases are more appropriate for storing data obtained from environmental monitoring stations. A scheme for processing the data was created. The groups of parameters that will be stored in the database are outlined. The main criteria for data storage were developed, allowing for more efficient data organisation. An ER diagram for the database was implemented.
ENG: The issues related to the formation of large data collections are not fully resolved. The amount of information in the world is constantly increasing, which has resulted in the problem of its storage. The term "big data" created to define this data includes the following characteristics such as quantity, processing speed, variety, reliability, variability and value. This type of information includes environmental characteristics; the data determine the distribution of relevant indicators on the Earth and make it possible to make a forecast for the future regarding their changes in time and space, which is important for economic management and sustainable development of humanity. However, there is not enough information on the effective organisation of the storage and processing of such data, and further research is needed. Thus, the object of the study is the data obtained at environmental monitoring stations. The subject of the study is the storage of data obtained as a result of environmental monitoring. The purpose of the study is to develop criteria for evaluating and comparing different types of data repositories, taking into account specific requirements for their storage; to determine the types of information to be stored in the database; to create an ER-diagram of a particular database. The received data are classified according to the state of the environment, its location and pollution. As the data is obtained from an extended system of observations, it passes in stages from the place of its registration through the city, regional, state and global network to the place of its storage. Accordingly, the following criteria for the information received must be provided such as the ability to store data of various types, quick access and processing, and scalability. There are two main models of data bases such as relational and non-relational, each of them has its advantages and disadvantages. For example, relational (SQL) data storage systems have rigid schemes that ensure the reliability of information storage, but are inefficient for processing a large number of queries and have no significant scalability. Non-relational (NoSQL) systems store data in an unstructured type, are easily scalable, and provide high speed of query processing. Conclusions. The research has shown that non-relational databases are more appropriate for storing data obtained from environmental monitoring stations. A scheme for processing the data was created. The groups of parameters that will be stored in the database are outlined. The main criteria for data storage were developed, allowing for more efficient data organisation. An ER diagram for the database was implemented.
Description
Keywords
інформація, база даних, big data, модель зберігання даних, вимірювання параметрів, навколишнє середовище, ER-діаграма, information, database, data storage model, measurement of parameters, environment, ER-diagram
Citation
Резніченко О. В., Ляшенко О. А., Архипова В. В. Дослідження моделей баз даних для зберігання big data у сфері моніторінгу довкілля. Системні технології. Дніпро, 2024. Т. 6, № 155. С. 155–195. DOI: https://doi.org/10.34185/1562-9945-6-155-2024-18.