Аналіз емоцій з використанням виразів обличчя та голосових ознак
Loading...
Date
2025
Journal Title
Journal ISSN
Volume Title
Publisher
Український державний університет науки і технологій, ННІ ≪Інститут промислових та бізнес технологій≫, ІВК ≪Системні технології≫, Дніпро
Abstract
UKR: У роботі представлені методи для розпізнавання людських емоцій. Розпізнавання людських емоцій - це галузь штучного інтелекту, що швидко розвивається і має важливе значення для поліпшення взаємодії людини з комп'ютером. Однак більшість сучасних систем розпізнавання емоцій обмежені використанням тільки одного джерела даних голосових характеристик, або виразів обличчя, що знижує точність і стій-кість розпізнавання в складних умовах. В цій статті розглядаються методи розпізнавання емоцій з використанням двох основних каналів - голосового та візуального. У процесі дослідження аналізуються наявні підходи щодо розпізнавання емоцій. Для аналізу емоцій розглянуто технології ResNet (для зображень), SER (для звуку). Особливу увагу приділено аналізу й обробці акустичних характеристик, таких як інтонація, гучність, темп мовлення і тривалість пауз, а також використанню методів комп'ютер-ного зору для детекції виразів обличчя, таких як посмішка, затиснуті губи або насуплені брови. Це дослідження просуває галузь вивчення емоцій, забезпечуючи краще розуміння емоційних станів людини.
ENG: This article presents methods for recognizing human emotions. Human emotion recognition is a rapidly developing field of artificial intelligence that is essential for improving human-computer interaction. However, most modern emotion recognition systems are limited to using only one data source of voice characteristics or facial expressions, which reduces the accuracy and robustness of recognition in complex environments. The problem with emotion recognition is that human emotions are multifaceted and variable. Modern emotion recognition systems based on voice or facial expression analysis have certain limitations that affect their accuracy and performance in real-world conditions. This article discusses methods of emotion recognition using two main channels -voice and visual. The study analyzes existing approaches to emotion recognition. For the analysis of emotions, we consider ResNet (for images) and SER (for sound) technologies. Particular attention is paid to the analysis and processing of acoustic characteristics such as intonation, volume, speech rate and pause duration, as well as the use of computer vision methods to detect facial expressions such as a smile, pursed lips or furrowed brows. This research is advancing the field of emotion research by providing a better understanding of human emotional states. In the course of this work, we have considered methods of emotion recognition: Emotion recognition from facial expressions and emotion recognition from voice are two different technologies, each of which uses different types of data to analyze and interpret emotions. Emotion recognition from facial expressions is an exciting task in the field of computer vision and deep learning, with numerous applications in various industries. Emotion recognition from voice is based on a complex analysis of many acoustic features such as frequency, volume, speech rate, intonation, and others. These features can be analyzed using various mathematical and statistical models, such as machine learning and neural networks, to accurately classify emotions.
ENG: This article presents methods for recognizing human emotions. Human emotion recognition is a rapidly developing field of artificial intelligence that is essential for improving human-computer interaction. However, most modern emotion recognition systems are limited to using only one data source of voice characteristics or facial expressions, which reduces the accuracy and robustness of recognition in complex environments. The problem with emotion recognition is that human emotions are multifaceted and variable. Modern emotion recognition systems based on voice or facial expression analysis have certain limitations that affect their accuracy and performance in real-world conditions. This article discusses methods of emotion recognition using two main channels -voice and visual. The study analyzes existing approaches to emotion recognition. For the analysis of emotions, we consider ResNet (for images) and SER (for sound) technologies. Particular attention is paid to the analysis and processing of acoustic characteristics such as intonation, volume, speech rate and pause duration, as well as the use of computer vision methods to detect facial expressions such as a smile, pursed lips or furrowed brows. This research is advancing the field of emotion research by providing a better understanding of human emotional states. In the course of this work, we have considered methods of emotion recognition: Emotion recognition from facial expressions and emotion recognition from voice are two different technologies, each of which uses different types of data to analyze and interpret emotions. Emotion recognition from facial expressions is an exciting task in the field of computer vision and deep learning, with numerous applications in various industries. Emotion recognition from voice is based on a complex analysis of many acoustic features such as frequency, volume, speech rate, intonation, and others. These features can be analyzed using various mathematical and statistical models, such as machine learning and neural networks, to accurately classify emotions.
Description
І. Дмитрієва: ORCID 0009-0008-3298-7563
Keywords
розпізнавання емоцій, розпізнавання емоцій через звук, розпізнавання емоцій за обличчям, машинне навчання, комп'ютерний зір, глибоке навчання, CNN, emotion recognition, audio emotion recognition, facial emotion recognition, machine learning, SVM, computer vision, deep learning, КІТС
Citation
Дмитрієва І. С., Бімалов Д. В. Аналіз емоцій з використанням виразів обличчя та голосових ознак. Системні технології. Дніпро, 2025. Т. 3, № 158. С. 21–27. DOI: https://doi.org/10.34185/1562-9945-3-158-2025-03.