Czasopisma
Czasopisma
Czasopisma
ATEST - OCHRONA PRACY
ATEST - OCHRONA PRACY
AURA
AURA
AUTO MOTO SERWIS
AUTO MOTO SERWIS
CHEMIK
CHEMIK
CHŁODNICTWO
CHŁODNICTWO
CIEPŁOWNICTWO, OGRZEWNICTWO, WENTYLACJA
CIEPŁOWNICTWO, OGRZEWNICTWO, WENTYLACJA
DOZÓR TECHNICZNY
DOZÓR TECHNICZNY
ELEKTROINSTALATOR
ELEKTROINSTALATOR
ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA
ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA
Czasopisma
Czasopisma
Czasopisma
GAZETA CUKROWNICZA
GAZETA CUKROWNICZA
GAZ, WODA I TECHNIKA SANITARNA
GAZ, WODA I TECHNIKA SANITARNA
GOSPODARKA MIĘSNA
GOSPODARKA MIĘSNA
GOSPODARKA WODNA
GOSPODARKA WODNA
HUTNIK - WIADOMOŚCI HUTNICZE
HUTNIK - WIADOMOŚCI HUTNICZE
INŻYNIERIA MATERIAŁOWA
INŻYNIERIA MATERIAŁOWA
MASZYNY, TECHNOLOGIE, MATERIAŁY - TECHNIKA ZAGRANICZNA
MASZYNY, TECHNOLOGIE, MATERIAŁY - TECHNIKA ZAGRANICZNA
MATERIAŁY BUDOWLANE
MATERIAŁY BUDOWLANE
OCHRONA PRZECIWPOŻAROWA
OCHRONA PRZECIWPOŻAROWA
OCHRONA PRZED KOROZJĄ
OCHRONA PRZED KOROZJĄ
Czasopisma
Czasopisma
Czasopisma
ODZIEŻ
ODZIEŻ
OPAKOWANIE
OPAKOWANIE
PACKAGING REVIEW
PACKAGING REVIEW
POLISH TECHNICAL REVIEW
POLISH TECHNICAL REVIEW
PROBLEMY JAKOŚCI
PROBLEMY JAKOŚCI
PRZEGLĄD ELEKTROTECHNICZNY
PRZEGLĄD ELEKTROTECHNICZNY
PRZEGLĄD GASTRONOMICZNY
PRZEGLĄD GASTRONOMICZNY
PRZEGLĄD GEODEZYJNY
PRZEGLĄD GEODEZYJNY
PRZEGLĄD MECHANICZNY
PRZEGLĄD MECHANICZNY
PRZEGLĄD PAPIERNICZY
PRZEGLĄD PAPIERNICZY
Czasopisma
Czasopisma
Czasopisma
PRZEGLĄD PIEKARSKI I CUKIERNICZY
PRZEGLĄD PIEKARSKI I CUKIERNICZY
PRZEGLĄD TECHNICZNY. GAZETA INŻYNIERSKA
PRZEGLĄD TECHNICZNY. GAZETA INŻYNIERSKA
PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE
PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE
PRZEGLĄD WŁÓKIENNICZY - WŁÓKNO, ODZIEŻ, SKÓRA
PRZEGLĄD WŁÓKIENNICZY - WŁÓKNO, ODZIEŻ, SKÓRA
PRZEGLĄD ZBOŻOWO-MŁYNARSKI
PRZEGLĄD ZBOŻOWO-MŁYNARSKI
PRZEMYSŁ CHEMICZNY
PRZEMYSŁ CHEMICZNY
PRZEMYSŁ FERMENTACYJNY I OWOCOWO-WARZYWNY
PRZEMYSŁ FERMENTACYJNY I OWOCOWO-WARZYWNY
PRZEMYSŁ SPOŻYWCZY
PRZEMYSŁ SPOŻYWCZY
RUDY I METALE NIEŻELAZNE
RUDY I METALE NIEŻELAZNE
SZKŁO I CERAMIKA
SZKŁO I CERAMIKA
TECHNOLOGIA I AUTOMATYZACJA MONTAŻU
TECHNOLOGIA I AUTOMATYZACJA MONTAŻU
WIADOMOŚCI ELEKTROTECHNICZNE
WIADOMOŚCI ELEKTROTECHNICZNE
WOKÓŁ PŁYTEK CERAMICZNYCH
WOKÓŁ PŁYTEK CERAMICZNYCH
Menu
Menu
Menu
Prenumerata
Prenumerata
Publikacje
Publikacje
Drukarnia
Drukarnia
Kolportaż
Kolportaż
Reklama
Reklama
O nas
O nas
ui-button
Twój Koszyk
Twój koszyk jest pusty.
Niezalogowany
Niezalogowany
Zaloguj się
Zarejestruj się
Reset hasła
Czasopismo
|
PRZEGLĄD ELEKTROTECHNICZNY
|
Rocznik 2024 - zeszyt 8
Visual Emotion Recognition based on transfer learning technique using VGG16
Rozpoznawanie emocji wizualnych w oparciu o technikę uczenia transferowego z wykorzystaniem VGG16
10.15199/48.2024.08.31
Souha AYADI
Zied LACHIRI
nr katalogowy: 149752
10.15199/48.2024.08.31
Streszczenie
Visual emotion recognition is one of the active topics nowadays. Recognizing emotions from a sequence of moving images still shows some difficulty in correctly detecting the exact features due to facial movement in the first place. Especially the movement of the mouth when pronouncing the sentence while producing emotions, which mainly affects the appearance of facial features. Thus, in this work, we focus on emotion recognition from facial expressions expressing speech. The deep neural network used in this work is VGG16 which is considered to be an effective neural network for detection and classification tasks, and can mainly be adaptable with transfer learning, technique. The presented method is conducted on the Video-speech category where we work on the detection of six classes of emotions which are: neutral, calm, happy, sad, angry and fearful, where the precision obtained is 78.12%.
Abstract
Wizualne rozpoznawanie emocji jest obecnie jednym z aktywnych tematów. Rozpoznawanie emocji na podstawie sekwencji ruchomych obrazów nadal wiąże się z pewnymi trudnościami w prawidłowym wykryciu dokładnych cech, przede wszystkim na podstawie ruchu twarzy. Zwłaszcza ruch ust podczas wymawiania zdania podczas wywoływania emocji, który wpływa głównie na wygląd rysów twarzy. Dlatego w tej pracy skupiamy się na rozpoznawaniu emocji na podstawie mimiki wyrażającej mowę. Głęboka sieć neuronowa wykorzystana w tej pracy to VGG16, która jest uważana za skuteczną sieć neuronową do zadań wykrywania i klasyfikacji i może być dostosowywana głównie do techniki transferu uczenia się. Prezentowana metoda opiera się na kategorii Wideo-mowa, gdzie pracujemy nad detekcją sześciu klas emocji, którymi są: neutralna, spokojna, szczęśliwa, smutna, zła i pełna strachu, gdzie uzyskana precyzja wynosi 78,12%.
Słowa kluczowe
Visual-Speech emotion recognition
transfer learning
VG16
Keywords
Wizualne rozpoznawanie emocji
uczenie się transferowe
VG16
Bibliografia
[1] Souha Ayadi and Zied Lachiri. Deep neural network for visual emotion recognition based on resnet50 using song-speech characteristics. In 2022 5th International Conference on Advanced Systems and Emergent Technologies (IC ASET), pages 363–368. IEEE, 2022. [2] Souha Ayadi and Zied Lachiri. Visual emotion sensing using convolutional neural network. Przeglad Elektrotechniczny, 98(3), 2022. [3] Shuo Cheng and Guohui Zhou. Facial expression recognition method based on improved vgg convolutional neural network. International Journal of Pattern Recognition and Artificial Intelligence, 34(07):2056003, 2020. [4] Sefik Emre Eskimez, You Zhang, and Zhiyao Duan. Speech driven talking face generation from a single image and an emotion condition. IEEE Transactions on Multimedia, 24:3480– 3490, 2021. [5] Essam H Houssein, Asmaa Hammad, and Abdelmgeid A Ali. Human emotion recognition from eeg-based brain–computer interface using machine learning: a comprehensive review. Neural Computing and Applications, 34(15):12527–12557, 2022. [6] Steven R Livingstone and Frank A Russo. The ryerson audiovisual database of emotional speech and song (ravdess): A dynamic, multimodal set of facial and vocal expressions in north american english. PloS one, 13(5):e0196391, 2018. [7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. [8] PVVS Srinivas and Pragnyaban Mishra. An improvised facial emotion recognition system using the optimized convolutional neural network model with dropout. International Journal of Advanced Computer Science and Applications, 12(7), 2021. [9] D Tamil Priya and J Divya Udayan. Transfer learning techniques for emotion classification on visual features of images in the deep learning network. International Journal of Speech Technology, 23:361–372, 2020. [10] Hansen Yang, Yangyu Fan, Guoyun Lv, Shiya Liu, and Zhe Guo. Exploiting emotional concepts for image emotion recognition. The Visual Computer, 39(5):2177–2190, 2023. [11] Haoyan Yang, Jiangong Ni, Jiyue Gao, Zhongzhi Han, and Tao Luan. A novel method for peanut variety identification and classification by improved vgg16. Scientific Reports, 11(1):15756, 2021. [12] Ke Zhang, Yuanqing Li, Jingyu Wang, Erik Cambria, and Xuelong Li. Real-time video emotion recognition based on reinforcement learning and domain knowledge. IEEE Transactions on Circuits and Systems for Video Technology, 32(3):1034–1047, 2021.
Treść płatna
Jeśli masz wykupiony/przyznany dostęp -
zaloguj się
.
Skorzystaj z naszych propozycji zakupu!
Publikacja
PRZEGLĄD ELEKTROTECHNICZNY- e-publikacja (pdf) z zeszytu 2024-8 , nr katalogowy 149752
licencja: Osobista
Produkt cyfrowy
Nowość
10.00 zł
Do koszyka
Zeszyt
PRZEGLĄD ELEKTROTECHNICZNY- e-zeszyt (pdf) 2024-8
licencja: Osobista
Produkt cyfrowy
Nowość
85.00 zł
Do koszyka
Prenumerata
PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista
Produkt cyfrowy
Nowość
762.00 zł
Do koszyka
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista
Szczegóły pakietu
Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
1002.00 zł brutto
927.78 zł netto
74.22 zł VAT
(stawka VAT 8%)
1002.00 zł
Do koszyka
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista
Szczegóły pakietu
Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna
960.00 zł brutto
888.89 zł netto
71.11 zł VAT
(stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka
42.00 zł brutto
34.15 zł netto
7.85 zł VAT
(stawka VAT 23%)
1002.00 zł
Do koszyka
Zeszyt
2024-8
Czasopisma
ATEST - OCHRONA PRACY
AURA
AUTO MOTO SERWIS
CHEMIK
CHŁODNICTWO
CIEPŁOWNICTWO, OGRZEWNICTWO, WENTYLACJA
DOZÓR TECHNICZNY
ELEKTROINSTALATOR
ELEKTRONIKA - KONSTRUKCJE, TECHNOLOGIE, ZASTOSOWANIA
GAZETA CUKROWNICZA
GAZ, WODA I TECHNIKA SANITARNA
GOSPODARKA MIĘSNA
GOSPODARKA WODNA
HUTNIK - WIADOMOŚCI HUTNICZE
INŻYNIERIA MATERIAŁOWA
MASZYNY, TECHNOLOGIE, MATERIAŁY - TECHNIKA ZAGRANICZNA
MATERIAŁY BUDOWLANE
OCHRONA PRZECIWPOŻAROWA
OCHRONA PRZED KOROZJĄ
ODZIEŻ
OPAKOWANIE
PACKAGING REVIEW
POLISH TECHNICAL REVIEW
PROBLEMY JAKOŚCI
PRZEGLĄD ELEKTROTECHNICZNY
PRZEGLĄD GASTRONOMICZNY
PRZEGLĄD GEODEZYJNY
PRZEGLĄD MECHANICZNY
PRZEGLĄD PAPIERNICZY
PRZEGLĄD PIEKARSKI I CUKIERNICZY
PRZEGLĄD TECHNICZNY. GAZETA INŻYNIERSKA
PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE
PRZEGLĄD WŁÓKIENNICZY - WŁÓKNO, ODZIEŻ, SKÓRA
PRZEGLĄD ZBOŻOWO-MŁYNARSKI
PRZEMYSŁ CHEMICZNY
PRZEMYSŁ FERMENTACYJNY I OWOCOWO-WARZYWNY
PRZEMYSŁ SPOŻYWCZY
RUDY I METALE NIEŻELAZNE
SZKŁO I CERAMIKA
TECHNOLOGIA I AUTOMATYZACJA MONTAŻU
WIADOMOŚCI ELEKTROTECHNICZNE
WOKÓŁ PŁYTEK CERAMICZNYCH