Czasopismo | PRZEGLĄD ELEKTROTECHNICZNY | Rocznik 2022 - zeszyt 3

Smart Meeting Attendance Checking Based on A multi-biometric Recognition System

10.15199/48.2022.03.21

nr katalogowy: 136571
10.15199/48.2022.03.21

Streszczenie

Biometria multimodalna może rozwiązać niektóre ograniczenia biometrii unimodalnej poprzez połączenie informacji multi- biometrycznych dotyczących tej samej osoby w operacji podejmowania decyzji. W związku z tym rozwój technologii głębokiego uczenia się został wykorzystany w multimodalnym systemie biometrycznym. Coraz popularniejsze stają się techniki uczenia głębokiego w wykrywaniu obiektów, takie jak rozpoznawanie twarzy i identyfikacja głosu. Sprawdzanie obecności na spotkaniach pełni bardzo ważną rolę w zarządzaniu spotkaniami. Ręczne sprawdzanie obecności, takie jak wywoływanie nazwisk lub arkusze logowania, jest czasochłonne. Rozpoznawanie twarzy i identyfikacja głosu mogą być stosowane do sprawdzania obecności w oparciu o techniki głębokiego uczenia się. W artykule przedstawiono automatyczny multimodalny biometryczny system sprawdzania obecności z wykorzystaniem Convolutional Neural Networks (CNN). System wykorzystuje znany zbiór danych dla uczestników spotkania, aby wytrenować algorytm CNN ze znanym zbiorem danych wejściowych. Podczas sprawdzania obecności na spotkaniu używany jest komputer z wysokiej jakości kamerą internetową, system wykrywa twarz i głos uczestnika, a następnie porównuje je ze znanym zestawem danych, po dopasowaniu nazwisko uczestnika zostanie zapisane w pliku Excel. Ostatecznym wynikiem jest plik Excela ze wszystkimi nazwami obecności. Wynik działania systemu pokazuje, że proponowane architektury CNN osiągnęły wysoką dokładność. Ponadto wynik ten może być korzystny w rejestrach obecności uczniów, zwłaszcza w systemach nadzoru i identyfikacji osób. (Inteligentne sprawdzanie obecności na spotkaniach w oparciu o multi-biometryczny system rozpoznawania)

Abstract

Multimodal biometric can address some of the restrictions of the unimodal biometric by the combination of multi-biometric information for the same person in the decision-making operation. In this regard, the development in deep learning technologies has been employed in the multimodal biometric system. The deep learning techniques in object detection, such as face recognition and voice identification, are become more popular. Meeting Attendance checking carry out a very important role in meeting management. The manual checking attendance such as calling names or sign-in sheets is time-consuming. Face recognition and voice identification can be applied for attendance checks based on deep learning techniques. This paper presents an automatic multimodal biometric attendance checking system using Convolutional Neural Networks (CNN). The system uses a known dataset for the meeting participants, to train the CNN algorithm with a known set of input data. A computer with a high-quality webcam is used during the meeting attendance check, the system detects the attender face and voice then compares it with the known dataset, whenever matched, the attendee’s name will be recorded in an excel file. The final result is an excel file with all attendance names. The result of the system shows that the proposed CNN architectures attained a high accuracy. Furthermore, this result could be beneficial in student attendance records, particularly in surveillance and person identification systems.

Słowa kluczowe

Keywords

Bibliografia

[1] W. Kuang and A. Baul, "A Real-time Attendance System Using Deep-learning Face Recognition," in 2020 ASEE Virtual Annual Conference Experience, 2020.
[2] A. Z. Mansor, “Managing student's grades and attendance records using google forms and google spreadsheets,” UKM Teaching and Learning Congress 2011., vol.59, 2012.
[3] B.K. Mohamed and C. Raghu, “Fingerprint attendance system for classroom needs,” India Conference (INDICON), Annual IEEE, 2012, pp. 433-438.
[4] S. N. Shah and A. Abuzneid, “IoT based smart attendance system (SAS) using RFID,” IEEE Long Island Systems, Applications and Technology Conference (LISAT), 2019.
[5] A. Khatun, A.K.M.Fazlul Haque, S. Ahmed, and M. M. Rahman, “Design and implementation of Iris recognition based attendance management system,” 2nd Int’l Conf. on Electrical Engineering and Information & communication Technology (ICEEICT) 2015, Bangladesh.
[6] S.Sawhney, K.Kacker, S. Jain, S. N.Singh, and R.Garg, “Real-time smart attendance system using face recognition techniques,”, 9th Int’l Conf. on Cloud Computing, Data Science & Engineering, 2019, pp. 522-525.
[7] R. Jagiasi, S. Ghosalkar, P. Kulal, and A. Bharambe, "CNN based speaker recognition in language and text-independent small scale system," in 2019 Third International conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud)(I-SMAC), 2019, pp. 176-179: IEEE.
[8] S. Kinkiri and S. Keates, "Speaker Identification: Variations of a Human voice," in 2020 International Conference on Advances in Computing and Communication Engineering (ICACCE), 2020, pp. 1-4: IEEE.
[9] T.-H. Chan, K. Jia, S. Gao, J. Lu, Z. Zeng, and Y. J. I. t. o. i. p. Ma, "PCANet: A simple deep learning baseline for image classification?," vol. 24, no. 12, pp. 5017-5032, 2015.
[10] O. Sudana, I. W. Gunaya, and I. K. G. D. J. T. Putra, "Handwriting identification using deep convolutional neural network method," vol. 18, no. 4, pp. 1934-1941, 2020.
[11] P. Patel, A. J. I. J. o. E. Thakkar, and C. Engineering, "The upsurge of deep learning for computer vision applications," vol. 10, no. 1, p. 538, 2020.
[12] M. Ghazal, N. Waisi, and N. J. T. Abdullah, "The detection of handguns from live-video in real-time based on deep learning," vol. 18, no. 6, pp. 3026-3032, 2020.
[13] G. Hu et al., "When face recognition meets with deep learning: an evaluation of convolutional neural networks for face recognition," in Proceedings of the IEEE international conference on computer vision workshops, 2015, pp. 142-150.
[14] N. Mathur, S. Mathur, D. Mathur, and P. Dadheech, "A Brief Survey of Deep Learning Techniques for Person Reidentification," in 2020 3rd International Conference on Emerging Technologies in Computer Engineering: Machine Learning and Internet of Things (ICETCE), 2020, pp. 129-138: IEEE.
[15] A. Garcia-Garcia, S. Orts-Escolano, S. Oprea, V. Villena- Martinez, P. Martinez-Gonzalez, and J. J. A. S. C. Garcia- Rodriguez, "A survey on deep learning techniques for image and video semantic segmentation," vol. 70, pp. 41-65, 2018.
[16] O. M. Parkhi, A. Vedaldi, and A. Zisserman, "Deep face recognition," 2015.
[17] Q. Cao, L. Shen, W. Xie, O. M. Parkhi, and A. Zisserman, "Vggface2: A dataset for recognising faces across pose and age," in 2018 13th IEEE international conference on automatic face & gesture recognition (FG 2018), 2018, pp. 67-74: IEEE.
[18] M. T. Ghazal and K. J. T. Abdullah, "Face recognition based on curvelets, invariant moments features and SVM," vol. 18, no. 2, pp. 733-739, 2020.
[19] N. Waisi, N. J. T. Abdullah and M. Ghazal,"The Automatic Detection of Underage Troopers from Live- Videos Based on Deep Learning," vol. 2021, no. 9, pp. 85-88, 2021.
[20] Ö. Sahin, "Integrating Keras Models," in Develop Intelligent iOS Apps with Swift: Springer, 2021, pp. 137-164.
[21] N. J. T. Abdullah, M. Ghazal, and N. Waisi, “Pedestrian age estimation based on deep learning," vol. 22, no. 3, 2021.
[22] K. Zhang, Z. Zhang, Z. Li, and Y. J. I. S. P. L. Qiao, "Joint face detection and alignment using multitask cascaded convolutional networks," vol. 23, no. 10, pp. 1499-1503, 2016.
[23] C. Zhenzhou and D. Pengcheng, "Face recognition based on improved residual neural network," in 2019 Chinese Control And Decision Conference (CCDC), 2019, pp. 4626-4629: IEEE.
[24] H. V. Nguyen and L. Bai, "Cosine similarity metric learning for face verification," in Asian conference on computer vision, 2010, pp. 709-720: Springer.
[25] Athira Aroon, S.B. Dhonde, 2015, “Speaker Recognition System using Gaussian Mixture Model”, International Journal of Computer Applications (0975 – 8887), Volume 130 – No.14
[26] Zhang, Chunlei, and Kazuhito Koishida. "End-to-End TextIndependent Speaker Verification with Triplet Loss on Short Utterances." In Interspeech, pp. 1487-1491. 2017
[27] A. Rai, R. Karnani, V. Chudasama and K. Upla, "An End-to- End Real-Time Face Identification and Attendance System using Convolutional Neural Networks," 2019 IEEE 16th India Council International Conference (INDICON), 2019, pp. 1-4, doi: 10.1109/INDICON47234.2019.9029001.
[28] S. Chowdhury, S. Nath, A. Dey and A. Das, "Development of an Automatic Class Attendance System using CNN-based Face Recognition," 2020 Emerging Technology in Computing, Communication and Electronics (ETCCE), 2020, pp. 1-5, doi: 10.1109/ETCCE51779.2020.9350904.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


PRZEGLĄD ELEKTROTECHNICZNY- e-publikacja (pdf) z zeszytu 2022-3 , nr katalogowy 136571 licencja: Osobista Produkt cyfrowy Nowość	10.00 zł

Zeszyt


PRZEGLĄD ELEKTROTECHNICZNY- e-zeszyt (pdf) 2022-3 licencja: Osobista Produkt cyfrowy Nowość	58.00 zł

Prenumerata

PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

762.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	1002.00 zł brutto 927.78 zł netto 74.22 zł VAT (stawka VAT 8%)

1002.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna	960.00 zł brutto 888.89 zł netto 71.11 zł VAT (stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

1002.00 zł

Zeszyt

2022-3

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma