Czasopismo | PRZEGLĄD ELEKTROTECHNICZNY | Rocznik 2024 - zeszyt 7

Improving the Performance of Machine Learning with Sequential Feature Selection and Grid Search

Poprawa wydajności uczenia maszynowego dzięki sekwencyjnemu wyborowi funkcji i przeszukiwaniu siatki

10.15199/48.2024.07.29

nr katalogowy: 149530
10.15199/48.2024.07.29

Streszczenie

Feature selection is an important step in developing accurate machine-learning models for classification tasks, including wine quality prediction. The accuracy of the machine learning model depends on the selection of relevant features that contribute to the predicted outcome. In this paper, we propose two commonly used optimization methods, forward sequential feature selection (SFS), and grid search, to identify the most relevant features for wine quality prediction using K-nearest neighbor (KNN). We used a dataset of 1598 samples with 11 wine-quality features and evaluated the performance of the KNN model trained on different subsets of features selected SFS. The result suggests that SFS and gird search are effective methods for wine quality prediction using KNN. The identified wine quality features help to predict the quality of wine more accurately, leading to better predictive outcomes. Thus, machine learning models can benefit greatly from the use of grid search and SFS. By fine-tuning the model in this way, it is possible to achieve better results in applications where accuracy and speed are important. As machine learning continues to be used in a wide range of industries, the use of these techniques will become increasingly important. Further research is needed to validate the model on larger datasets and to integrate it into practical classification or predictive analysis.

Abstract

Wybór funkcji to ważny krok w opracowywaniu dokładnych modeli uczenia maszynowego do celów klasyfikacji, w tym przewidywania jakości wina. Dokładność modelu uczenia maszynowego zależy od wyboru odpowiednich cech, które przyczyniają się do przewidywanego wyniku. W tym artykule proponujemy dwie powszechnie stosowane metody optymalizacji, sekwencyjny wybór cech w przód (SFS) i przeszukiwanie siatki, aby zidentyfikować cechy najbardziej odpowiednie do przewidywania jakości wina za pomocą K-najbliższego sąsiada (KNN). Wykorzystaliśmy zbiór danych obejmujący 178 próbek z 13 cechami jakości wina i oceniliśmy działanie modelu KNN wyszkolonego na różnych podzbiorach wybranych cech FSFS. Wynik sugeruje, że SFS i przeszukiwanie pasów są skutecznymi metodami przewidywania jakości wina za pomocą KNN. Zidentyfikowane cechy jakości wina pomagają dokładniej przewidzieć jakość wina, co prowadzi do lepszych wyników predykcyjnych. Zatem modele uczenia maszynowego mogą w znacznym stopniu skorzystać na wykorzystaniu wyszukiwania siatki i SFS. Dostrajając w ten sposób model, możliwe jest osiągnięcie lepszych wyników w zastosowaniach, w których ważna jest dokładność i szybkość. Ponieważ uczenie maszynowe jest w dalszym ciągu wykorzystywane w wielu gałęziach przemysłu, wykorzystanie tych technik będzie zyskiwać na znaczeniu. Konieczne są dalsze badania, aby zweryfikować model na większych zbiorach danych i włączyć go do praktycznej klasyfikacji lub analizy predykcyjnej.

Słowa kluczowe

Keywords

Bibliografia

[1] Dahal R., Dahal N. Banjade H. Gaire S., Prediction of Wine Quality Using Machine Learning Algorithms, Open Journal of Statistics, 2021, 11, 278-289 https://www.scirp.org/journal/ojs
[2] Radzi S. et al.,, Hyperparameter Tuning and Pipeline Optimization via Grid Search Method and Tree-Based AutoML in Breast Cancer Prediction, J. Pers. Med. 2021, 11, 978. https://doi.org/10.3390/ jpm11100978.
[3] Siva S., Jayakumar C., Opportunities and Challenges of Feature Selection Methods for High Dimensional Data: A Review, Ingénierie des Systèmes d’Information, vol. 26, No. 1, February, 2021, pp. 67-77.
[4] Siphendulwe Z., Marcellin A., Sisipho H., Wine feature importance and quality prediction: A comparative study of machine learning algorithms with unbalanced data, arXiv: 2310.01584v1
[stat.AP] 2 Oct 2023.
[5] Yasser A., Emad A., Muna A., and Ali M., Hyperparameter Search for Machine Learning Algorithms for Optimizing the Computational Complexity, Processes. 2023, 11, 349. https:// doi.org/10.3390/pr11020349.
[6] Khushboo J., Keshav K., Sachin K., Shubham M., Seifedine K., Machine learning-based predictive modeling for the enhancement of wine quality, Scientific Reports, 2023, https://doi.org/10.1038/s41598-023-44111-9.
[7] Jörn L., and Alfred U., Enhancing Explainable Machine Learning by Reconsidering Initially Unselected Items in Feature Selection for Classification, Bioinformatics, 2022, 2, 701–714. https://doi.org/10.3390/biomedinformatics2040047.
[8] Ritu A., and Saurabh P., Sequential Feature Selection and Machine Learning Algorithm-Based Patient’s Death Events Prediction and Diagnosis in Heart Disease, SN Computer Science, 2020, https://doi.org/10.1007/s42979-020-00370-1.
[9] Yogesh G., Selection of Important and Predicting Wine Quality Using Machine Learning Techniques, Porceedia Computer Science, 2018, 10.1016/j.procs.2017.12.041.
[10] Terry C., Chienwen W., and Chun C., A Generalized Wine Quality Prediction Framework by Evolutionary Algorithms, International Journal of Interactive Multimedia and Artificial Intelligence, Vol. 6, April 2021.
[11] Wiharto, Esti S., and Sigit S., Framework Two-Tier Feature Selection on the Intelligence System Model for Detecting Coronary Heart Disease, Ingénierie des Systèmes d’Information, vol. 26, No. 6, December, 2021, pp. 541-547.
[12] Sathishkumar M., Reshmy K., Sabaria S., Prasannavenkatesan T., An investigation of wine quality testing using machine learning techniques, IAES International Journal of Artificial Intelligence, vol. 12, no. 2, June 2023, pp. 747~754 ISSN: 2252-8938, DOI: 10.11591/ijai.v12.i2.pp747-754.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


PRZEGLĄD ELEKTROTECHNICZNY- e-publikacja (pdf) z zeszytu 2024-7 , nr katalogowy 149530 licencja: Osobista Produkt cyfrowy Nowość	10.00 zł

Zeszyt


PRZEGLĄD ELEKTROTECHNICZNY- e-zeszyt (pdf) 2024-7 licencja: Osobista Produkt cyfrowy Nowość	85.00 zł

Prenumerata

PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

762.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	1002.00 zł brutto 927.78 zł netto 74.22 zł VAT (stawka VAT 8%)

1002.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna	960.00 zł brutto 888.89 zł netto 71.11 zł VAT (stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

1002.00 zł

Zeszyt

2024-7

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma