Czasopismo | PRZEGLĄD TELEKOMUNIKACYJNY - WIADOMOŚCI TELEKOMUNIKACYJNE | Rocznik 2024 - zeszyt 4

Poprawa testów oprogramowania stacji bazowych 5G dzięki analizie opartej na dużych modelach językowych LLM (Large Language Models)

Enhancing software testing of 5G base stations with LLM-driven analysis

10.15199/59.2024.4.7

nr katalogowy: 150397
10.15199/59.2024.4.7

Streszczenie

Duże modele językowe (LLM) umożliwiły osiąganie niespodziewanie dobrych rezultatów w genero- waniu, tłumaczeniu i rozumieniu tekstu. Modele te mogą generować tekst w oparciu o ich dostosowanie do struktur ludzkiego języka i wymagania bądź żądania użytkownika. W niniejszym artykule we współpracy z firmą NOKIA zbadano wpływ specjalistycznych treści z dziedziny tele- komunikacyji na model Gemma-2B. Wyniki wskazują na celowość zastosowania podejścia z oszacowaniem perplek- sji w treściach o unikalnej i charakterystycznej zawartości, interesującej z punktu widzenia zastosowań telekomuni- kacyjnych (np. dokumentacja 3GPP). Wyniki pokazują, że odpowiednie dostrojenie modelu może zmniejszyć jego perpleksję średnio o 83% (w zależności od tematu).

Abstract

Large language models (LLMs) have trans- formed natural language processing, enabling remarkable achievements in text generation, translation, and compre- hension. LLMs can generate text based on their intrinsic understanding of structures in human language and the user’s request. This paper, reporting results obtained in collaboration with NOKIA, examines the impact of spe- cialized telecom content on the Gemma-2B model. The findings indicate a novel approach to using perplexity as- sessment in the specialized field of telecommunications (3GPP-related content). It was shown that proper fine- tuning can reduce the model’s perplexity by an average of 83%, depending on the topic.

Słowa kluczowe

Keywords

Bibliografia

[1] Zarębski, S.; Kuzmich, A.; Sitko, S.; Rusek, K.; Choł- da, P. Siamese Neural Networks on the Trail of Simi- larity in Bugs in 5G Mobile Network Base Stations. Electronics, 11, 3664, 2022.
[2] Miaschi, A., Brunato, D., Dell’Orletta, F. & Venturi, G. What Makes My Model Perplexed? A Linguistic Investigation on Neural Language Models Perplexity. Proceedings Of Deep Learning Inside Out (DeeLIO): The 2nd Workshop On Knowledge Extraction And In- tegration For Deep Learning Architectures. pp. 40-47, 2021.
[3] https://huggingface.co/google/gemma-2b visited at 27.06.2024
[4] Thomas Mesnard et al. “Gemma: Open Models Ba- sed on Gemini Research and Technology.” arXiv pre- print arXiv:2403.08295, 2024.
[5] Jelinek, Fred, Robert L. Mercer, Lalit R. Bahl, and James K. Baker. “Perplexity: A Measure of the Dif- ficulty of Speech Recognition Tasks.” The Journal of the Acoustical Society of America, 62(S1): S63, 1977.
[6] Meister, Clara, and Ryan Cotterell. “Language Mo- del Evaluation Beyond Perplexity.” In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th Internatio- nal Joint Conference on Natural Language Proces- sing (Volume 1: Long Papers), 5328–5339. Online: Association for Computational Linguistics, 2021.
[7] Willard, Brandon T., and Rémi Louf. “Efficient Guided Generation for LLMs.” arXiv preprint arXiv:2307.09702, 2023.
[8] Hu, Edward J. et al. “LoRA: Low-Rank Adaptation of Large Language Models.” In Proceedings of the In- ternational Conference on Learning Representations (ICLR), 2022.
[9] Paul F. Christiano, Jan Leike, Tom B. Brown, Mil- jan Martic, Shane Legg, and Dario Amodei. "Deep reinforcement learning from human preferences". In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS’17), 2017.

Prenumerata

PRZEGLĄD TELEKOMUNIKACYJNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

300.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - papierowa prenumerata roczna	348.00 zł brutto 322.22 zł netto 25.78 zł VAT (stawka VAT 8%)
PRZEGLĄD TELEKOMUNIKACYJNY - pakowanie i wysyłka	21.00 zł brutto 17.07 zł netto 3.93 zł VAT (stawka VAT 23%)

369.00 zł

PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD TELEKOMUNIKACYJNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	450.00 zł brutto 416.67 zł netto 33.33 zł VAT (stawka VAT 8%)

450.00 zł

Open Access

Zeszyt

2024-4

Twój Koszyk

Prenumerata

Open Access

Zeszyt

Czasopisma