Czasopismo | PRZEGLĄD ELEKTROTECHNICZNY | Rocznik 2024 - zeszyt 4

Środowisko nauki ze wzmocnieniem do sterowania ramieniem robota przemysłowego

Learning environment with reinforcement for industrial robot arm control

10.15199/48.2024.04.46

nr katalogowy: 148146
10.15199/48.2024.04.46

Streszczenie

W ostatnich latach wzrasta zainteresowanie wykorzystaniem uczenia ze wzmocnieniem w dziedzinie sterowania robotyki. W tym kontekście istotne jest badanie i porównanie różnych algorytmów RL, które mogą być efektywnie zastosowane do zadań sterowania robotami. W tym artykule porównano trzy popularne algorytmy RL: Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO) i Advantage Actor Critic (A2C), koncentrując się na ich zastosowaniu w sterowaniu ramieniem robota. Eksperymenty przeprowadzono w środowisku z symulowanym ramieniem robota wykorzystując szereg bibliotek i struktur programistycznych tzw. frameworków, a wyniki działania poszczególnych algorytmów zaprezentowano.

Abstract

In recent years, there has been increasing interest in the use of reinforcement learning in the field of robotics control. In this context, it is important to study and compare different RL algorithms that can be effectively applied to robot control tasks. This article compares three popular RL algorithms: Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), and Advantage Actor Critic (A2C), focusing on their application in robotic arm control. The experiments were carried out in an environment with a simulated robot arm using a number of libraries and programming structures, the so-called frameworks, and the results of individual algorithms were presented

Słowa kluczowe

Keywords

Bibliografia

[1] Maldonado-Ramirez A., Rios-Cabrera R., LopezJuarez I., A visual path-following learning approach for industrial robots using DRL, Robotics and Computer-Integrated Manufacturing, Volume 71(2021), 102130.
[2] Abdi A., Adhikari D., Park J.H., A novel hybrid path planning method based on q-learning and neural network for robot arm, Applied Sciences (2021), Vol. 11, No. 15.
[3] Abdi A., Ranjbar M.H.,H.Park J.H., Computer VisionBased Path Planning for Robot Arms in Three-Dimensional Workspaces Using Q-Learning and Neural Networks. Sensors(2022), 22, 1697.
[4] Mnih V., Kavukcuoglu K., Silver D., Graves A., Antonoglou I., Wierstra D., Riedmiller M., Playing Atari with Deep Reinforcement Learning, arXiv e-prints (2013), arXiv.1312.5602.
[5] Mnih V., Kavukcuoglu K., Silver D., Rusu A.A., Veness J., Bellemare M.G., Graves A., Riedmiller M., Fidjeland A.K., Ostrovski G.,.Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wierstra D., Legg S., Hassabis D., Human-level control through deep reinforcement learning, Nature 518 (2015), 529–533.
[6] http://wiki.ros.org/urdf/XML
[7] https://github.com/ros-industrial/kuka_experimental
[8] https://www.ros.org/
[9] https://pybullet.org/
[10] https://github.com/bulletphysics/bullet3
[11] https://gymnasium.farama.org/index.html
[12] Brockman G., Cheung V., Pettersson L., Schneider J., Schulman J., Tang J., Zaremba W., OpenAI Gym, arXiv preprint (2016) arXiv:1606.01540.
[13] Sutton R.S., Barto A.G., Reinforcement Learning: An Introduction Second Edition (2018). The MIT Press.
[14] Kania, W., Wajman, R., Ckript: a new scripting language for web applications, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12(2022), No. 2, 4-9.
[15] Styła, M., Adamkiewicz, P., Hybrid navigation system for indoor use. Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No. 1, 10-14.
[16] Sikora R., Markiewicz P., Korzeniewska E., Using identification method to modelling short term luminous flux depreciation of LED luminaire to reducing electricity consumption, Scientific Reportst, 13 (2023), No. 1, 673.
[17] Lebioda, M., Korzeniewska, E., The Influence of Buffer Layer Type on the Electrical Properties of Metallic Layers Deposited on Composite Textile Substrates in the PVD Process, Materials, 16 (2023), No. 13, 4856.
[18] Rymarczyk T., Kozłowski E., Kłosowski G., Electrical impedance tomography in 3D flood embankments testing – elastic net approach, Transactions of the Institute of Measurement and Control, 42 (2020), No. 4, 680-690.
[19] Kłosowski G., Rymarczyk T., Niderla K., Rzemieniak M., Dmowski A., Maj M., Comparison of Machine Learning Methods for Image Reconstruction Using the LSTM Classifier in Industrial Electrical Tomography, Energies 2021, 14 (2021), No. 21, 7269.
[20] Rymarczyk T., Kłosowski G., Hoła A., Sikora J., Tchórzewski P., Skowron Ł., Optimising the Use of Machine Learning Algorithms in Electrical Tomography of Building Walls: Pixel Oriented Ensemble Approach, Measurement, 188 (2022), 110581.
[21] Koulountzios P., Rymarczyk T., Soleimani M., A triple-modality ultrasound computed tomography based on fullwaveform data for industrial processes, IEEE Sensors Journal, 21 (2021), No. 18, 20896-20909.
[22] Koulountzios P., Aghajanian S., Rymarczyk T., Koiranen T., Soleimani M., An Ultrasound Tomography Method for Monitoring CO2 Capture Process Involving Stirring and CaCO3 Precipitation, Sensors, 21 (2021), No. 21, 6995.
[23] Kłosowski G, Rymarczyk T, Niderla K, Kulisz M, Skowron Ł, Soleimani M., Using an LSTM network to monitor industrial reactors using electrical capacitance and impedance tomography–a hybrid approach. Eksploatacja i Niezawodnosc – Maintenance and Reliability,25(2023), No.1,11.
[24] Kłosowski G., Rymarczyk T., Kania K., Świć A., Cieplak T., Maintenance of industrial reactors supported by deep learning driven ultrasound tomography, Eksploatacja i Niezawodnosc – Maintenance and Reliability; 22 (2020), No 1, 138–147.
[25] AlMahamid F., Grolinger K., Reinforcement Learning Algorithms: An Overview and Classification, arXiv e-prints (2022). arXiv:2209.14940
[26] Sutton R.S., McAllester D., Singh S., Mansour Y., Policy gradient methods for reinforcement learning with function approximation, Advances in Neural Information Processing Systems (2000), 12 (NIPS 1999)
[27] Peters J., Schaal S., Policy Gradient Methods for Robotics, IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China (2006), 2219-2225
[28] Schulman J., Levine S., Moritz P., Jordan M.I., Abbeel P., Trust Region Policy Optimization, arXiv e-prints (2015), arXiv.1502.05477
[29] Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O., Proximal Policy Optimization Algorithms, arXiv eprints (2017), arXiv.1707.06347
[30] Mnih V., Puigdomènech Badia A., Mirza M., Graves A., Lillicrap T.P., Harley T., Silver D., Kavukcuoglu K., Asynchronous Methods for Deep Reinforcement Learning, arXiv e-prints (2016), arXiv.1602.01783.

Jeśli masz wykupiony/przyznany dostęp - zaloguj się. Skorzystaj z naszych propozycji zakupu!

Publikacja


PRZEGLĄD ELEKTROTECHNICZNY- e-publikacja (pdf) z zeszytu 2024-4 , nr katalogowy 148146 licencja: Osobista Produkt cyfrowy Nowość	10.00 zł

Zeszyt


PRZEGLĄD ELEKTROTECHNICZNY- e-zeszyt (pdf) 2024-4 licencja: Osobista Produkt cyfrowy Nowość	85.00 zł

Prenumerata

PRZEGLĄD ELEKTROTECHNICZNY - prenumerata cyfrowa
licencja: Osobista

Produkt cyfrowy
Nowość

762.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - PAKIET prenumerata PLUS (Prenumerata papierowa + dostęp do portalu sigma-not.pl + e-prenumerata)	1002.00 zł brutto 927.78 zł netto 74.22 zł VAT (stawka VAT 8%)

1002.00 zł

PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna + wysyłka
licencja: Osobista

Szczegóły pakietu

Nazwa
PRZEGLĄD ELEKTROTECHNICZNY - papierowa prenumerata roczna	960.00 zł brutto 888.89 zł netto 71.11 zł VAT (stawka VAT 8%)
PRZEGLĄD ELEKTROTECHNICZNY - pakowanie i wysyłka	42.00 zł brutto 34.15 zł netto 7.85 zł VAT (stawka VAT 23%)

1002.00 zł

Zeszyt

2024-4

Twój Koszyk

Publikacja

Zeszyt

Prenumerata

Zeszyt

Czasopisma