Wykorzystywanie programów uczenia w głębokim uczeniu przez wzmacnianie. O istocie rozpoczynania od rzeczy małych

• Authors: KOZIARSKI MICHAŁ , KWATER KRZYSZTOF , WOŹNIAK MICHAŁ

Title variants

EN

Using Training Curriculum with Deep Reinforcement Learning. On the Importance of Starting Small

• Languages of publication: PL EN

Abstracts

PL

Algorytmy uczenia się przez wzmacnianie są wykorzystywane do rozwiązywania problemów o stale rosnącym poziomie złożoności. W wyniku tego proces uczenia zyskuje na złożoności i wy-maga większej mocy obliczeniowej. Wykorzystanie uczenia z przeniesieniem wiedzy może czę-ściowo ograniczyć ten problem. W artykule wprowadzamy oryginalne środowisko testowe i eks-perymentalnie oceniamy wpływ wykorzystania programów uczenia na głęboką odmianę metody Q-learning.

EN

Reinforcement learning algorithms are being used to solve problems with ever-increasing level of complexity. As a consequence, training process becomes harder and more computationally demanding. Using transfer learning can partially elevate this issue by taking advantage of previ-ously acquired knowledge. In this paper we propose a novel test environment and experimentally evaluate impact of using curriculum with deep Q-learning algorithm.

Keywords

PL

głębokie uczenie przez wzmacnianie; uczenie przez transfer; uczenie się przez całe życie; proces uczenia

EN

deep reinforcement learning; transfer learning; lifelong learning,; curriculum learning

• Publisher: Uniwersytet Rzeszowski
• Journal: Edukacja-Technika-Informatyka
• Year: 2018
• Volume: 9
• Issue: 2
• Pages: 220-226

Dates

published

2018

Contributors

author

KOZIARSKI MICHAŁ

• Magister inżynier, Katedra Systemów i Sieci Komputerowych, Wydział Elektroniki, Politechnika Wrocławska, Polska

author

KWATER KRZYSZTOF

• Katedra Systemów i Sieci Komputerowych, Wydział Elektroniki, Politechnika Wrocławska, Polska

author

WOŹNIAK MICHAŁ

• Profesor doktor habilitowany inżynier, Katedra Systemów i Sieci Komputerowych, Wydział Elektroniki, Politechnika Wrocławska, Polska

References

• Bengio, Y., Louradour, J., Collobert, R., Weston, J. (2009). Curriculum Learning. Proceedings of the Twenty-Sixth International Conference on Machine Learning (ICML 2009) (s. 41–48). New York: ACM.
• Jiang L., Meng D., Zhao Q., Shan S., Hauptmann A., G. Self-Paced Curriculum Learning. AAAI Conference on Artificial Intelligence Twenty-Ninth AAAI Conference on Artificial Intelli-gence. Pobrane z: https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9750/9929 (15.12.2017)
• Lee, Y.J., Grauman, K. (2011). Learning the Easy Things First: Self-paced Visual Category Disco-very. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (s. 1721–1728), Colorado Springs: IEEE Computer Society.
• Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., Riedmiller, M. (2013). Playing Atari With Deep Reinforcement Learning. Pobrane z: https://arxiv.org/abs/ 1312.5602v1 (15.12.2017).
• Rajendran, J., Prasanna, P., Ravindran, B., Khapra, M.M. (2015). ADAAPT: A Deep Architecture for Adaptive Policy Transfer From Multiple Sources. Pobrane z: https://arxiv.org/abs/ 1510.02879v1 (15.12.2017).
• Rusu, A.A., Colmenarejo, S.G., Gulcehre, C., Desjardins, G., Kirkpatrick, J., Pascanu, R., Mnih, V, Kavukcuoglu, K., Hadsell R. (2015). Policy Distillation. Pobrane z: https://arxiv.org/abs/ 1511.06295v1 (15.12.2015).
• Silver, D., Huang, A., Maddison, C.J., Guez, A., Sifre, L., Driessche, G. v. d., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalch-brenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., Hassabis, D. (2016). Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 64 (2), 10–12.
• Sukhbaatar, S., Szlam, A., Synnaeve, G., Chintala, S., Fergus. R. (2015). MazeBase: A Sandbox for Learning From Games. Pobrane z: https://arxiv.org/abs/1511.07401v1 (15.12.2017).
• Sutton, R.S., Barto, A.G. (1998). Reinforcement Learning: An Introduction. T. 1. Cambridge: MIT Press.
• Tu, K., Honavar, V. (2011). On the Utility of Curricula in Unsupervised Learning of Probabilistic Grammars. IJCAI Proceedings-International Joint Conference on Artificial Intelligence (s. 1523–1528). T. 2. Barcelona: AAAI Press.
• Watkins, C.J., Dayan, P. (1992). Q-learning. Machine Learning, 8 (3–4), 279–292.

Identifiers

DOI

10.15584/eti.2018.2.30