Hierarchiczne struktury w sztucznych sieciach neuronowych

• Authors: Stanisław Płaczek

Title variants

EN

Hierarchical Structures on Artificial Neural Networks

• Languages of publication: PL EN

Abstracts

PL

W wielowarstwowych Sztucznych Sieciach Neuronowych (SSN), nieliniowych w swej strukturze, uczenie sieci polega na poszukiwaniu minimum globalnej funkcji celu. W realizacjach praktycznych – w funkcji celu – występują parametry dwóch lub trzech warstw ukrytych. Strojenie współczynników macierzy w warstwach W1, W2, czy też W3, odbywa się w procesie uczenia, który można traktować jako stan nieustalony SSN. Stany nieustalone w poszczególnych warstwach mają różne przebiegi dynamiczne, czyli zależności amplitudy błędu średniokwadratowego w warstwie od numeru iteracji. W praktycznych realizacjach procesu uczenia szybkość zbieżności procesu do stanu ustalonego, czyli minimum funkcji błędy, jest ważną charakterystyką, dlatego też podział SSN na niezależne poziomy, zdefiniowanie lokalnych funkcji celu dla każdej warstwy, skoordynowanie lokalnych procesów uczenia w celu osiągnięcia globalnego minimum ma praktyczny głęboki sens. W artkule podejmuje się próbę zastosowania ogólnej teorii złożonych systemów do opisu SSN, budowy algorytmów uczących i ich praktycznej realizacji. Tego typu podejście prowadzi do poszukiwania rozwiązań poprzez dekompozycję i koordynację w hierarchicznej strukturze SSN. Ze względu na występujące nieliniowości w poszczególnych warstwach sieci, trudno udowodnić warunki zbieżności dla stosowanych metod. Tym niemniej, praktyka realizacji różnych algorytmów pokazuje przydatność przyjętych rozwiązań.

EN

On multi-layer artificial neural networks (ANN), non-linear in their structure, network teaching consists in seeking for global minimum function of the objective. In practical implementations – in the objective’s function – there are occurring parameters of two or three hidden layers. Tuning matrix coefficients in the layers W1, W2 or W3 takes place in the teaching process which can be treated as an ANN transient state. Transient states in individual layers have different dynamic courses, i.e. dependency of the amplitude of mean squared error in the layer on the number of iteration. In practical implementations of the teaching process, the speed of process convergence to the steady state, i.e. the minimum of the error function, is an important characteristic, hence the division of ANN into independent levels, defining the local functions of the objective for every layer, coordination of the local teaching processes in order to achieve the global minimum is of practical deep sense. In his article, the author made an attempt to apply the general theory of complex systems to describe ANN, to build teaching algorithms and their practical implementation. Such an approach leads to pursuit of solutions through decomposition and coordination in the ANN hierarchical structure. Due to the occurring nonlinearities in individual layers of the network, it is difficult to prove the convergence conditions for the methods applied. Nonetheless, the practice of implementation of various algorithms indicates usefulness of the adopted solutions.

Keywords

PL

Sztuczne Sieci Neuronowe; struktury hierarchiczne; dekompozycja; koordynacja; systemy złożone

EN

artificial neural networks; hierarchical structures; decomposition; coordination; complex systems

• Publisher: Akademia Finansów i Biznesu Vistula w Warszawie
• Journal: Zeszyty Naukowe Uczelni Vistula
• Year: 2014
• Issue: 38/2014 Informatyka
• Pages: 20-37

Contributors

author

Stanisław Płaczek

• Akademia Finansów i Biznesu Vistula w Warszawie

References

• Bishop Ch.M. (2006), Pattern Recognition and Machine Learning,Springer Science + Business Media, LLC.
• Findeisen W., Szymanowski J., Wierzbicki A. (1977), Teoria i metody obliczeniowe optymalizacji, PWN, Warszawa.
• Marciniak A., Korbicz J., Kus J., (2000), Wstępne przetwarzanie danych, „Sieci Neuronowe”, t. 6, Akademicka Oficyna Wydawnicza EXIT.
• Mesarovic M.D., Macko D., Takahara Y. (1970), Theory of Hierarchical, Multilevel Systems, Academic Press, New York, London.
• Munakate T. (2008), Fundamentals of the New Artificial Intelligence,Second Edition, Springer.
• Osowski S. (2006), Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa.
• Płaczek S. (2014), Dekompozycja hierarchicznej struktury sztucznej sieci neuronowej i algorytm koordynacji, XIX Conference ZKWE’14, Poznań.
• Zeng-Guang H., Gupta H.M., Nikiforuk P.N., Min Tan and Long Cheng (2007), A Recurrent Neural network for Hierarchical Control of Inyterconnected Dynamic Systems, ”IEEE Transactions on Neural Networks”, Vol. 18, No. 2, March.