SZAU 79-82, SZAU
[ Pobierz całość w formacie PDF ]
//-->793.7. Rekurencyjne sieci neuronoweW ogólności, istnieją dwie metody wprowadzenia dynamiki do sieci neuronowych, amianowicie zastosowanie zewnętrznej pamięci w postaci linii opóźniającej lub te u yciesprzę eń zwrotnych. Najprostszym sposobem, zastosowanym w modelu neuronowym typuNNOE przedstawionym na rys. 3.7, jest podanie na wejścia klasycznej sieci dwuwarstwowejsygnału wyjściowego w poprzednich chwilach dyskretnych. Model mo na podzielić na dwieczęści: nieliniowy statyczny aproksymator (sieć neuronowa) i zewnętrzną pamięć. Dlatego teomawiany model jest często nazywany siecią neuronową z liniami opóźniającymi. Podejścietakie jest najczęściej stosowane w praktyce, umo liwia skuteczne modelowanie bardzo wielunieliniowych procesów dynamicznych. Warto jednak pamiętać, e model taki jest znaczniemniej ogólny ni model w przestrzeni stanu (3.53). Na przykład, model typ NNOE nie nadajesię do procesów, w których występują nieliniowości niejednoznaczne, np. histereza lub luz.Drugą metodą umo liwiającą wprowadzenie dynamiki do sieci neuronowych jestwprowadzenie do nich sprzę eń zwrotnych. Ze względu na rodzaj sprzę eń zwrotnych mo nawyszczególnić dwie klasy sieci rekurencyjnych:Sieci globalnie rekurencyjne, w których sprzę enia występują między neuronami tej samejwarstwy lub między neuronami ró nych warstw.Sieci lokalnie rekurencyjne, w których sprzę enia zwrotne znajdują się wyłączniewewnątrz pojedynczych neuronów. Ogólna struktura sieci jest natomiast taka sama jakw przypadku klasycznej sieci perceptronowej.Sieć RTRN (ang. Real Time Recurrent Network) słu y do przetwarzania sygnałów wczasie rzeczywistym. Jej struktura została przedstawiona na rys. 3.25. Zawiera onanuwejśćzewnętrznych, na które podawane są sygnałyu1(k−1),u2(k−1),K,unu(k−1) . Siećma tylkojednąwarstwę, liczba neuronów wynosiK.Ka dy z nich objęty jest sprzęeniem zwrotnym wtaki sposób, e sygnały wyjściowe opóźnione o jeden takt podawane sąna wejście sieci.WśródKneuronów tylkonystanowi wyjście sieci. PozostałeK−nyneuronów to neuronyukryte, niedostępne dla sygnałów zewnętrznych.Nieco innąstrukturęma rekurencyjna siećneuronowa Elmana pokazana na rys. 3.26. Jestto siećczęściowo rekurencyjna o strukturze dwuwarstwowej. Siećzawieranuwejśćzewnętrznych, liczba neuronów ukrytych wynosiK.W odró nieniu od sieci RTRN,sprzęenie dotyczy wyłącznie warstwy ukrytej. Wyjście sieci stanowiąneurony połączonetylko z warstwąukrytą, podobnie jak w sieciach jednokierunkowych. Przepływ sygnałówodbywa siętylko w jednąstronę, tzn. od warstwy ukrytej do warstwy wyjściowej. Ró nicawystępuje w warstwie ukrytej, poniewa opóźnione sygnały wyjściowe neuronów ukrytych sąpodawane na wejścia sieci.Głównązaletąrekurencyjnych sieci neuronowych typu RTRN i Elmana jest mo liwośćaproksymacji bardzo szerokiej klasy procesów dynamicznych, mogąbyćone te zastosowanedo opisu szeregów czasowych. Do uczenia sieci stosuje sięzazwyczaj algorytmy gradientowe.W porównaniu z algorytmami uczenia klasycznej sieci jednokierunkowej ich zło onośćobliczeniowa jest większa, poniewa obliczając gradient nale y uwzględnićrekurencję.801u1(k−1)Munu(k−1)q−1MMϕy1(k)q−1ϕyny(k)q−1MMϕq−1ϕRys. 3.25. Struktura sieci rekurencyjnej RTRN1u1(k−1)Munu(k−1)1q−1ϕ+y1(k)Mq−1MϕM+yny(k)q−1ϕRys. 3.26. Struktura sieci rekurencyjnej Elmana81Nieco innąstrukturęma siećneuronowa RMLP (ang. Recurrent Multi Layer Perceptron)pokazana na rys. 3.27. Omawiana siećjest rozszerzeniem klasycznej sieci jednokierunkowej odwóch warstwach ukrytych. Istniejąw niej dodatkowe połączenia skrośne między neuronamidanej warstwy oraz połączenia rekurencyjne, natomiast poszczególne warstwy sąpołączonejednokierunkowo. Siećnadaje siędo aproksymacji wielu nieliniowych procesówdynamicznych. Istotnąwadąsieci jest jednak znaczna zło onośćstruktury, co oznacza, eproces uczenia jest zazwyczaj zło ony obliczeniowo.u1(k−1)ϕϕ+y1(k)u2(k−1)ϕMMϕM+Myny(k)unu(k−1)ϕϕRys. 3.27. Struktura sieci rekurencyjnej RMLP (dla przejrzystości nie zaznaczono sygnałówpolaryzacji)W stosunku do rekurencyjnych sieci neuronowych omówionych do tej pory interesującąalternatywęstanowiąsieci lokalnie rekurencyjne globalnie jednokierunkowe (ang. LocallyRecurrent Globally Feedforward, w skrócie LRGF) [30]. Sieci LRGF mająstrukturępodobnądo jednokierunkowych sieci perceptronowych, poniewa składająsięz kilku warstwneuronów, natomiast wszystkie sygnały przepływająprzez siećtylko w jednym kierunku – odwejść, przez warstwy ukryte, do wejść. W przeciwieństwie do np. rekurencyjnych sieciRTRN lub Elmana, w sieci LRGF nie występująadne sprzęenia zwrotne międzyneuronami. Właściwości dynamiczne sieci uzyskuje sięw wyniku zastosowania neuronówdynamicznych, które zawierająwewnętrzne sprzęenia zwrotne. Istnieje wiele typówneuronów dynamicznych, najpopularniejsze z nich to neurony z filtrem o NieskończonejOdpowiedzi Impulsowej (NOI) i neurony z filtrem o Skończonej Odpowiedzi Impulsowej(SOI). Strukturęobu neuronów pokazano na rys. 3.28 i rys. 3.29.Aixi(k+1)xi(k)w1+q−1b+ϕ(⋅)AiRys. 3.28. Schemat blokowy neuronu z filtrem NOI82xi(k+1)w1+xi(k)q−1cARys. 3.29. Schemat blokowy neuronu z filtrem SOINeurony z filtrem NOI oraz z filtrem SOI mogąposłu yćdo budowy siecijednowarstwowych oraz dwuwarstwowych. Mo na udowodnić, e sieci dwuwarstwowe, przyodpowiedniej liczbie neuronów z filtrem NOI, sąw stanie odtworzyćtrajektorięstanuwygenerowanąprzez dowolnąfunkcjęklasy C1(funkcja i jej pierwsze pochodne sąciągłe).Przedstawiona na rys. 3.30 dwuwarstwowa siećLRGF mo e byćwięc z powodzeniemzastosowane do modelowania bardzo szerokiej klasy procesów dynamicznych.Istnieje mo liwośćuproszczenia dwuwarstwowej sieci LRGF z filtrami NOI. Wprzedstawionej na rys. 3.31 sieci kaskadowej stosuje sięw drugiej warstwie prostsze neuronySOI oraz wprowadza siędodatkowe połączenia między wejściami modelu a warstwąukrytąneuronów z filtrami SOI. Siećkaskadowa równie jest w stanie odtworzyćdowolnątrajektorięstanu, natomiast jej struktura i uczenie jest prostsze ni pełnej sieci LRGF.NOINOI+NOINOIu1(k−1)My1(k)Munu(k−1)MNOIM+NOIyny(k)Rys. 3.30. Struktura sieci lokalnie rekurencyjnejNOIMNOISOI+u1(k−1)My1(k)MSOIunu(k−1)M+SOIyny(k)Rys. 3.31. Struktura kaskadowej sieci lokalnie rekurencyjnej
[ Pobierz całość w formacie PDF ]