SZAU 54-60, SZAU
[ Pobierz całość w formacie PDF ]
//-->54zmianie wartości wag w kolejnych iteracjach algorytmu uczącego uwzględnia się jedynieznak gradientu, jego konkretna wartość nie ma znaczenia. Modyfikacja wag dowolnejwarstwy przebiega zgodnie ze schematemwi,j,n+1=wi,j,n∂E(w)−ηi,j,nsgn∂wi,j(3.42)Współczynnik długości krokuηi,j,njest dobierany oddzielnie dla ka dej wagiwi,jnapodstawie zmian gradientu w następujący sposóbηi,j,nmin(aηi,j,n−1,ηmax) gdySi,j,nSi,j,n−1>=max(bηi,j,n−1,ηmin) gdySi,j,nSi,j,n−1<ηw pozostaych przypadkachi,j,n−1(3.43)gdzieSi,j,n=∂E(w), natomiastaorazbsąstałymi.∂wi,jW porównaniu z klasycznym algorytmem najszybszego spadku, algorytm RPROPumo liwia przyspieszenie uczenia w tych obszarach, w których nachylenie minimalizowanejfunkcji kryterialnej jest niewielkie [29].Warto równie wspomnieć, e do uczenia sieci neuronowych sąstosowane algorytmyoptymalizacji globalnej, których celem jest znalezienie minimum globalnego danej funkcjicelu. Przykładem takiego podejścia sąalgorytmy ewolucyjne omówione w rozdziale piątym.3.4. Statyczne i dynamiczne modele neuronoweWspomniano ju , e dwuwarstwowa siećneuronowa jest doskonałym aproksymatoremfunkcji wielu zmiennych (3.5). Bez adnych modyfikacji siećmo e byćwięc zastosowana domodelowania właściwości statycznych procesów. Warto jednak wspomnieć, e najczęściejstosuje sięsieci o wielu wejściach i jednym wyjściu. Choćw niektórych przypadkach sieciwielowyjściowe okazująsięskutecznym rozwiązaniem (szczególnie wówczas, gdy sygnaływyjściowe sąskorelowane), generalnie lepszym rozwiązaniem jest oddzielne uczenieMsiecio jednym wyjściu. Pojedyncza siećrealizuje odwzorowanie funkcyjney=f(x1,K,xN)(3.44)Sieci neuronowe mo na równie z powodzeniem zastosowaćdo modelowania procesówdynamicznych. Poniewa uwzględnienie dynamiki mo e byćzrealizowane ró nymisposobami, opracowano wiele ró nych struktur modeli neuronowych modeli dynamicznych.W najprostszym modelu dynamicznym skończonej odpowiedzi impulsowej (ang. FiniteˆImpulse Response, FIR) aktualna wartośćsygnału wyjściowego, oznaczona przezy(k) , jestfunkcjąsygnału wejściowego w poprzednich chwilach próbkowaniaˆy(k)=f(u(k−τ),K,u(k−nB))(3.45)Je eli funkcjafjest realizowana przez siećneuronową, przy czym przewa nie stosuje sięjednokierunkowe sieci sigmoidalne o jednej warstwie ukrytej, otrzymany model nosi nazwęNNFIR (ang. Neural Network Finite Impulse Response). Jego ogólna struktura zostałapokazana na rys. 3.5.Zało enie, e sygnał wyjściowy modelu jest funkcjąwyłącznie opóźnionych sygnałówwejściowych powoduje, e dynamika modelu (określona liczba naturalnąnB) musi być55zwykle wysokiego rzędu. Niestety, model neuronowy typu FIR nadaje siędo modelowaniaograniczonej klasy procesów. Znacznie lepszym rozwiązaniem jest przyjęcie, e aktualnawartośćsygnału wyjściowego jest funkcjąnie tylko sygnału wejściowego, ale równiewyjściowego procesu w poprzednich iteracjach (chwilach próbkowania)ˆy(k)=f(u(k−τ),K,u(k−nB),y(k−1),K,y(k−nA))(3.46)Otrzymany model nosi nazwęNNARX (ang. Neural Network Auto Regressive with eXternalinput), jego struktura została pokazana na rys. 3.6. Omawiany model jest czasami nazywanymodelem szeregowo-równoległym.u(k−τ)MSieć neuronowau(k−nB)ˆy(k)Rys. 3.5. Struktura modelu neuronowego typu FIR (NNFIR)W bardzo wielu zastosowaniach, na przykład w algorytmach regulacji predykcyjnej,poądane jest zastosowanie modelu rekurencyjnego typu NNOE (ang. Neural NetworkOutput Error), w którym aktualna wartośćsygnału wyjściowego jest funkcjąsygnałuwejściowego procesu w poprzednich iteracjach oraz sygnału wyjściowego modeluobliczonego w poprzednich iteracjach (a nie sygnału wyjściowego procesu jak ma to miejscew modelu NNARX)ˆˆˆy(k)=f(u(k−τ),K,u(k−nB),y(k−1),K,y(k−nA))(3.47)Strukturęmodelu NNOE przedstawiono na rys. 3.7. Model ten, w odró nieniu od szeregowo-równoległego modelu NNARX, jest nazywany modelem równoległym. W literaturze spotykasięrównie określenie „model symulacyjny”, co podkreśla zdolnośćmodelu do obliczaniawartości sygnału wyjściowego bez konieczności pomiaru sygnału wyjściowegorzeczywistego procesu.u(k−τ)Mu(k−nB)y(k−1)MSieć neuronowaˆy(k)y(k−nA)Rys. 3.6. Struktura modelu neuronowego typu ARX (NNARX)Nale y jednak podkreślić, e o ile uczenie modelu neuronowego typu NNARX jest proste,odbywa sięwłaściwie tak samo jak uczenie modelu statycznego (z tątylko ró nicą, ewejściami modelu sąprzesunięte w czasie sygnały wejściowe i wyjściowe procesu), toalgorytm uczenia modelu typu NNOE jest znacznie bardziej zło ony obliczeniowo. Jest to56spowodowane tym, e podczas uczenia musi byćuwzględniona rekurencja, zale nośćsygnałuwyjściowego modelu od wartości tego sygnału w poprzednich iteracjach. W praktyce jednakbardzo częste, właściwie dominujące, jest uczenie prostszego modelu typu NNARX, anastępnie jego weryfikacjęna reprezentatywnym zbiorze danych w trybie rekurencyjnym.Choćoczywiście uczenie modelu typu NNOE jest koncepcyjnie bardziej poprawne,stosowany w trybie rekurencyjnym model NNARX (uczony bez rekurencji) zwykle pracujepoprawnie, jego błąd jest dostatecznie mały.u(k−τ)Mu(k−nB)q−1ˆy(k−1)MSieć neuronowaˆy(k)q−nAˆy(k−nA)Rys. 3.7. Struktura modelu neuronowego typu OE (NNOE)Kolejnąodmianąmodelu neuronowego procesu dynamicznego jest struktura NNARMAX(ang. Neural Network Auto Regressive Moving Average with eXternal input), w którymaktualna wartośćsygnału wyjściowego modelu, analogicznie jak w modelu NNARX, jestfunkcjąsygnału wejściowego i wyjściowego procesu w poprzednich iteracjach oraz,dodatkowo, sygnału błędu modelu w poprzednich iteracjachˆy(k)=f(u(k−τ),K,u(k−nB),y(k−1),K,y(k−nA),ε(k−1),K,ε(k−nC))Błąd modelu obliczany jest jakoˆε(k)=y(k)−y(k)(3.49)(3.48)Struktura modelu typu NNARMAX jest pokazana na rys. 3.8.Warto wspomniećo strukturach neuronowych słuących do modelowania szeregówczasowych. Sąto modele typu NNAR (ang. Neural Network Auto Regressive), w którychaktualna wartośćsygnału wyjściowego jest funkcjąwyłącznie sygnału wyjściowego procesuw poprzednich iteracjach (chwilach próbkowania)ˆy(k)=f(y(k−1),K,y(k−nA))(3.50)oraz modele NNARMAX (ang. Neural Network Auto Regressive Moving Average), wktórym dodatkowo uwzględnia sięwpływ sygnału błędu modelu w poprzednich iteracjachˆy(k)=f(y(k−1),K,y(k−nA),ε(k−1),K,ε(k−nC))(3.51)Omówione do tej pory struktury neuronowych modeli dynamicznych (tzn. modele NNFIR,NNARX, NNOE, NNARMAX) sąmodelami typu wejście-wyjście. Sygnał wyjściowymodelu jest funkcjąsygnałów wejściowych i wyjściowych (procesu lub modelu) wpoprzednich iteracjach. Bardzo szeroka grupa rzeczywistych procesów mo e byćopisana zapomocąmodeli typu wejście-wyjście, sąone najczęściej stosowane w praktyce w57algorytmach regulacji lub detekcji uszkodzeń. Z drugiej jednak strony warto przypomnieć, emodele tego typu nie sątak ogólne jak modele w przestrzeni stanu. Ograniczenia modeliwejście-wyjście dotycząprocesów z niejednoznacznąnieliniowością, np. histereząlub luzemoraz częściowo procesów z nieliniowościami nieodwracalnymi. W takich przypadkachdecydującąrolęodgrywająniemierzalne stany wewnętrzne. W ogólności, modele typuwejście-wyjście mo na zastosować, pod warunkiem jednak, e stan jest skończonąfunkcjąsygnałów wejściowych i wyjściowych w poprzednich iteracjach. Je eli nie jest to mo liwe,system ma stany ukryte, konieczne jest zastosowanie modeli w przestrzeni stanu.u(k−τ)Mu(k−nB)y(k−1)MSieć neuronowaˆy(k)y(k−nA)q−1ε(k−1)Mq−nCε(k−nC)–ε(k )+y(k )Rys. 3.8. Struktura modelu neuronowego typu ARMAX (NNARMAX)W ogólnym przypadku model procesu nieliniowego w przestrzeni stanu ma postaćx(k+1)=f(x(k),u(k))y(k)=g(x(x))(3.52)gdzieforazgsąpewnymi funkcjami nieliniowymi. Wektor stanu manxelementów, tzn.Tx(k)=x1(k)Kxnx(k) . Równowa ny model mo na przedstawićnastępująco[]x(k)=f(x(k−1),u(k−1))y(k)=g(x(x))(3.53)Struktura modelu neuronowego w przestrzeni stanu NNSS (ang. Neural Network State Space)została pokazana na rys. 3.9. W odró nieniu od omówionych uprzednio modeli typu wejście-wyjście, w modelu typu NNSS stosuje siędwie sieci neuronowe. Pierwsza z nich realizujenieliniowe równanie stanu, druga – nieliniowe równanie wyjścia.Przedstawione do tej pory neuronowe modele dynamiczne dotycząprocesów o jednymwejściu. Wiele spotykanych w praktyce procesów ma naturęwielowymiarową, przy czymsprzęenia skrośne sąsilne, nie mogąbyćone pominięte podczas modelowania. Niech liczbazmiennych wejściowych wynosinu, natomiast liczba zmiennych wyjściowychny. Proces ma58wówczas wejściau1,u2,K,unuoraz wyjściau1,u2,K,uny.q−1Oq−1x1(k)x1(k−1)Mxnx(k−1)Sieć neuronowa SN1x(k)=f(x(k−1),u(k−1))MSieć neuronowa SN2y(k)xnx(k)y(k)=g(x(k−1))u(k–1)Rys. 3.9. Struktura modelu neuronowego w przestrzeni stanu (NNSS)u1(k−τ)Mu1(k−nB)Munu(k−τ)Munu(k−nB)ˆy1(k)Sieć neuronowaMˆyny(k)y1(k−1)My1(k−nA)Myny(k−1)Myny(k−nA)Rys. 3.10. Struktura wielowymiarowego modelu neuronowego (NNARX) z pojedyncząsieciąIstniejądwa podejścia do modelowania procesów wielowymiarowych. W pierwszymprzypadku stosuje sięjednąsiećneuronowąonywyjściach. Struktura wielowymiarowegomodelu typu NNARX pokazana jest na rys. 3.10 (struktury modeli NNFIR, NNOE iNNARMAX sąanalogiczne). Zakładając, e rząd dynamiki wszystkich wejśći wyjśćjest takisam (opóźnienieτi liczba naturalnanBjest stała dla wszystkich wejśćoraz liczba naturalnanAjest stałądla wszystkich wyjść), siećneuronowa ma anu(nB−τ+1)+nynAwejśćinywyjść. Uczenie takiej sieci jest zwykle trudne, konieczne jest u ycie bardzo wielu neuronów
[ Pobierz całość w formacie PDF ]