SZAU 42-54, SZAU
[ Pobierz całość w formacie PDF ]
//-->423. Sztuczne sieci neuronowe3.1. Neuron i jego modelInspiracją do opracowania sztucznych sieci neuronowych, zwanych krótko sieciamineuronowymi, były badania systemów nerwowych istot ywych. Transmisja sygnałówwewnątrz systemu nerwowego jest bardzo skomplikowanym procesem chemiczno-elektrycznym [29]. W skrócie, przekazywanie impulsów elektrycznych między komórkaminerwowymi polega na wydzielaniu pod wpływem nadchodzących bodźców specjalnychsubstancji chemicznych, zwanych neuromediatorami. Oddziałują one następnie na błonękomórki, powodując zmianę jej potencjału elektrycznego. Wielkość zmiany potencjału zale yod ilości neuromediatora. Sygnały wejściowe doprowadzone są do komórek za pomocąsynaps, przy czym poszczególne synapsy ró nią się wielkością oraz mo liwościamigromadzenia neuromediatora. Dlatego te ten sam impuls docierający do komórki zapośrednictwem ró nych synaps mo e powodować jej silniejsze lub słabsze pobudzenie.Stopień pobudzenia komórki zale y od sumarycznej ilości neuromediatora wydzielonego wewszystkich synapsach.Jak wynika z powy szego opisu, poszczególnym wejściom komórki mo na przypisaćwspółczynniki liczbowe odpowiadające ilości neuromediatora. W modelu matematycznymneuronu sygnały wejściowe muszą być mno one przez te współczynniki. Dzięki temu mo nauwzględnić wpływ poszczególnych sygnałów wejściowych. Wspomniane współczynnikimogą być zarówno dodatnie jak i ujemne. Pierwsze z nich działają pobudzająco, natomiastdrugie hamująco, co powoduje utrudnienie pobudzenia komórki przez inne sygnały.Na skutek uwolnienia odpowiedniej ilości neuromediatora następuje pobudzenie komórki.Je eli pobudzenie przekracza pewien próg (próg uaktywnienia komórki nerwowej), to sygnałwyjściowy gwałtownie rośnie, jest on przesyłany do innych neuronów połączonych z danąkomórką. Sygnał ten jest niezale ny od stopnia przekroczenia progu.Funkcje pełnione przez poszczególne neurony są bardzo proste (mno enie, sumowanie,generacja lub nie impulsu wyjściowego), ale nale y przypomnieć, e są one połączone w sieci– sieci neuronowe. Sieci te są bardzo skomplikowane. Przyjmuje się, e ludzki mózg liczyokoło 1011neuronów [36]. Ogromna jest równie liczba połączeń między neuronami. Siecineuronowe organizmów ywych mają dwie wa ne zalety: są odporne na błędy pojedynczychneuronów oraz charakteryzują się duąszybkością działania, istniejące komórki nerwoweprzetwarzają informację równolegle. Dzięki temu, codzienne czynności, takie jak na przykładrozpoznawanie przez człowieka obrazu i mowy lub podejmowanie decyzji odbywa się wciągu milisekund. W chwili obecnej, pomimo ciągłego postępu elektroniki, nie udało sięopracować równie efektywnych urządzeń.Kierując się zasadą działania komórki nerwowej opracowano wiele ró nych modelimatematycznych zachodzących zjawisk. W 1943 roku W. S. McCulloch i W. H. Pittsopracowali model komórki nerwowej przedstawiony na rys. 3.1. Model ten do dzisiaj stanowipodstawę wielu sieci neuronowych. Zgodnie z opisaną zasadą działania komórki nerwowejprzyjęto, e sygnały wejściowex1,K,xNsumowane są z odpowiednimi współczynnikamiwi,j, zwanymi wagami, a następnie poddane działaniu pewnej nieliniowej funkcji aktywacjiϕ. Sygnał wyjściowyi-tego neuronu obliczany jest ze wzoruNyi=ϕ(zi)=ϕ∑wi,jxj+wi, 0j=1(3.1)43przy czymzioznacza sumę wa oną sygnałów wejściowych. Poniewa komórka nerwowamo e być uaktywniona (generować na wyjściu impuls) lub nie, w modelu McCullocha-Pittsaprzyjęto funkcję aktywacji w postaci skoku jednostkowego.ϕ(zi)=1 dla0 dlazi>zi≤(3.2)Współczynnikiwi,jreprezentują połączenia synaptyczne. Gdywi,j>0 synapsa działapobudzająco, gdywi,j<0 synapsa działa hamująco, natomiast zerowa wartośćwagiświadczy o braku połączenia. Wagawi,0jest tzw. polaryzacjąneuronu, skojarzona jest ona zestałym wejściem, na które podaje sięsygnał jednostkowy.x1wi,11wi,0x2wi, 2wi,3+ziyix3MxNwi,NRys. 3.1. Model neuronu McCullocha-PittsaWarto podkreślić, e choćprzedstawiony powy ej model komórki nerwowej jeststosunkowo prosty, to jednak stanowi on podstawęwiększości współcześnie stosowanychsieci neuronowych. W pochodzącej z 1962 roku pracy F. Rosenblatta model neuronu zbinarnąfunkcjąaktywacji wykorzystano do przedstawienia teorii dynamicznych systemówneuronowych modelujących mózg.Dobór funkcji aktywacji neuronów determinuje wybór algorytmów uczących sieci, dziękiktórym mo na dobraćwartości wag do aktualnie rozwiązywanego problemu, np.aproksymacji. Funkcja aktywacji zastosowana w modelu neuronu McCullocha-Pittsa nie jestciągła. Zwykle wykorzystuje sięfunkcje ciągłe, dzięki czemu do uczenia sieci mo nazastosowaćbardzo skuteczne gradientowe metody optymalizacji. Struktura najczęściejwykorzystywanego neuronu sigmoidalnego jest właściwie analogiczna jak modeluMcCullocha-Pittsa, ale jego funkcja aktywacji jest ciągła. Mo na zastosowaćsigmoidalnąfunkcjęunipolarnąϕ(zi)=lub funkcjębipolarną11+e−βzi(3.3)ϕ(zi)=tgh (βzi)(3.4)Wartośćwspółczynnikaβjest parametrem, który wpływa na kształt funkcji aktywacji. Na rys.3.2 przedstawiono wpływ tego parametru na kształt unipolarnej i bipolarnej funkcji aktywacji.44W praktyce zwykle przyjmuje sięβ=1.a)b)Rys. 3.2. Sigmoidalne funkcje aktywacji: a) unipolarna, b) bipolarna3.2. Zastosowania sieci neuronowychWzajemnie ze sobąpołączone neurony tworząsiećneuronową. Mająone zdolnośćuczeniasięna przykładach i adaptacji do zmieniających sięwarunków, posiadajązdolnośćuogólniania nabytej wiedzy. Obecnie tematyka sztucznych sieci neuronowych stanowiintensywnie rozwijającąsięinterdyscyplinarnądziedzinęwiedzy. Sieci neuronowe znajdujązastosowanie w wielu dziedzinach, nie tylko w technice, lecz tak e w fizyce, medycynie,statystyce lub nawet naukach ekonomicznych.Najbardziej rozpowszechnionym zastosowaniem sieci neuronowych jest aproksymacjanieliniowych funkcji wielu zmiennych. Udowodniono, e przy wystarczająco du ej liczbieneuronów siećneuronowa jest uniwersalnym aproksymatorem nieliniowych funkcji wieluzmiennych [11]. Bardzo wiele zadańmodelowania, identyfikacji oraz przetwarzania sygnałówmo na sprowadzićdo zadania aproksymacji [29].W praktyce wykorzystuje sięzarówno modele statyczne i dynamiczne procesów. Wporównaniu z innymi klasami modeli zaletąsieci neuronowych jest nie tylko du a dokładnośćmodelowania, lecz tak e fakt, e ich struktura jest bardzo prosta, regularna. Modeleneuronowe mająstosunkowo mało parametrów, nie występuje tzw. zjawisko „przekleństwawymiarowości”, polegające na gwałtownym zwiększaniu liczby parametrów (wag) przywzroście wymiarowości problemu. Modele neuronowe, co zostanie omówione w dalszejczęści pracy, mogąbyćefektywnie zastosowane do modelowania rzeczywistych procesów.W automatyce neuronowe modele dynamiczne znajdujązastosowanie w wielualgorytmach regulacji (między innymi w algorytmie IMC i w algorytmach regulacjipredykcyjnej). Neuronowe modele statyczne mogąbyćnatomiast wykorzystane dooptymalizacji ekonomicznej punktu pracy. Oprócz aproksymacji, modelowania iprognozowania, sieci neuronowe znajdujązastosowanie w klasyfikacji oraz rozpoznawaniu,równie mowy i obrazów. Sieci neuronowe wykorzystuje siędo kompresji danych,przetwarzania sygnałów (np. filtracji, separacji), diagnostyce, optymalizacji.Wieloletnie badania zaowocowały opracowaniem ró nych struktur sieci neuronowych.Rozwojowi struktur sieci neuronowych towarzyszyło opracowanie licznych algorytmówuczenia oraz syntezy optymalnej architektury, umo liwiających wyznaczenie argumentówmodelu oraz liczby neuronów ukrytych. O u yteczności sieci neuronowychświadcząlicznezastosowania praktyczne.453.3. Jednokierunkowe sigmoidalne sieci neuronoweW zale ności od wzajemnego połączenia neuronów mo na wyró nićsiecijednokierunkowe lub rekurencyjne. W tym drugim przypadku występuje sprzęenie zwrotnemiędzy niektórymi neuronami, np. między wejściem a wyjściem sieci. Choćopracowanobardzo wiele ró nych typów sieci [29], największym zainteresowaniem cieszy sięsiećjednokierunkowa z neuronami o sigmoidalnej funkcji aktywacji. Siećtaka nazywana jestczęsto perceptronem wielowarstwowym (ang. Multi Layer Perceptron, w skrócie MLP). Siecitego typu sąnajczęściej stosowane w praktyce do rozwiązywania najró niejszych zadań, wtym oczywiście do aproksymacji, modelowania i predykcji.W sieciach jednokierunkowych przepływ sygnałów odbywa siętylko w jednym kierunku,od wejścia do wyjścia. Na rys. 3.3 przedstawiono najprostsząsiećneuronową, zawierającątylko jednąwarstwęneuronów. Wszystkie neurony działająniezale nie od siebie. SiećmaNwejść,MwyjśćorazKneuronów. Ka dy neuron ma sygnał polaryzacji (wejście ze stałymsygnałemx=1 ). Wagi oznaczone sąsymbolemwi,j, przy czym indeksiwskazuje neuron(i=1,K,K), natomiastjindeksuje wejścia sieci (j=0,K,N).Polaryzacjax=1x1wK,1x2w1,1w1, 0ϕϕy1y2x3MxNw1,NwK,NMwK, 0ϕyMWyjściasieciWejściaWagiNeuronysieciRys. 3.3. Struktura jednokierunkowej jednowarstwowej sieci neuronowejSiećneuronowa realizuje odwzorowanie funkcyjney1=f1(x1,K,xN)MyM=fM(x1,K,xN)Korzystając z topologii sieci przedstawionej na rys. 3.3, jej sygnały wyjściowe mo naobliczyćz zale ności(3.5)y1=ϕ(w1,0+w1,1x1K+w1,NxN)MyM=ϕ(wM, 0+wM,1x1K+wM,NxN)(3.6)46co mo na zapisaćw sposób zwarty jakoNwm, 0+∑wm,jxjym=ϕ(3.7)j=1gdziem=1,…,Mwskazuje wyjście modelu.Siećo jednej warstwie neuronów ma ograniczone zdolności aproksymacji. Znacznielepszym rozwiązaniem jest zastosowanie sieci o dwóch warstwach ukrytych. Analogiczniejak siećjednowarstwowa, równie siećdwuwarstwowa realizuje odwzorowanie funkcyjne(3.5), ale w nieco inny sposób.Strukturęsieci dwuwarstwowej przedstawiono na rys. 3.4. Analogicznie jak w przypadkusieci jednowarstwowej, siećmaNwejśćorazMwyjść. Liczba neuronów pierwszej warstwy(neuronów ukrytych) wynosiK.Liczba neuronów drugiej warstwy (neuronów wyjściowych)jest równa liczbie wyjśćsieciM.Do wszystkich neuronów doprowadzone sąsygnałypolaryzacji. W przypadku warstwy ukrytej jest to po prostu dodatkowe stałe wejście siecix=1 . W przypadku warstwy wyjściowej jest to stały sygnałv=1 . Wagi pierwszejwarstwy oznaczone sąsymbolemwi1,j, przy czym indeksiwskazuje neuron ukryty(i=1,K,K), natomiastjindeksuje wejścia sieci (j=0,K,N). Wagi drugiej warstwyoznaczone sąjakowi2,j, przy czym indeksiwskazuje wyjście sieci (i=1,K,M), natomiastjindeksuje wejścia drugiej warstwy, czyli sygnał polaryzacjivoraz neurony ukryte(j=0,K,K).W warstwie ukrytej sieci zastosowano neurony o nieliniowej, na przykład sigmoidalnej funkcjiaktywacji, natomiast neurony wyjściowe sąliniowe (sumatory). Siećtego typu jest najczęściejstosowana, ale w ogólności mo na równie zastosowaćnieliniowe neurony wyjściowe.Polaryzacja pierwszejwarstwyx=1x11w1,11w1, 0Polaryzacjadrugiej warstwyϕw1 ,1Kw12,1v=12wM,1w12,0+x2ϕy1x3MxN1w1,NMw1 , 0Kw1 ,NKw12,K2wM,Kw12,M+yMϕWyjściasieciWejściasieciWagi pierwszej Neurony Wagi drugiej Neuronypierwszejdrugiejwarstwywarstwywarstwywarstwy(ukryte)(wyjściowe)Rys. 3.4. Struktura jednokierunkowej dwuwarstwowej sieci neuronowej
[ Pobierz całość w formacie PDF ]