Studijoms.lt

Referatai, konspektai

Neuroniniai tinklai

Autorius: Jomantas

Mokomieji neuroniniai tinklai su papildomais triukšmais atitinkamame signale

Įžanga.

Sunkiai sprendžiamos dvi pagrindinės problemos susijusios su atgaliniu (backpropagation) mokymu – tai sudėtingos problemos ir Local minimum entrapment. Pirmos problemos sprendimui buvo pasiūlyti tokie būdai, kaip greitas mokymas (propaganda) (quickprop) , momentinis mokymas ir t.t. [Fahlman,1988; Hinton, 1989]; antroji problema yra svarbesnė, kadangi ji susijusi su gradiento įverčio prigimtimi. Local minimum entrapment gali būti sprendžiamas modeliuojant (annealing) arba susijusius metodus, apimančius Langevin’o algoritmą ir sklaidos (diffusion) optimizavimo metodą [Rognvaldsson, 1994; Krogh and Hertz,1992; Szu, 1986; Kushner, 1987]. Šių metodų bendra prasmė – kintamo valdymo triukšmų periodo įvedimas į kiekvieną svorinį vektorių ( the injection of a noise term of controlled variance into each weight vector.) Šie metodai turi labai lėtą konvergavimą, bet teoriškai jie gali įveikti vietinį minimumą (local minima.) Kitas trūkumas yra tas, kad vienas turi valdyti daugybę vidinių kintamųjų (kiekvienam svoriui nustatyti triukšmo periodus), kas nėra labai efektyvu. Arba apibrėžti tik išorinius kintamuosius – tokius kaip įėjimo signalas (input), norimas signalas ir žingsnio dydis. Iš pragmatiškos požiūrio pusės labai pageidaujami būtų taip vadinami on-line (tiesioginiai) algoritmai, t.y. algoritmai, kur atskiram pavyzdžiui svoriai kaskart būtų atnaujinami. Bet žvelgiant iš (annealing) modeliavimo pusės į stochastinę on-line atnaujinimo metodų prigimtį , jų realizavimas nebūtų efektyvus. Dėl šių priežasčių bus bandoma atlikti tokį eksperimentą: pridėti triukšmus prie norimo signalo ir eksperimentiškai ištirti tokios procedūros privalumus.

Triukšmas taip pat buvo naudojamas gradiento perdavimo (descent) procedūrose. Holmstrom išanalizavo statinio BP algoritmo [Holmstrom and Koistinen, 1992] apibendrinimo galimybę, kuomet atsitiktinis triukšmas įvedamas į išorinius signalus. Šie bandymai parodė, kad apibendrinimas gali būti pagerintas naudojant bandomuosiusose (training) duomenyse papildomus triukšmus. Matsuoka pademonstravo, kad ir triukšmo įvedimas į vieną įėjimo signalą gali pagerinti apibendrinimą (generalization) [Matsuoka, 1992]. Abu autoriai susikoncentravo tik ties tinklo apibendrinimo galimybe, tačiau jie nenagrinėjo triukšmų poveikio mokymosi greičiui ir išėjimo iš local minima galimybės.

II Mokymosi su papildomais triukšmais atitinkamame signale analizė

II.1 Klasikinis stebimas mokymasis

Šioje dalyje kaip mokymosi sistemos prototipas yra naudojamas daugiasluoksnis perceptronas (perceptron) (MLP) su dviem lygiais. Tačiau išvados gali būti atvaizduojamos atsikartojančiose topologijose. Šiame tinkle, xk aprašo iėjimo vektoriaus vieną elementą; yi yra išėjimo lygio i-tasis išėjimas; Wij nusako svorius tarp paslėpto ir išėjimo sluoksnių; Vjk yra svoris tarp įėjimo ir paslėpto sluoksnio; ir Pj nusako paslėpto sluoksnio aktyvavimą. Pateiktas čia apmokymo algoritmas – tai atgalinio mokymo (backpropagation) (BP) algoritmas [Rumelhart et al, 1986].

Tegul di(t) žymi kelis norimus išėjimo neurono i laiko momentu t atsakymus, kur t yra diskretaus laiko indeksas. Galima apibrėžti klaidos signalą, kaip skirtumą tarp norimo atsakymo di(t) ir turimo atsakymo yi(t). Tai nusakomo (1) formulė:

Puslapiai: 1 2 3 4 5 6 7 8

Rašykite komentarą

-->