[ Pobierz całość w formacie PDF ]
.Katedra Inżynierii DźwiękuKatedra Inżynierii DźwiękuLaboratorium Przetwarzania Dźwięków I ObrazówĆwiczenie nr 1Temat : Badanie struktur i algorytmów sieci neuronowych cz.I.Wykonali: Data wykonania ćwiczenia:Katarzyna Kubacka 05.XI.1998Tomasz KwidzińskiMarek ChwojnickiPodczas wykonywania ćwiczenia zapoznaliśmy się z następującymi sieciami neuronowymi:ldyskretny dychotomizatorllsieć jednowarstwowa z regułą deltallsieć z propagacją wsteczną błędulDla zbiorów uczących „dych_1.pat” określiliśmy równania linii separujących elementy należące do różnych klas.Są to :llllczyli odpowiednie wektory wag mają postać :Przykładowy zbiór dla którego trening dychotomizatora jest możliwy zapisany jest na dostarczonej dyskietce jako “dych_a.pat” natomiast zbiór dla którego trening nie jest możliwy zapisany jest jako “dych_b.pat”.Podczas analizy sieci jednowarstwowej z regułą delta zuważyliśmy, że wraz ze zwiększaniem współczynnika η nauka sieci przebiega szybciej ( w mniejszej ilości iteracji ), przy czym proces ten jest szybszy dla bipolarnej funkcji aktywacji neuronu.Przykładowo dla zbioru “sl_1.pat” wymagane ilości iteracji wynosiły ( średnio ) :η=0,5 , funkcja unipolarna - 79 iteracjiη=0,5 , funkcja bipolarna - 47 iteracjiη=1 , funkcja unipolarna - 28 iteracjiη=1 , funkcja bipolarna - 14 iteracjiη=2 , funkcja unipolarna - 6 iteracjiη=2 , funkcja bipolarna - 2 iteracje.Wartości te nie były stałe, zmieniały się jednak bardzo nieznacznie ( dla η=0,5 lub mniej zmiany poniżej 2% ).Dla zbioru uczącego „sl_2.pat” trening sieci nie był możliwy - nie można było dobrać odpowiedniego zestawu parametrów.Podczas badania sieci jednowarstwowej zauważyliśmy jeszcze jedno ciekawe zjawisko: dla pewnych wektorów wejściowych sieć kwalifikowała je do klasy „a” bądź klasy „b” przy zmianie wektora o element nie należący ani do klasy „a” ani do klasy „b” - przykład pliki „sl_a.pat” i „sl_b.pat” na dyskietce.Następnym realizowanym w ćwiczeniu zadaniem było badanie sieci z propagacją wsteczną błędu.Korzystając ze zbioru „bp.pat” przetestowaliśmy sieć dla kilku wybranych wartości współczynnika η, kilku ilości neuronów w warstwie ukrytej oraz kilku wartości współczynnika momentu.Dodatkowo dla każdego zestawu parametrów stosowaliśmy 2 typy funkcji aktywacji neuronu: bipolarną i unipolarną.Obserwując proces nauki zaobserwowaliśmy co następuje:lnauka przebiega szybciej przy większej wartości ηllnauka przebiega szybciej przy większej ilości neuronów w warstwie ukrytej, chociaż każda iteracja zabiera dużo więcej czasullbardziej korzystne ze względu na szybkość nauki sieci jest zastosowanie funkcji bipolarnej, jednak w pewnych warunkach ( przy zbyt dużej wartości η ) może to spowodować, iż sieć nie będzie w stanie się nauczyć ( plik „bp_a.pat” na dyskietce ).llnauka przebiega szybciej jeśli zastosujemy naukę z momentem, przy czym najlepsze efekty dają niewielkie wartości α, rzędu 0,1 - 0,2.Zbytnie zwiększenie tego współczynnika również powoduje, że sieć nie potrafi się nauczyć ( plik „bp_b.pat” )lZgodnie z powyższym dla zbioru „bp_sl.pat” wybraliśmy naukę przy następujących parametrach : η=1, α=0.1, funkcja bipolarna, 10 neuronów w warstwie ukrytej.Porównując sieć z wsteczną propagacją błędu z siecią z metodą delta widać wyraźną przewagę sieci ze wsteczną propagacją błędu: dla tego samego zestawu wektorów wejściowych , przedstawionego sieci z metodą delta w pliku „sl_2.pat” a sieci ze wsteczną propagacją błędu w pliku „bp_sl.pat” ta druga potrafiła się nauczyć, nawet przy niezbyt rygorystycznym doborze parametrów metody, podczas gdy dla pierwszej z nich nie potrafiliśmy określić takiego zestawu parametrów, dla którego trening sieci byłby możliwy.lOprócz wygenerowanych przez nas podczas wykonywania ćwiczenia plików na dyskietce umieszczone są pliki pierwotne wykorzystywane przez nas w laboratorium.lKatedra Inżynierii Dźwięku Wydział Elektroniki, Telekomunikacji i Informatyki PG1lll
[ Pobierz całość w formacie PDF ]