UPDATE (2012-11-25): I get many google search hits from people looking for general information on backpropagation algorithm. Here's a very good introduction: sparseAutoencoder.pdf. These notes are from lecture on autoencoders, but the first half is a description of backpropagation algorithm, with practical hints on how to implement it.

---

Kilka dni temu rozmawiałem z Dziadkiem, Pablo i Qflem o zadaniu, które mieli na przedmiocie Sztuczne Sieci Neuronowe. Polegało na próbie nauczenia warstwowej sieci neuronowej obrazka, za pomocą wstecznej propagacji błędów. Na wejściu jest pozycja (x, y), a na wyjściu ma kolor (r, g, b). Miałem ten przedmiot (dwa lata temu), dlatego wszystko co potrzebne do zbudowania takiej sieci miałem gotowe. Program był gotowy w niecałą godzinę.

Poniżej jest wideo pokazujące kilka testowych przebiegów algorytmu przy różnych konfiguracjach warstw ukrytych i różnej stałej uczenia. Na dole jest numer iteracji ("iter") oraz błąd względem oryginału ("err" i wykres). U góry jest stała uczenia ("eta") i konfiguracja sieci - przykładowo "2x32x16x3" oznacza, że są 2 neurony wejściowe (x, y), 3 wyjściowe (r, g, b) oraz dwie warstwy ukryte, kolejno po 32 i 16 neuronów).


Artificial Neural Network Backpropagation - Renoir on Vimeo.
Muzyka: Zavoloka - Nude Brainitta

Nie jest to może bardzo ciekawe i raczej mało przydatne - po prostu byłem ciekaw jak to wyjdzie. Dużo więcej nie planuję z tym robić, bo mam inne rzeczy na głowie... chociaż może spróbuję jeszcze jeden/dwa pomysły :).

UPDATE: ciąg dalszy

Labels: neuron