xor4d_obserwacje

Jeśli chodzi o uczenie sieci HCL problemu XOR4D zaobserwowałem następujące rzeczy (na chwilę obecną konfiguracja sieci neuronowej wygląda następująco: 4 neurony wejściowe, 25 ukrytych, 2 wyjściowe)
 * dane muszą być zróżnicowane (w przypadku gdy był to duży zestaw zawierających liczby całkowite, aktywacja wszystkich neuronów warstwy ukrytej zmierzała do 1 niezależnie od bodźca. Po dodaniu 20% ziarna sieć uczyła się zdecydowanie inaczej, można było zaobserwować postępujący spadek avg_sse
 * jeden z głównych problemów spowodowany był złymi danymi wejściowymi - rozmywane były dane jedynie w pobliżu "1", wartości w "0" zawsze wynosiły 0.00. Po poprawieniu zbiorów wejściowych nie ma problemu z nauką mniejszymi zbiorami danych (poprzednio możliwe było nauczenie sieci zbiorem zawierających 800 wektorów, na chwilę obecną nie ma problemu ze zbiorem 100 wektorów.
 * Po ustawieniu poprawnych zbiorów wejściowych można było wytrenować sieć zbiorem małym (100) a następnie uruchomić test zbiorem większym (800) - błąd avg_sse wyniósł 0.0014, co oznacza, że sieć poprawnie nauczyła się problemu