Sztuczny neuron: wejścia, wagi, suma ważona, próg

🎯 Po co Ci to?

To jest ta jednostka, po której „sieć neuronowa" przestaje być zaklęciem. Zobaczysz, że najmniejszy element modelu, który potrafi rozpoznać Twoją twarz albo napisać wiersz, wykonuje działanie, które umiesz policzyć w głowie: kilka mnożeń i jedno dodawanie. Cała trudność uczenia maszynowego nie polega na skomplikowaniu tego elementu, ale na tym, jak dobrać w nim liczby — i ile takich elementów zestawić razem.

✅ Czego się nauczysz

Po tej lekcji potrafisz:

• opisać sztuczny neuron przez cztery składniki: wejścia, wagi, sumę ważoną, funkcję aktywacji;
• policzyć wyjście neuronu dla podanych wejść i wag;
• wyjaśnić znaczenie wagi dodatniej, ujemnej i bliskiej zeru;
• wyjaśnić, czym jest obciążenie (bias) i dlaczego to „przesuwalny próg";
• wskazać, w jakim sensie sztuczny neuron jest, a w jakim nie jest modelem neuronu biologicznego.

🔁 Przypomnij sobie

Z Jednostki 8.1: neuron biologiczny odbiera impulsy dendrytami, a gdy ich suma przekroczy pewien próg, generuje własny impuls, który wędruje aksonem dalej. Z Jednostki 8.2: McCulloch i Pitts w 1943 roku pokazali, że taki próg da się zapisać matematycznie. I z Jednostki 9.5 — wzór regresji liniowej: suma cech pomnożonych przez wagi plus wyraz wolny. Za chwilę te trzy rzeczy okażą się jednym.

📘 Wyjaśnienie

Od neuronu biologicznego do sztucznego

Sposób działania sztucznego neuronu jest wzorowany na biologicznym, ale wzorowany luźno — na poziomie schematu, nie mechanizmu. W komórce nerwowej dendryty odbierają impulsy od innych neuronów albo od receptorów zmysłów; gdy suma impulsów osiągnie próg, neuron generuje impuls elektryczny, który przemieszcza się aksonem i przez synapsy trafia do kolejnych komórek.

Sztuczny neuron ma odpowiednik każdego z tych elementów:

neuron biologiczny	sztuczny neuron
dendryty (odbierają impulsy)	wejścia — liczby s₁, s₂, …, sₙ
„waga" połączenia synaptycznego	wagi — liczby w₁, w₂, …, wₙ
sumowanie impulsów w ciele komórki	suma ważona
próg wywołania impulsu	funkcja aktywacji
impuls w aksonie	wyjście — jedna liczba

Kluczowa obserwacja: neuron biologiczny nie traktuje wszystkich dendrytów jednakowo „poważnie" — impulsy z jednych połączeń liczą się bardziej niż z innych. Sztuczny neuron robi to samo, tylko wprost i liczbowo: każde wejście mnoży przez swoją wagę. Pomnożenie sygnału o wartości 1 przez 0,5 daje 0,5, czyli osłabia go o połowę; pomnożenie przez 2 wzmacnia dwukrotnie.

Cztery kroki, które wykonuje neuron

   s₁ ──w₁──┐
   s₂ ──w₂──┤
   s₃ ──w₃──┼──►  Σ  ──►  +b  ──►  f( )  ──►  y
   s₄ ──w₄──┘    suma    obcią-   funkcja    wyjście
                 ważona   żenie   aktywacji

Krok 1 — wejścia. Neuron dostaje liczby s₁, …, sₙ. To albo dane z zewnątrz (jasność piksela, wynik badania, liczba z tabeli), albo wyjścia neuronów z poprzedniej warstwy.

Krok 2 — ważenie. Każde wejście mnożymy przez odpowiadającą mu wagę.

Krok 3 — sumowanie. Dodajemy wszystko i doliczamy jedną dodatkową liczbę — obciążenie (ang. bias), oznaczane b:

z = w₁·s₁ + w₂·s₂ + w₃·s₃ + w₄·s₄ + b

Krok 4 — aktywacja. Sumę z przepuszczamy przez funkcję aktywacji f, która decyduje, jak silna będzie reakcja neuronu. Najprostsza wersja to próg: jeśli z przekracza 0, neuron zwraca 1 (odpowiednik impulsu), w przeciwnym razie 0 (brak impulsu). Ale aktywacja nie musi być binarna — częściej jest wartością z pewnego przedziału, na przykład od 0 do 1: im silniejszy sygnał, tym większa wartość na wyjściu. Rodzajami funkcji aktywacji zajmiemy się w Jednostce 10.2.

Na rycinie widać oba piętra tej analogii naraz. U góry neuron biologiczny: wypustki-dendryty zbierają sygnały, ciało komórki je „sumuje", akson wysyła wynik dalej. U dołu jego matematyczny odpowiednik: cztery wejścia, cztery wagi, symbol sumy Σ, funkcja aktywacji i jedno wyjście. Cała reszta biologii — chemia, czas, częstotliwość impulsów — została po prostu odrzucona.

📐 DEFINICJA — sztuczny neuron: jednostka obliczeniowa, która mnoży swoje wejścia przez wagi, sumuje wyniki wraz z obciążeniem i przepuszcza tę sumę przez funkcję aktywacji, zwracając jedną liczbę.

Po ludzku: liczy „ile w sumie przemawia za" i sprawdza, czy to wystarczy, żeby się odezwać. Czym to NIE jest: to nie model komórki nerwowej w sensie biologicznym — prawdziwy neuron ma tysiące synaps, chemię neuroprzekaźników, częstotliwość impulsów i historię pobudzeń. Sztuczny neuron ma cztery działania arytmetyczne.

Policzmy: neuron oceniający, czy iść pobiegać

Weźmy neuron z trzema wejściami. Każde wejście to liczba od 0 do 1 opisująca jedną okoliczność:

• s₁ = 0,9 — pogoda jest dobra (blisko 1 znaczy „bardzo dobra");
• s₂ = 0,2 — jestem zmęczony (blisko 1 znaczy „bardzo zmęczony");
• s₃ = 0,7 — mam wolny czas.

Wagi tego neuronu (nauczone wcześniej, my je tylko odczytujemy):

• w₁ = 2,0 — pogoda jest ważna i sprzyja decyzji o bieganiu;
• w₂ = −3,0 — zmęczenie przeciwdziała decyzji, i to mocno;
• w₃ = 1,0 — wolny czas sprzyja, ale słabiej niż pogoda;
• b = −0,5 — obciążenie, czyli „domyślna niechęć do wstania z kanapy".

Liczymy sumę ważoną:

z = 2,0 · 0,9 + (−3,0) · 0,2 + 1,0 · 0,7 + (−0,5) z = 1,8 − 0,6 + 0,7 − 0,5 = 1,4

Suma jest dodatnia, więc przy funkcji progowej neuron zwraca 1 — „idź pobiegać". Zmieńmy jedną rzecz: niech zmęczenie wynosi 0,9 zamiast 0,2.

z = 1,8 − 2,7 + 0,7 − 0,5 = −0,7 → wyjście 0, „zostań"

Zwróć uwagę, co się właśnie stało. Neuron nie ma żadnej reguły „jeśli zmęczony, to nie biegaj". Ma tylko liczby — a zachowanie przypominające regułę wynika z ich wartości. To jest sedno całego uczenia maszynowego w miniaturze.

Co znaczą znaki i wielkości wag

Wagę czyta się na dwa sposoby jednocześnie: jej znak mówi o kierunku wpływu, a jej wartość bezwzględna o sile.

• waga dodatnia — to wejście przemawia za aktywacją (pobudzenie);
• waga ujemna — to wejście przemawia przeciw (hamowanie; w mózgu odpowiadają temu synapsy hamujące);
• waga bliska zeru — to wejście jest dla tego neuronu praktycznie nieistotne;
• waga o dużej wartości bezwzględnej — to wejście jest dla tego neuronu decydujące.

Dlatego wagi bywa się nazywa „wiedzą" sieci. Cała nauczona treść modelu — wszystko, co model „wie" — jest zapisana w zbiorze liczb będących wagami i obciążeniami. Nie ma tam nic więcej: żadnych zdań, żadnych reguł, żadnych pojęć. Tylko liczby.

Obciążenie: próg, który da się przesuwać

Obciążenie bywa najbardziej zagadkowym elementem, a jest najprostszym. Popatrz jeszcze raz na warunek aktywacji z progiem w zerze:

aktywacja, gdy: w₁s₁ + … + wₙsₙ + b > 0

To jest dokładnie to samo, co:

aktywacja, gdy: w₁s₁ + … + wₙsₙ > −b

Czyli −b jest progiem. Obciążenie mówi, jak łatwo neuron się odzywa, niezależnie od wejść. Silnie ujemne b to neuron „nieufny" — musi dostać mocne sygnały, żeby się aktywować. Dodatnie b to neuron „chętny", odzywający się nawet przy słabych sygnałach. Bez obciążenia próg byłby na sztywno przyklejony do zera, a sieć straciłaby jedną z prostszych i najbardziej użytecznych swobód.

Ten sam wzór, który już znasz

Spójrz na sumę ważoną i na wzór regresji liniowej z Jednostki 9.5:

neuron: z = w₁s₁ + w₂s₂ + … + wₙsₙ + b regresja liniowa: cena = w₁·metraż + w₂·piętro + … + b

To jest ten sam wzór. Sztuczny neuron to regresja liniowa z jedną dobudówką: wynik przechodzi jeszcze przez funkcję aktywacji. Ta dobudówka wygląda niepozornie, a jest różnicą między modelem, który potrafi rysować tylko linie proste, i modelem, który potrafi wszystko inne — o czym dokładnie w następnej jednostce.

💭 Pomyśl: Neuron ma dwa wejścia z wagami w₁ = 1 i w₂ = 1 oraz obciążenie b = −1,5, a funkcja aktywacji to próg w zerze. Sprawdź, co zwraca dla czterech kombinacji wejść: (0,0), (0,1), (1,0), (1,1). Jaką znaną funkcję logiczną realizuje ten neuron? A co się stanie, jeśli zmienisz obciążenie na −0,5?

Sprawdź odpowiedź

Dla b = −1,5:

• (0,0): z = −1,5 → 0
• (0,1): z = 1 − 1,5 = −0,5 → 0
• (1,0): z = 1 − 1,5 = −0,5 → 0
• (1,1): z = 2 − 1,5 = 0,5 → 1

Neuron zwraca 1 tylko wtedy, gdy oba wejścia są jedynkami — to koniunkcja (AND).

Dla b = −0,5:

• (0,0): z = −0,5 → 0
• (0,1) i (1,0): z = 0,5 → 1
• (1,1): z = 1,5 → 1

Teraz wystarczy jedno wejście — to alternatywa (OR). Zmieniło się wyłącznie obciążenie, czyli próg. To ładnie pokazuje, dlaczego McCulloch i Pitts (Jednostka 8.2) mogli twierdzić, że z takich jednostek da się zbudować logikę: pojedynczy neuron z odpowiednim progiem jest bramką logiczną. Zapamiętaj to jednak z zastrzeżeniem, do którego wrócimy w 10.2: alternatywy wykluczającej (XOR) w ten sposób zbudować się nie da — i właśnie na tym oparli swój atak Minsky i Papert.

⚠️ Uwaga, pułapka

Najczęstsze nieporozumienie brzmi: „sztuczna sieć neuronowa działa jak mózg". Nie działa. Podobieństwo jest metaforą historyczną, nie modelem. Prawdziwy neuron to komórka o złożonej biochemii, przekazująca informację częstotliwością i wzorcem impulsów, zmieniająca się w czasie, otoczona komórkami glejowymi, których roli do końca nie rozumiemy. Sztuczny neuron to cztery operacje arytmetyczne.

Druga strona tej samej pułapki jest równie ważna: neurony w sieci nie są niczym fizycznym. Nie ma w komputerze 784 malutkich układzików. Sieć jest modelem matematycznym — zestawem liczb i przepisem na ich mnożenie, wykonywanym przez zwykły procesor (Jednostka 2.1). Metafora „neuronu-eksperta", której użyjemy w 10.3, jest wygodna i zostanie z nami, ale to sposób mówienia o liczbach, nie opis małego urzędnika w środku maszyny.

🕰️ Skąd to się wzięło

• 1943 — McCulloch i Pitts publikują matematyczny model neuronu progowego (Jednostka 8.2). Wagi są w nim ustalane przez człowieka.
• 1949 — Hebb formułuje zasadę wzmacniania połączeń, które są używane razem (Jednostka 8.3) — pierwszy pomysł, że wagi mogłyby zmieniać się same.
• 1957–1958 — Rosenblatt buduje Perceptron: neuron progowy, który uczy się wag z przykładów.
• 1969 — Minsky i Papert pokazują, że jeden taki neuron nie policzy XOR (Jednostka 8.4).

📐 Definicje tej lekcji

• Sztuczny neuron — jednostka obliczeniowa: wagi, suma, aktywacja, jedno wyjście.
• Wejście — liczba podana neuronowi (dana z zewnątrz albo wyjście innego neuronu).
• Waga — liczba mówiąca, jak mocno i w którą stronę dane wejście wpływa na aktywację.
• Suma ważona — suma iloczynów wejść i wag.
• Obciążenie (bias) — dodatkowa liczba dodawana do sumy; przesuwa próg aktywacji.
• Funkcja aktywacji — funkcja przekształcająca sumę ważoną w wyjście neuronu.
• Parametry sieci — wszystkie wagi i obciążenia; w nich zapisane jest wszystko, czego model się nauczył.

📌 Najważniejsze w pigułce

• Neuron wykonuje cztery kroki: weź wejścia → pomnóż przez wagi → zsumuj (plus obciążenie) → przepuść przez aktywację.
• Znak wagi to kierunek wpływu (dodatnia sprzyja, ujemna hamuje), wartość to jego siła; waga bliska zeru = wejście nieistotne.
• Obciążenie to przesuwalny próg: mówi, jak łatwo neuron się odzywa niezależnie od wejść.
• Zachowanie przypominające regułę wynika z liczb, nie jest w neuronie zapisane jako reguła.
• Suma ważona to dokładnie wzór regresji liniowej; różnicę robi funkcja aktywacji.
• Sieć nie jest mózgiem ani niczym fizycznym — to model matematyczny wykonywany przez procesor.

🎒 Zadania

Zadanie 10.1.1. Neuron ma wejścia s₁ = 0,5, s₂ = 1,0, s₃ = 0,2, wagi w₁ = 1,5, w₂ = −0,8, w₃ = 3,0 oraz obciążenie b = 0,3. Funkcja aktywacji to próg w zerze (1 gdy z > 0, w przeciwnym razie 0). (a) Policz sumę ważoną i wyjście. (b) Które wejście najsilniej wpłynęło na wynik i dlaczego to nie to, które ma największą wagę?

Pokaż rozwiązanie

(a) z = 1,5 · 0,5 + (−0,8) · 1,0 + 3,0 · 0,2 + 0,3 = 0,75 − 0,8 + 0,6 + 0,3 = 0,85. Suma dodatnia, więc wyjście = 1.

(b) Wkłady poszczególnych wejść: +0,75, −0,80, +0,60. Najsilniejszy wpływ (co do wartości bezwzględnej) miało wejście drugie, choć jego waga (−0,8) jest najmniejsza co do wartości bezwzględnej. Powód: wkład to iloczyn wagi i wejścia, a s₂ = 1,0 jest największą wartością wejściową, podczas gdy wejście trzecie o dużej wadze 3,0 miało bardzo małą wartość (0,2). Morał: sama waga nie mówi jeszcze, co zadecydowało — liczy się iloczyn.

Zadanie 10.1.2. Zaprojektuj neuron o dwóch wejściach z progiem w zerze, który realizuje negację pierwszego wejścia (zwraca 1, gdy s₁ = 0, i 0, gdy s₁ = 1), ignorując drugie wejście. Podaj wagi i obciążenie oraz sprawdź swoje rozwiązanie na wszystkich kombinacjach.

Pokaż rozwiązanie

Wystarczy: w₁ = −1, w₂ = 0, b = 0,5.

• (s₁=0, s₂=0): z = 0 + 0 + 0,5 = 0,5 → 1 ✔
• (s₁=0, s₂=1): z = 0 + 0 + 0,5 = 0,5 → 1 ✔
• (s₁=1, s₂=0): z = −1 + 0,5 = −0,5 → 0 ✔
• (s₁=1, s₂=1): z = −1 + 0,5 = −0,5 → 0 ✔

Waga ujemna przy s₁ odwraca jego wpływ, a waga zero przy s₂ oznacza, że to wejście jest dla neuronu całkowicie nieistotne — zerowa waga to sposób, w jaki sieć „ignoruje" informację. Obciążenie 0,5 podnosi próg tak, by przy braku sygnału neuron był aktywny.

Zadanie 10.1.3. Model oceniający wnioski kredytowe zawiera neuron, w którym waga przy cechie „liczba lat na obecnym stanowisku" wynosi 0,02, a przy cechie „dochód miesięczny w złotych" 0,00004. Czy to znaczy, że staż pracy jest 500 razy ważniejszy niż dochód? Uzasadnij i wskaż, czego brakuje, by porównanie było uczciwe.

Pokaż rozwiązanie

Nie znaczy. Porównywanie wag wprost jest sensowne tylko wtedy, gdy cechy mają porównywalne zakresy wartości, a tu nie mają: staż to liczby rzędu jednostek (0–40), a dochód rzędu tysięcy (np. 8000). Wkład stażu przy 10 latach to 0,02 · 10 = 0,2; wkład dochodu przy 8000 zł to 0,00004 · 8000 = 0,32. Dochód wpływa więc mocniej, choć ma wagę 500 razy mniejszą.

Żeby porównanie było uczciwe, cechy trzeba znormalizować przed uczeniem (Jednostka 9.5) — sprowadzić do wspólnego zakresu, na przykład 0–1. Wtedy, i tylko wtedy, wielkości wag zaczynają być czytelne jako „ważność cechy". To jedna z częstszych pomyłek przy próbach interpretowania modelu.

🔍 Sprawdź, czy umiesz

• [ ] Wymienić cztery kroki obliczenia wykonywanego przez neuron.
• [ ] Policzyć wyjście neuronu dla podanych wejść, wag i obciążenia.
• [ ] Wyjaśnić znaczenie wagi dodatniej, ujemnej i zerowej.
• [ ] Wyjaśnić, dlaczego obciążenie jest przesuwalnym progiem.
• [ ] Wskazać, gdzie w sieci jest zapisane to, czego model się nauczył.
• [ ] Wyjaśnić, w jakim sensie sztuczny neuron nie jest modelem komórki nerwowej.

---