Zamknięcie działu 9

Słowniczek działu

Uczenie maszynowe — tworzenie systemów, które poprawiają działanie na podstawie danych, zamiast reguł zapisanych wprost.
Uczenie nadzorowane / nienadzorowane / ze wzmocnieniem — uczenie z par (dane, odpowiedź) / z samych danych / metodą nagród i kar.
Przykład (obserwacja) — jeden opisany przypadek w zbiorze danych.
Cecha — jedna zmierzona własność przykładu; razem tworzą wektor cech.
Etykieta — poprawna odpowiedź dołączona do przykładu w uczeniu nadzorowanym.
Inżynieria cech — ręczny dobór i przekształcanie cech przez człowieka.
Nierównowaga klas — sytuacja, w której jedna klasa jest w danych znacznie rzadsza.
Uogólnianie (generalizacja) — działanie modelu na danych, których nie widział w treningu.
Zbiór treningowy / walidacyjny / testowy — dane do uczenia / do wyboru hiperparametrów / do jednorazowego pomiaru końcowego.
Parametr — liczba, którą model dostraja sam w trakcie uczenia.
Hiperparametr — ustawienie wybierane przez człowieka przed uczeniem.
Niedouczenie — model zbyt prosty, myli się i na treningu, i na nowych danych.
Przeuczenie — model zapamiętał trening (mały błąd treningowy), zawodzi na nowych danych.
Przeciek danych — informacja ze zbioru testowego wpłynęła na trening; wynik zawyżony.
Trafność (accuracy) — udział poprawnych odpowiedzi we wszystkich.
Macierz pomyłek — zestawienie czterech wyników: TP, FP, FN, TN.
Fałszywy alarm (FP) / przeoczenie (FN) — dwa jakościowo różne rodzaje pomyłki.
Czułość (recall) — udział wykrytych przypadków wśród wszystkich rzeczywistych.
Precyzja (precision) — udział trafnych alarmów wśród wszystkich alarmów.
Miara F1 — średnia harmoniczna precyzji i czułości.
Próg decyzyjny — wartość pewności, od której model uznaje przypadek za dodatni.
MAE / RMSE — miary błędu dla zadań przewidywania liczby.
Klasyfikacja / regresja — zadanie „które z?" / zadanie „ile?".
k najbliższych sąsiadów (kNN) — decyzja przez głosowanie k najbardziej podobnych zapamiętanych przykładów.
Normalizacja cech — sprowadzenie cech do wspólnego zakresu.
Drzewo decyzyjne — model w postaci ciągu pytań o cechy.
Las losowy / wzmacnianie gradientowe — zespoły wielu drzew, głosujące lub naprawiające się kolejno.
Regresja liniowa — suma cech pomnożonych przez wagi plus wyraz wolny.
Wyjaśnialność — możliwość wskazania człowiekowi powodu decyzji modelu.

W pigułce

Uczenie maszynowe to reguły z danych, a nie od programisty; sieci neuronowe są jednym z jego narzędzi, nie definicją.
Trzy tryby: nadzorowany (z etykietami), nienadzorowany (bez), ze wzmocnieniem (nagroda za skutek).
Model widzi tylko wektor cech — nie zdjęcie, nie pacjenta, nie człowieka. Co pominiesz w cechach, tego model nie użyje.
Etykiety zwykle tworzą ludzie, i to jest najdroższy oraz najbardziej podatny na błąd składnik całego przedsięwzięcia.
Liczy się uogólnianie, nie wynik na treningu. Dlatego dane dzielimy na trening, walidację i test, a testu używamy raz.
Dwie choroby: niedouczenie (za prosty model) i przeuczenie (zapamiętał zamiast zrozumieć). Rozpoznaje się je z pary błędów.
Trafność myli przy rzadkich zjawiskach; model „zawsze zdrowy" ma 99% i zero wartości.
Czułość = „ile z chorych znalazłem", precyzja = „ilu ze wskazanych było chorych". Wymieniamy jedną na drugą progiem decyzyjnym — i jest to decyzja etyczna, nie techniczna.
Modele proste (kNN, drzewa, regresja liniowa) bywają lepszym rozwiązaniem: mniej danych, mniejsze ryzyko przeuczenia, możliwość uzasadnienia decyzji. Na danych tabelarycznych drzewa do dziś wygrywają z sieciami.
Regresja liniowa to sztuczny neuron bez funkcji aktywacji — stąd już tylko krok do Działu 10.

Sprawdzian działowy

Pytania do refleksji:

Wyjaśnij, dlaczego zdanie „ta sieć nauczyła się rozpoznawać czerniaka" jest skrótem, i opisz, czego dokładnie nauczył się model. Odwołaj się do pojęcia wektora cech.
Firma chwali się modelem o trafności 99,2% do wykrywania rzadkiej awarii w fabryce. Sformułuj trzy pytania, które musisz zadać, zanim uznasz tę liczbę za dobrą wiadomość.
Model osiąga błąd 2% na zbiorze treningowym i 31% na walidacyjnym. Zdiagnozuj problem, podaj dwa różne sposoby zaradzenia mu i wyjaśnij, dlaczego samo „dłuższe uczenie" tu nie pomoże.
Dlaczego zbiór testowy wolno użyć tylko raz? Opisz, co konkretnie psuje wielokrotne „sprawdzanie na teście" — i wyjaśnij, dlaczego tego zepsucia nie widać w liczbach.
Przesiewowe badanie w kierunku choroby ustawiono na wysoką czułość i niską precyzję. Uzasadnij tę decyzję z punktu widzenia pacjenta, a następnie wskaż, w jakich warunkach organizacyjnych staje się ona nieodpowiedzialna.
Porównaj drzewo decyzyjne i sieć neuronową jako narzędzia do oceny wniosku kredytowego. Wskaż po dwa argumenty za każdym i rozstrzygnij, który wybrałbyś w kraju, w którym prawo wymaga uzasadnienia odmowy.
Zapisz wzór regresji liniowej i wyjaśnij, co dokładnie trzeba do niego dodać, żeby otrzymać sztuczny neuron. Dlaczego ten jeden dodatek jest tak ważny?
„Uczenie maszynowe to nie rozumienie, tylko dopasowywanie liczb." Napisz, w jakim sensie to zdanie jest prawdziwe, i wskaż, czego ono nie rozstrzyga (wątek wróci w Dziale 19).