Zamknięcie działu 13

Słowniczek działu

  • GPU — procesor graficzny; wiele prostych obliczeń równolegle; pierwotnie do gier, idealny do trenowania sieci.
  • CUDA (2007, NVIDIA) — platforma udostępniająca GPU do obliczeń ogólnego przeznaczenia.
  • Web 2.0 — serwisy z treściami tworonymi przez użytkowników; mimowolne źródło oznaczonych danych.
  • ImageNet — zbiór >14 mln oznaczonych zdjęć (Fei-Fei Li) + konkurs rozpoznawania obrazów.
  • AlexNet (2012) — głęboka CNN Krizhevsky'ego, Sutskevera i Hintona; oficjalny początek ery deep learningu.
  • AlphaGo / AlphaZero — systemy DeepMind do gry w go (i później innych gier) łączące sieci z uczeniem ze wzmocnieniem.
  • AlphaFold — system DeepMind przewidujący strukturę 3D białek; sukces poza obrazami i grami.
  • TensorFlow / PyTorch / Keras — frameworki do budowy i trenowania głębokich sieci.
  • scikit-learn — biblioteka klasycznego uczenia maszynowego (nie deep learning).
  • Google Colab / Kaggle — darmowy dostęp do GPU i wspólnota / konkursy z danymi.

W pigułce

  • Przełom ~2012 nie wynikał z jednego nowego algorytmu, lecz ze spotkania trzech warunków: algorytm (propagacja, CNN), sprzęt (GPU/CUDA), dane (Web 2.0 / ImageNet).
  • AlexNet pokazał całą dziedzinę naraz, że deep learning wygrywa na obrazach — z przewagą kilkunastu punktów procentowych.
  • AlphaGo i AlphaFold pokazały, że ten sam zestaw narzędzi działa daleko poza rozpoznawaniem obrazów.
  • Demokratyzacja narzędzi (Python, frameworki, Colab, Kaggle) obniżyła próg wejścia — nie zniwelowała przepaści zasobowej przy wynikach najwyższej klasy.
  • Część III zamyka się tu: maszyna umie się uczyć z danych. Część IV pyta, jak może rozumieć język.

Sprawdzian działowy

  1. Wymień trzy warunki przełomu deep learningu i przy każdym wskaż jednostkę, w której go omówiono.
  2. Wyjaśnij, dlaczego AlexNet to przełom ilościowy, który stał się jakościowym — i czemu LeNet-5 z 1998 nie wystarczyła.
  3. Porównaj AlphaGo i AlphaFold: co mają wspólnego w narzędziach, a czym różni się stawka i dziedzina.
  4. Oceń zdanie: „dzięki Colabowi każdy może dziś zrobić to samo co DeepMind". Co w nim jest trafne, a co przesadzone?

CZĘŚĆ IV — Jak maszyna rozumie język