Przełom: gdy wszystko się spotkało

Wstęp do działu

Wszystkie elementy potrzebne do rewolucji istniały już w latach 90.: propagacja wsteczna, sieci konwolucyjne, pomysł na sieci rekurencyjne. A jednak przełom nastąpił dopiero około 2012 roku. Ten dział wyjaśnia, dlaczego akurat wtedy — i to jest jedna z najważniejszych lekcji w całej książce.

Odpowiedź nie brzmi „ktoś wymyślił lepszy algorytm". Odpowiedź brzmi: trzy niezależne warunki dojrzały równocześnie. Po pierwsze moc obliczeniowa — karty graficzne, projektowane do gier, okazały się idealne do mnożenia macierzy, a platforma CUDA otwarła je dla naukowców. Po drugie dane — internet Web 2.0 sprawił, że ludzie sami, za darmo, wytworzyli miliardy opisanych zdjęć i tekstów. Po trzecie ludzie i narzędzia, które potrafiły to złożyć.

Zobaczysz moment zapłonu: konkurs ImageNet 2012 i sieć AlexNet, która pokonała konkurencję z takim marginesem, że w ciągu roku cała dziedzina widzenia maszynowego przeszła na uczenie głębokie. Potem dwa spektakularne dowody, że ten sam zestaw narzędzi działa daleko poza rozpoznawaniem obrazów: AlphaGo, które wygrało w grze uznawanej za niedostępną dla maszyn, i AlphaFold, które rozwiązało pięćdziesięcioletni problem biologii. Dział zamyka opowieść o demokratyzacji: dlaczego dziś licealista z przeglądarką ma dostęp do narzędzi, o jakich laboratoria marzyły dekadę wcześniej.

Mapa pojęć działu

   TRZY WARUNKI, KTÓRE MUSIAŁY SPOTKAĆ SIĘ RAZEM
        |               |               |
   ALGORYTM          SPRZĘT           DANE
 (propagacja,      GPU + CUDA      Web 2.0, ImageNet
  konwolucje)      (~2007)         (miliony zdjęć z opisem)
        └───────────────┼───────────────┘
                        |
              AlexNet, ImageNet 2012
              — zapłon deep learningu
                        |
      ┌─────────────────┴─────────────────┐
   AlphaGo (2016)                  AlphaFold (2020)
   AlphaZero                       struktura białek
      |                                   |
      └──────────► DEMOKRATYZACJA ◄────────┘
        Python, TensorFlow, PyTorch, Colab, Kaggle

Jednostki w tym dziale

  • 13.1 GPU, CUDA, Web 2.0 i dane: warunki możliwości deep learningu
  • 13.2 ImageNet i AlexNet (2012): przełom, który zmienił wszystko
  • 13.3 DeepMind: AlphaGo i AlphaFold
  • 13.4 Demokratyzacja narzędzi: od Pythona po Kaggle