Przełom: gdy wszystko się spotkało
Wstęp do działu
Wszystkie elementy potrzebne do rewolucji istniały już w latach 90.: propagacja wsteczna, sieci konwolucyjne, pomysł na sieci rekurencyjne. A jednak przełom nastąpił dopiero około 2012 roku. Ten dział wyjaśnia, dlaczego akurat wtedy — i to jest jedna z najważniejszych lekcji w całej książce.
Odpowiedź nie brzmi „ktoś wymyślił lepszy algorytm". Odpowiedź brzmi: trzy niezależne warunki dojrzały równocześnie. Po pierwsze moc obliczeniowa — karty graficzne, projektowane do gier, okazały się idealne do mnożenia macierzy, a platforma CUDA otwarła je dla naukowców. Po drugie dane — internet Web 2.0 sprawił, że ludzie sami, za darmo, wytworzyli miliardy opisanych zdjęć i tekstów. Po trzecie ludzie i narzędzia, które potrafiły to złożyć.
Zobaczysz moment zapłonu: konkurs ImageNet 2012 i sieć AlexNet, która pokonała konkurencję z takim marginesem, że w ciągu roku cała dziedzina widzenia maszynowego przeszła na uczenie głębokie. Potem dwa spektakularne dowody, że ten sam zestaw narzędzi działa daleko poza rozpoznawaniem obrazów: AlphaGo, które wygrało w grze uznawanej za niedostępną dla maszyn, i AlphaFold, które rozwiązało pięćdziesięcioletni problem biologii. Dział zamyka opowieść o demokratyzacji: dlaczego dziś licealista z przeglądarką ma dostęp do narzędzi, o jakich laboratoria marzyły dekadę wcześniej.
Mapa pojęć działu
TRZY WARUNKI, KTÓRE MUSIAŁY SPOTKAĆ SIĘ RAZEM
| | |
ALGORYTM SPRZĘT DANE
(propagacja, GPU + CUDA Web 2.0, ImageNet
konwolucje) (~2007) (miliony zdjęć z opisem)
└───────────────┼───────────────┘
|
AlexNet, ImageNet 2012
— zapłon deep learningu
|
┌─────────────────┴─────────────────┐
AlphaGo (2016) AlphaFold (2020)
AlphaZero struktura białek
| |
└──────────► DEMOKRATYZACJA ◄────────┘
Python, TensorFlow, PyTorch, Colab, Kaggle
Jednostki w tym dziale
- 13.1 GPU, CUDA, Web 2.0 i dane: warunki możliwości deep learningu
- 13.2 ImageNet i AlexNet (2012): przełom, który zmienił wszystko
- 13.3 DeepMind: AlphaGo i AlphaFold
- 13.4 Demokratyzacja narzędzi: od Pythona po Kaggle