Geometria znaczeń: król − mężczyzna + kobieta — i granice

🎯 Po co Ci to?

Najbardziej znanym dowodem, że word2vec uchwycił coś więcej niż „często stoją obok siebie", są analogie wektorowe. Ta jednostka pokazuje, co z geometrii wynika — i czego nie wynika. Bez uczciwej granicy łatwo wpaść w mit „maszyna rozumie język".

✅ Czego się nauczysz

Po tej lekcji potrafisz:

  • wyjaśnić analogię wektorową na przykładzie król / mężczyzna / kobieta / królowa;
  • odróżnić analogię semantyczną od syntaktycznej;
  • sformułować twardą granicę stałego osadzenia (polisemia);
  • wskazać, dokąd prowadzi most: model językowy (15) i transformer (16).

🔁 Przypomnij sobie

Z 14.3 wiesz, że osadzenie to punkt w przestrzeni N-wymiarowej. Z 14.2 — że odległość mierzy podobieństwo. Z Części III — że sukces na teście nie oznacza ludzkiego rozumienia (Jednostka 12.5, skróty i kontradykcje).

📘 Arytmetyka na znaczeniach

Badacze zauważyli, że proste operacje na wektorach odpowiadają relacjom znaczeniowym. Klasyczny przykład:

wektor(„król") − wektor(„mężczyzna") + wektor(„kobieta") ≈ wektor(„królowa")

Nikt nie zaprogramował tej reguły. Wyłoniła się z geometrii wyuczonej na surowym tekście. Intuicja: odjęcie „mężczyzny" od „króla" wycina kierunek związany z męskością / płcią w tej przestrzeni; dodanie „kobiety" przesuwa punkt w stronę żeńskiego odpowiednika tytułu.

Inne typy pytań-testów:

  • Semantyczne: Budapeszt : Węgry :: Warszawa : ? → Polska
  • Syntaktyczne: ma : miał :: siedzi : ? → siedział

Jeśli osadzenia są dobre, najbliższy wektor w przestrzeni (spośród słów słownika) trafia w oczekiwaną odpowiedź częściej niż przypadek.

📐 DEFINICJA — analogia wektorowa: zjawisko, w którym relacje znaczeniowe lub gramatyczne przybliża się działaniami arytmetycznymi na wektorach osadzeń (A − B + C ≈ D).

Po ludzku: „przesuń się w przestrzeni słów o ten sam wektor co w znanej parze — i zobacz, gdzie wylądujesz".

💭 Pomyśl

Dlaczego fakt, że analogia działa bez ręcznego wpisania relacji, jest mocniejszym argumentem niż samo „podobne słowa leżą blisko"?

Pokaż odpowiedź

Bliskość mogłaby wynikać z powierzchownego współwystępowania („król" i „królowa" często w tych samych artykułach). Analogia wymaga, by w przestrzeni istniał powtarzalny kierunek odpowiadający relacji (płeć, stolica–państwo, czas gramatyczny). To sygnał, że model uchwycił coś strukturalnego w statystyce języka — wciąż nie „rozumienie jak u człowieka", ale użyteczną geometrię relacji, nie tylko lokalne skupiska.

📘 Co ta geometria jest, a czego nie jest

Jest: kompresją regularności języka zaobserwowanych w korpusie; narzędziem, na którym da się budować wyszukiwanie podobnych słów, klasyfikację tekstu, inicjalizację większych modeli.

Nie jest: gwarancją poprawności faktograficznej, odporności na uprzedzenia korpusu ani rozumienia wieloznaczności w konkretnym zdaniu.

Stałe osadzenie word2vec:

  • „zamek" (budowla) i „zamek" (w suwaku) → ten sam punkt;
  • „bank" (instytucja) i „bank" (ławica) → ten sam punkt.

Model widzi średnią dystrybucję słowa w całym korpusie, nie znaczenie w tym zdaniu. Stąd kolejny krok historii języka w AI:

  1. Dział 15 — model językowy i sieci rekurencyjne: przewidywanie następnego słowa w ciągu, pamięć po sekwencji.
  2. Dział 16 — transformer i mechanizm uwagi: reprezentacja tokenu zależna od całego kontekstu.

⚠️ Uwaga, pułapka

Nie utożsamiaj udanej analogii wektorowej z twierdzeniem „sieć rozumie język jak człowiek". Word2vec nie buduje modelu świata — buduje geometrię współwystąpień. Uprzedzenia i stereotypy z korpusu też potrafią wejść w wektory (np. skojarzenia zawodów z płcią). Geometria jest potężna i ograniczona naraz — jak CNN w medycynie (Jednostka 12.5): świetne wyniki w wąskim zadaniu nie zwalniają z pytania o warunki i skutki.

🌍 Powiązania

Ta jednostka zamyka most: od „sieć liczy tylko liczby" (14.1), przez Firtha (14.2) i word2vec (14.3), do geometrii relacji i jej granicy. Część IV idzie dalej: najpierw model językowy i sekwencje (15), potem transformer (16), na końcu linia GPT → ChatGPT (17).

📐 Definicje tej lekcji

  • Analogia wektorowa — A − B + C ≈ D na osadzeniach.
  • Polisemia a stałe osadzenie — wiele znaczeń jednego napisu vs jeden wektor w word2vec.
  • Reprezentacja zależna od kontekstu — cel późniejszych architektur (transformer): ten sam napis, inny wektor w innym zdaniu.

📌 Najważniejsze w pigułce

  • Operacje na wektorach potrafią oddawać relacje typu „król : mężczyzna :: królowa : kobieta".
  • To mocny test struktury osadzeń — nie dowód ludzkiego rozumienia.
  • Granica word2vec: jedno słowo pisane tak samo = jeden stały punkt (problem polisemii).
  • Następny ruch: modele, które patrzą na cały ciąg i budują reprezentację w kontekście (Działy 15–16).

🎒 Zadania

Zadanie 14.4.1. Zapisz wektorowo analogię „Paryż : Francja :: Rzym : ?" i wyjaśnij słowami, co robi każde działanie (+/−).

Pokaż rozwiązanie

wektor(Paryż) − wektor(Francja) + wektor(Rzym) powinno wyjść blisko wektor(Włochy) (lub „Włoch"/nazwy kraju — zależnie od słownika).
Intuicja: Paryż − Francja ≈ kierunek „stolica względem kraju"; dodany do Rzymu wskazuje kraj Rzymu.

Zadanie 14.4.2. Podaj własny przykład zdania, w którym stałe osadzenie word2vec musi zawieść, i wyjaśnij dlaczego. Jaką własność musiałaby mieć reprezentacja, żeby sobie poradzić?

Pokaż rozwiązanie

Np. „Włożyłem kurtkę i zaciągnąłem zamek" vs „Zwiedziliśmy średniowieczny zamek". Ten sam napis, inne znaczenie; word2vec ma jeden wektor. Potrzebna reprezentacja zależna od kontekstu (inne otoczenie → inny wektor tokenu) — to robią m.in. transformery.

Zadanie 14.4.3. (podsumowujące dział) Ułóż w czterech zdaniach drogę: one-hot → ręczne cechy → Firth → word2vec → granica → zapowiedź Działu 16.

Pokaż rozwiązanie

One-hot zamienia słowo w liczbę, ale bez sensu i z ogromnym rozmiarem. Ręczne cechy dają sensowną geometrię, lecz nie skalują się. Firth podpowiada: bierz sens z towarzystwa słów. Word2vec automatyzuje to predykcją w oknie i buduje osadzenia. Stały wektor nie rozróżnia znaczeń w kontekście — dlatego potrzebne są modele z reprezentacją zależną od całego ciągu (transformer, Dział 16).

🔍 Sprawdź, czy umiesz

  • [ ] Wyjaśnić analogię wektorową na przykładzie.
  • [ ] Odróżnić test semantyczny od syntaktycznego.
  • [ ] Wskazać granicę stałego osadzenia (polisemia).
  • [ ] Powiedzieć, co zostaje na Działy 15–16.

Ucz się tej jednostki z asystentem