Multimodalność, open-source i agenci AI (do 2026)
🎯 Po co Ci to?
ChatGPT z 2022 umiał głównie czytać i pisać tekst. Krajobraz 2025–26: modele „widzą" i „słyszą", obok zamkniętych usług rosną modele otwarte (open-weight), a coraz częściej mówi się o agentach — systemach, które planują i wykonują ciąg działań z narzędziami.
✅ Czego się nauczysz
Po tej lekcji potrafisz:
- wyjaśnić model multimodalny i podać przykład szkolny;
- odróżnić model zamknięty od otwartego i podać argumenty obu stron;
- opisać różnicę chatbot vs agent;
- krytycznie czytać marketing możliwości.
🔁 Przypomnij sobie
Uwaga (16.2) działa na sekwencjach tokenów — także „tokenach" obrazu. Halucynacje i okno (18.1–18.2) dotyczą też agentów: dłuższy łańcuch kroków = więcej miejsc na błąd.
📘 Multimodalność
📐 DEFINICJA — model multimodalny: model przetwarzający (i często generujący) więcej niż jeden rodzaj danych — tekst, obraz, dźwięk, wideo — w jednej architekturze.
Zamiast osobnego AlexNet (13.2) i osobnego LM: wspólna reprezentacja. Przykład licealny: zdjęcie zadania z tablicy → wyjaśnienie kroków; wykres → interpretacja.
📘 Zamknięte i otwarte
Obok usług, gdzie wagi są tajemnicą handlową, od 2023 rośnie ekosystem open-weight (np. rodzina Llama): parametry do pobrania, uruchomienia i modyfikacji na własnym sprzęcie.
🏛️ Stanowiska — spór o otwartość
Za: demokratyzacja, audyt badawczy, mniejsza zależność od kilku firm.
Przeciw: łatwiej zdjąć zabezpieczenia; „open-weight" ≠ pełna przejrzystość danych treningowych.
Regulacje (Dział 20) szukają równowagi.
📘 Agenci
📐 DEFINICJA — agent AI: system na bazie LM, który planuje i wykonuje wieloetapowe zadanie z użyciem narzędzi (przeglądarka, kod, kalendarz…), nie tylko jedną odpowiedzią tekstową.
Chatbot: pytanie → tekst. Agent: wyszukaj → porównaj → kliknij → zarezerwuj (w teorii). W praktyce 2025–26 niezawodność spada z liczbą kroków — jeden błąd psuje łańcuch (por. 18.1–18.2).
💭 Pomyśl
„Znajdź trzy najtańsze loty WAW–ROM i zarezerwuj najtańszy" — co zrobi chatbot, a co obiecuje demo agenta? Gdzie pęka niezawodność?
Podpowiedź
Chatbot: wskazówki / ewentualnie ceny bez rezerwacji. Agent: łańcuch narzędzi. Pęka przy niejednoznacznej stronie, captchy, zmianie UI, płatności, błędzie odczytu ceny.
⚠️ Częsty błąd
Częsty błąd: mylenie wyreżyserowanego demo agenta z codzienną niezawodnością.
Elenchus: Kto pokazuje, w jakim celu, na jakich zadaniach przetestowano? (Most do 22.3.)
🌍 Powiązania
- 13 / 16 — widzenia i uwagi jako fundament multimodalności.
- 20 — regulacje i ryzyko otwartości.
- 22 — mapa „tu i teraz".
📐 Definicje tej lekcji
- Multimodalny — wiele typów danych.
- Open-weight / zamknięty — dostęp do wag vs tylko API.
- Agent — plan + narzędzia + wiele kroków.
📌 Najważniejsze w pigułce
- Multimodalność = uwagę na różnych tokenach.
- Otwartość: wolność vs kontrola nadużyć.
- Agent ≠ magiczny człowiek przy komputerze.
- Nazwy liderów się zmienią; mechanizmy zostaną.
🎒 Zadania
Zadanie 18.4.1. Argument za open-weight i za modelem zamkniętym — z perspektywy małej firmy budującej aplikację.
Pokaż rozwiązanie
Open: własna infrastruktura, kontrola kosztów/danych, customizacja. Zamknięty: zero ops GPU, często najwyższa jakość „z pudełka", zależność od dostawcy.
Zadanie 18.4.2. Dlaczego „agent zrobi wszystko, co człowiek przy PC" to przesada na 2025–26?
Pokaż rozwiązanie
Błędy kumulują się w łańcuchu; brakuje zdrowego rozsądku, odpowiedzialności prawnej i odporności na nieznane UI. Wymaga nadzoru.
🔍 Sprawdź, czy umiesz
- [ ] Zdefiniować multimodalność.
- [ ] Porównać open vs closed.
- [ ] Odróżnić agenta od chatbota.
- [ ] Krytycznie czytać demo.