Systemy adaptacyjne i uczące się

103000 - Wydział Elektroniki i Technik Informacyjnych

SAU

2

Wykład poświęcony jest systemom decyzyjnym i sterującym, które adaptują się do nieznanego z góry lub zmieniającego się środowiska, w którym działają. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba podejścia.

Wykład poświęcony jest systemom decyzyjnym i sterującym, które adaptują się do nieznanego z góry lub zmieniającego się środowiska, w którym działają. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba podejścia.

Treść wykładu

• Podstawy

1. Optymalizacja i aproksymacja stochastyczna; procedura
   Robbinsa-Monroe jako punkt wyjścia do konstruowania mechanizmów
   adaptacji.


2. Aproksymator neuronowy i jego uczenie on-line.


3. Elementy teorii stabilności: funkcja Lapunowa, gwarancje
   stabilności asymptotycznej.

• Uczenie się przez wzmacnianie

1. Podstawy: Proces Decyzyjny Markowa, algorytm Q-Learning.


2. Optymalizacja stochastycznego wyboru. Parametryzowane rodziny
   rozkładów prawdopodobieństwa. Algorytm REINFORCE statyczny.


3. Algorytm REINFORCE epizodyczny i jego aproksymacje, klasyczny
   Aktor-Krytyk.


4. Wielokrotne przetwarzanie obserwacji, optymalizacja estymatora
   wskaźnika jakości polityki, repróbkowanie.

• Sterowanie adaptacyjne

1. Adaptacja z modelem referencyjnym (MRAS): podejście oparte na
   gradiencie, reguła MIT, uzasadnienie oparte na teorii stabilności,
   postać MRAS dla ogólnego systemu liniowego.


2. Sterowanie z jednoczesnym modelowaniem: samostrojące się
   regulatory (STR).


3. Adaptacyjne sterowanie predykcyjne.


4. Przegląd zastosowań i podejść nie wymienionych na wykładzie.

1. P. Wawrzyński, Sterowanie Adaptacyjne i Uczenie Maszynowe,
   preskrypt wykładu.


2. P. Cichosz, Systemy Uczące Się, WNT, 2000.


3. K.J. Astrom, B. Wittenmark, Adaptive Control, Addison-Wesley,
   1989.


4. J.-J.E. Slotine, W. Li: Applied Nonlinear Control, Prentice Hall,
   1991.


5. R. Sutton, A. Barto, Reinforcement Learning: An Introduction, MIT
   Press, 1998.

Ocena z przedmiotu jest oparta na ocenie projektu i wyniku egzaminu.

103100 - Instytut Automatyki i Informatyki Stosowanej

103100 - Instytut Automatyki i Informatyki Stosowanej

103100 - Instytut Automatyki i Informatyki Stosowanej