Politechnika Warszawska - Centralny System Uwierzytelniania
Nie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Systemy adaptacyjne i uczące się

Informacje ogólne

Kod przedmiotu: 103B-ARxxx-MSP-SAU Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Systemy adaptacyjne i uczące się
Jednostka: Wydział Elektroniki i Technik Informacyjnych
Grupy: ( Przedmioty techniczne )---EITI
( Przedmioty zaawansowane obieralne )-Automatyka i robotyka-mgr.-EITI
( Przedmioty zaawansowane obieralne )-Systemy informacyjno-decyzyjne-mgr.-EITI
( Przedmioty zaawansowane techniczne )--mgr.-EITI
Punkty ECTS i inne: 4.00
Język prowadzenia: polski
Jednostka decyzyjna:

103000 - Wydział Elektroniki i Technik Informacyjnych

Kod wydziałowy:

SAU

Numer wersji:

2

Skrócony opis:

Wykład poświęcony jest systemom decyzyjnym i sterującym, które adaptują się do nieznanego z góry lub zmieniającego się środowiska, w którym działają. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba podejścia.

Pełny opis:

Wykład poświęcony jest systemom decyzyjnym i sterującym, które adaptują się do nieznanego z góry lub zmieniającego się środowiska, w którym działają. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba podejścia.

Treść wykładu

  • Podstawy

  1. Optymalizacja i aproksymacja stochastyczna; procedura
    Robbinsa-Monroe jako punkt wyjścia do konstruowania mechanizmów
    adaptacji.

  2. Aproksymator neuronowy i jego uczenie on-line.

  3. Elementy teorii stabilności: funkcja Lapunowa, gwarancje
    stabilności asymptotycznej.

  • Uczenie się przez wzmacnianie

  1. Podstawy: Proces Decyzyjny Markowa, algorytm Q-Learning.

  2. Optymalizacja stochastycznego wyboru. Parametryzowane rodziny
    rozkładów prawdopodobieństwa. Algorytm REINFORCE statyczny.

  3. Algorytm REINFORCE epizodyczny i jego aproksymacje, klasyczny
    Aktor-Krytyk.

  4. Wielokrotne przetwarzanie obserwacji, optymalizacja estymatora
    wskaźnika jakości polityki, repróbkowanie.

  • Sterowanie adaptacyjne

  1. Adaptacja z modelem referencyjnym (MRAS): podejście oparte na
    gradiencie, reguła MIT, uzasadnienie oparte na teorii stabilności,
    postać MRAS dla ogólnego systemu liniowego.

  2. Sterowanie z jednoczesnym modelowaniem: samostrojące się
    regulatory (STR).

  3. Adaptacyjne sterowanie predykcyjne.

  4. Przegląd zastosowań i podejść nie wymienionych na wykładzie.




Zakres projektu
Sformułowanie zadania projektowego obejmuje pewien sekwencyjny problemy decyzyjny lub problem sterowania oraz algorytm adaptacji dla decydenta/sterownika, który stoi wobec tego problemu. W języku dowolnym języku średniego poziomu (C++, C#, Java, Python) należy zaimplementować symulator problemu oraz oprogramować algorytm adaptacji.

Literatura:

    1. P. Wawrzyński, Sterowanie Adaptacyjne i Uczenie Maszynowe,
      preskrypt wykładu.

    2. P. Cichosz, Systemy Uczące Się, WNT, 2000.

    3. K.J. Astrom, B. Wittenmark, Adaptive Control, Addison-Wesley,
      1989.

    4. J.-J.E. Slotine, W. Li: Applied Nonlinear Control, Prentice Hall,
      1991.

    5. R. Sutton, A. Barto, Reinforcement Learning: An Introduction, MIT
      Press, 1998.

Metody i kryteria oceniania:

Ocena z przedmiotu jest oparta na ocenie projektu i wyniku egzaminu.

Zajęcia w cyklu "rok akademicki 2017/2018 - sem. zimowy" (zakończony)

Okres: 2017-10-01 - 2018-02-18
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Projekt, 15 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Paweł Wawrzyński
Prowadzący grup: (brak danych)
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Zajęcia w cyklu "rok akademicki 2015/2016 - sem. letni" (zakończony)

Okres: 2016-02-23 - 2016-09-30
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Projekt, 15 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Paweł Wawrzyński
Prowadzący grup: Paweł Wawrzyński
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Zajęcia w cyklu "rok akademicki 2012/2013 - sem. zimowy" (zakończony)

Okres: 2012-10-01 - 2013-02-19
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Projekt, 15 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Paweł Wawrzyński
Prowadzący grup: Paweł Wawrzyński
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.