Politechnika Warszawska - Centralny System Uwierzytelniania
Strona główna

Systemy adaptacyjne i uczące się

Informacje ogólne

Kod przedmiotu: 103B-ARxxx-MSP-SAU
Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Systemy adaptacyjne i uczące się
Jednostka: Wydział Elektroniki i Technik Informacyjnych
Grupy: ( Przedmioty techniczne )---EITI
( Przedmioty zaawansowane obieralne )-Automatyka i robotyka-mgr.-EITI
( Przedmioty zaawansowane obieralne )-Systemy informacyjno-decyzyjne-mgr.-EITI
( Przedmioty zaawansowane techniczne )--mgr.-EITI
Punkty ECTS i inne: (brak) Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.

zobacz reguły punktacji
Język prowadzenia: polski
Jednostka decyzyjna:

103000 - Wydział Elektroniki i Technik Informacyjnych

Kod wydziałowy:

SAU

Numer wersji:

2

Skrócony opis:

Wykład poświęcony jest systemom decyzyjnym i sterującym, które adaptują się do nieznanego z góry lub zmieniającego się środowiska, w którym działają. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba podejścia.

Pełny opis:

Wykład poświęcony jest systemom decyzyjnym i sterującym, które adaptują się do nieznanego z góry lub zmieniającego się środowiska, w którym działają. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba podejścia.

Treść wykładu

  • Podstawy

  1. Optymalizacja i aproksymacja stochastyczna; procedura
    Robbinsa-Monroe jako punkt wyjścia do konstruowania mechanizmów
    adaptacji.

  2. Aproksymator neuronowy i jego uczenie on-line.

  3. Elementy teorii stabilności: funkcja Lapunowa, gwarancje
    stabilności asymptotycznej.

  • Uczenie się przez wzmacnianie

  1. Podstawy: Proces Decyzyjny Markowa, algorytm Q-Learning.

  2. Optymalizacja stochastycznego wyboru. Parametryzowane rodziny
    rozkładów prawdopodobieństwa. Algorytm REINFORCE statyczny.

  3. Algorytm REINFORCE epizodyczny i jego aproksymacje, klasyczny
    Aktor-Krytyk.

  4. Wielokrotne przetwarzanie obserwacji, optymalizacja estymatora
    wskaźnika jakości polityki, repróbkowanie.

  • Sterowanie adaptacyjne

  1. Adaptacja z modelem referencyjnym (MRAS): podejście oparte na
    gradiencie, reguła MIT, uzasadnienie oparte na teorii stabilności,
    postać MRAS dla ogólnego systemu liniowego.

  2. Sterowanie z jednoczesnym modelowaniem: samostrojące się
    regulatory (STR).

  3. Adaptacyjne sterowanie predykcyjne.

  4. Przegląd zastosowań i podejść nie wymienionych na wykładzie.




Zakres projektu
Sformułowanie zadania projektowego obejmuje pewien sekwencyjny problemy decyzyjny lub problem sterowania oraz algorytm adaptacji dla decydenta/sterownika, który stoi wobec tego problemu. W języku dowolnym języku średniego poziomu (C++, C#, Java, Python) należy zaimplementować symulator problemu oraz oprogramować algorytm adaptacji.

Literatura:

    1. P. Wawrzyński, Sterowanie Adaptacyjne i Uczenie Maszynowe,
      preskrypt wykładu.

    2. P. Cichosz, Systemy Uczące Się, WNT, 2000.

    3. K.J. Astrom, B. Wittenmark, Adaptive Control, Addison-Wesley,
      1989.

    4. J.-J.E. Slotine, W. Li: Applied Nonlinear Control, Prentice Hall,
      1991.

    5. R. Sutton, A. Barto, Reinforcement Learning: An Introduction, MIT
      Press, 1998.

Metody i kryteria oceniania:

Ocena z przedmiotu jest oparta na ocenie projektu i wyniku egzaminu.

Przedmiot nie jest oferowany w żadnym z aktualnych cykli dydaktycznych.
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.
pl. Politechniki 1, 00-661 Warszawa tel: (22) 234 7211 https://pw.edu.pl kontakt deklaracja dostępności USOSweb 7.0.0.0-7 (2024-03-18)