Politechnika Warszawska - Centralny System UwierzytelnianiaNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Percepcja maszyn

Informacje ogólne

Kod przedmiotu: 103B-INSZI-ISP-PERM Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Percepcja maszyn
Jednostka: Wydział Elektroniki i Technik Informacyjnych
Grupy: ( Przedmioty techniczne )---EITI
( Sztuczna inteligencja )-Sztuczna inteligencja-inż.-EITI
Punkty ECTS i inne: 4.00
Język prowadzenia: polski
Jednostka decyzyjna:

103000 - Wydział Elektroniki i Technik Informacyjnych

Kod wydziałowy:

PERM

Numer wersji:

2

Skrócony opis:

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.

Pełny opis:

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.



Treść wykładu

  1. Reprezentacja cyfrowego sygnału i obrazu. (2 godz.)
  2. Przetwarzanie sygnałów (filtry FIR i IIR, transformaty przestrzeni, transformaty adaptacyjne). (2 godz.)
  3. Lokalizacja i separacja dźwięków otoczenia. (2 godz.)
  4. Sygnał mowy – detekcja mowy w sygnale akustycznym, segmentacja, cechy w dziedzinie czasu, częstotliwości i cepstrum. (4 godz.)
  5. Klasyfikacja mowy. (2 godz.)
  6. Model kamery i kalibracja kamery wizyjnej. (2 godz.)
  7. Segmentacja konturowa i obszarowa obrazu – krawędzie, kontury, deskryptory punktowe, cechy tekstury. (4 godz.)
  8. Klasyfikacja kształtu obiektu. (2 godz.)
  9. Metody pozyskiwania obrazu 3D (chmura punktów 3D lub obraz RGB-D) (stereo-wizja – kalibracja, problem korespondencji, światło strukturalne). (4 godz.)
  10. Analiza obrazu 3D (tworzenie mapy otoczenia, segmentacja, modelowanie powierzchniami, rozpoznawanie obiektów 3D). (2 godz.)
  11. Zastosowanie sieci głębokich do rozpoznawania obiektów (CNN, R-CNN). (2 godz.)
  12. Analiza sekwencji obrazów w czasie (estymacja mapy ruchu, rekonstrukcja sceny na podstawie ruchu, śledzenie ruchomych obiektów). (4 godz.)



Zakres laboratorium

  1. Analiza sygnału audio – filtracja, transformaty, wyznaczanie cech, klasyfikacja dźwięków. (3 godz.)
  2. Lokalizacja i separacja dźwięków otoczenia – jednoczesna akwizycja i analiza dźwięku z kilku mikrofonów, lokalizacja źródła dźwięku, separacja „rzadkich” źródeł). (3 godz.)
  3. Analiza sygnału mowy – detekcja mowy, ekstrakcja cech, klasyfikacja prostych komend. (3 godz.)
  4. Kalibracja kamery wizyjnej i pary kamer stereo – wyznaczanie parametrów kamer, określanie pozycji obiektów w przestrzeni w układzie kamery (mono i stereo). (3 godz.)
  5. Analiza obrazu RGB - przetwarzanie wstępne i segmentacja obrazu, detekcja i klasyfikacja kształtu. (6 godz.)
  6. Mapa otoczenia 3D - obraz 3D, punkty charakterystyczne 3D, pasowanie chmur punktów 3D, tworzenie mapy 3D. (3 godz.)
  7. Analiza obrazu RGB-D – segmentacja, modelowanie i rozpoznawanie obiektów w obrazie 3D. (3 godz.)
  8. Sieci głębokie w rozpoznawaniu obiektów – zastosowanie dedykowanego narzędzia (np. Keras) do konfigurowania warstw sieci głębokiej, trenowania sieci i rozpoznawania obiektów. (3 godz.)
  9. Analiza sekwencji obrazów - detekcja ruchu, rekonstrukcja sceny, śledzenie obiektu. (3 godz.)
Literatura:

  1. W. Kasprzak. Rozpoznawanie obrazów i sygnałów mowy, Oficyna wydawnicza PW, Warszawa, 2009.
  2. R. Gonzalez, R. Woods, Digital Image Processing, Pearson, 2018.
  3. J. Benesty, M. Mohan Sondhi, Y. Arden Huang: Springer Handbook of Speech Processing. Springer, 2008.
  4. W. Malina, M. Smiatacz. Metody cyfrowego przetwarzania obrazów. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2005.
  5. I. Goodfellow, Y. Bengio, A. Courville, Deep learning, MIT Press, 2016.
  6. R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2011.
Metody i kryteria oceniania:

Sprawdzanie założonych efektów kształcenia realizowane jest przez:

  • ocenę wiedzy i umiejętności związanych z realizacją zadań laboratoryjnych – ocenę sprawozdań z realizacji zadań;
  • ocenę wiedzy i umiejętności wykazanych na kolokwiach o charakterze problemowym.

Zajęcia w cyklu "rok akademicki 2021/2022 - sem. zimowy" (jeszcze nie rozpoczęty)

Okres: 2021-10-01 - 2022-02-20
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Laboratorium, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: (brak danych)
Prowadzący grup: (brak danych)
Lista studentów: (nie masz dostępu)
Zaliczenie: Ocena łączna
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.