Percepcja maszyn

103000 - Wydział Elektroniki i Technik Informacyjnych

PERM

2

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.

Treść wykładu

1. Reprezentacja cyfrowego sygnału i obrazu. (2 godz.)
2. Przetwarzanie sygnałów (filtry FIR i IIR, transformaty przestrzeni, transformaty adaptacyjne). (2 godz.)
3. Lokalizacja i separacja dźwięków otoczenia. (2 godz.)
4. Sygnał mowy – detekcja mowy w sygnale akustycznym, segmentacja, cechy w dziedzinie czasu, częstotliwości i cepstrum. (4 godz.)
5. Klasyfikacja mowy. (2 godz.)
6. Model kamery i kalibracja kamery wizyjnej. (2 godz.)
7. Segmentacja konturowa i obszarowa obrazu – krawędzie, kontury, deskryptory punktowe, cechy tekstury. (4 godz.)
8. Klasyfikacja kształtu obiektu. (2 godz.)
9. Metody pozyskiwania obrazu 3D (chmura punktów 3D lub obraz RGB-D) (stereo-wizja – kalibracja, problem korespondencji, światło strukturalne). (4 godz.)
10. Analiza obrazu 3D (tworzenie mapy otoczenia, segmentacja, modelowanie powierzchniami, rozpoznawanie obiektów 3D). (2 godz.)
11. Zastosowanie sieci głębokich do rozpoznawania obiektów (CNN, R-CNN). (2 godz.)
12. Analiza sekwencji obrazów w czasie (estymacja mapy ruchu, rekonstrukcja sceny na podstawie ruchu, śledzenie ruchomych obiektów). (4 godz.)

Zakres laboratorium

1. Analiza sygnału audio – filtracja, transformaty, wyznaczanie cech, klasyfikacja dźwięków. (3 godz.)
2. Lokalizacja i separacja dźwięków otoczenia – jednoczesna akwizycja i analiza dźwięku z kilku mikrofonów, lokalizacja źródła dźwięku, separacja „rzadkich” źródeł). (3 godz.)
3. Analiza sygnału mowy – detekcja mowy, ekstrakcja cech, klasyfikacja prostych komend. (3 godz.)
4. Kalibracja kamery wizyjnej i pary kamer stereo – wyznaczanie parametrów kamer, określanie pozycji obiektów w przestrzeni w układzie kamery (mono i stereo). (3 godz.)
5. Analiza obrazu RGB - przetwarzanie wstępne i segmentacja obrazu, detekcja i klasyfikacja kształtu. (6 godz.)
6. Mapa otoczenia 3D - obraz 3D, punkty charakterystyczne 3D, pasowanie chmur punktów 3D, tworzenie mapy 3D. (3 godz.)
7. Analiza obrazu RGB-D – segmentacja, modelowanie i rozpoznawanie obiektów w obrazie 3D. (3 godz.)
8. Sieci głębokie w rozpoznawaniu obiektów – zastosowanie dedykowanego narzędzia (np. Keras) do konfigurowania warstw sieci głębokiej, trenowania sieci i rozpoznawania obiektów. (3 godz.)
9. Analiza sekwencji obrazów - detekcja ruchu, rekonstrukcja sceny, śledzenie obiektu. (3 godz.)

1. W. Kasprzak. Rozpoznawanie obrazów i sygnałów mowy, Oficyna wydawnicza PW, Warszawa, 2009.
2. R. Gonzalez, R. Woods, Digital Image Processing, Pearson, 2018.
3. J. Benesty, M. Mohan Sondhi, Y. Arden Huang: Springer Handbook of Speech Processing. Springer, 2008.
4. W. Malina, M. Smiatacz. Metody cyfrowego przetwarzania obrazów. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2005.
5. I. Goodfellow, Y. Bengio, A. Courville, Deep learning, MIT Press, 2016.
6. R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2011.

Sprawdzanie założonych efektów kształcenia realizowane jest przez:

• ocenę wiedzy i umiejętności związanych z realizacją zadań laboratoryjnych – ocenę sprawozdań z realizacji zadań;
• ocenę wiedzy i umiejętności wykazanych na kolokwiach o charakterze problemowym.

103100 - Instytut Automatyki i Informatyki Stosowanej

103100 - Instytut Automatyki i Informatyki Stosowanej