Percepcja maszyn

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.

Treść wykładu

1. Reprezentacja cyfrowego sygnału i obrazu. (2 godz.)
2. Przetwarzanie sygnałów (filtry FIR i IIR, transformaty przestrzeni, transformaty adaptacyjne). (2 godz.)
3. Lokalizacja i separacja dźwięków otoczenia. (2 godz.)
4. Sygnał mowy – detekcja mowy w sygnale akustycznym, segmentacja, cechy w dziedzinie czasu, częstotliwości i cepstrum. (4 godz.)
5. Klasyfikacja mowy. (2 godz.)
6. Model kamery i kalibracja kamery wizyjnej. (2 godz.)
7. Segmentacja konturowa i obszarowa obrazu – krawędzie, kontury, deskryptory punktowe, cechy tekstury. (4 godz.)
8. Klasyfikacja kształtu obiektu. (2 godz.)
9. Metody pozyskiwania obrazu 3D (chmura punktów 3D lub obraz RGB-D) (stereo-wizja – kalibracja, problem korespondencji, światło strukturalne). (4 godz.)
10. Analiza obrazu 3D (tworzenie mapy otoczenia, segmentacja, modelowanie powierzchniami, rozpoznawanie obiektów 3D). (2 godz.)
11. Zastosowanie sieci głębokich do rozpoznawania obiektów (CNN, R-CNN). (2 godz.)
12. Analiza sekwencji obrazów w czasie (estymacja mapy ruchu, rekonstrukcja sceny na podstawie ruchu, śledzenie ruchomych obiektów). (4 godz.)

Zakres laboratorium

1. Analiza sygnału audio – filtracja, transformaty, wyznaczanie cech, klasyfikacja dźwięków. (3 godz.)
2. Lokalizacja i separacja dźwięków otoczenia – jednoczesna akwizycja i analiza dźwięku z kilku mikrofonów, lokalizacja źródła dźwięku, separacja „rzadkich” źródeł). (3 godz.)
3. Analiza sygnału mowy – detekcja mowy, ekstrakcja cech, klasyfikacja prostych komend. (3 godz.)
4. Kalibracja kamery wizyjnej i pary kamer stereo – wyznaczanie parametrów kamer, określanie pozycji obiektów w przestrzeni w układzie kamery (mono i stereo). (3 godz.)
5. Analiza obrazu RGB - przetwarzanie wstępne i segmentacja obrazu, detekcja i klasyfikacja kształtu. (6 godz.)
6. Mapa otoczenia 3D - obraz 3D, punkty charakterystyczne 3D, pasowanie chmur punktów 3D, tworzenie mapy 3D. (3 godz.)
7. Analiza obrazu RGB-D – segmentacja, modelowanie i rozpoznawanie obiektów w obrazie 3D. (3 godz.)
8. Sieci głębokie w rozpoznawaniu obiektów – zastosowanie dedykowanego narzędzia (np. Keras) do konfigurowania warstw sieci głębokiej, trenowania sieci i rozpoznawania obiektów. (3 godz.)
9. Analiza sekwencji obrazów - detekcja ruchu, rekonstrukcja sceny, śledzenie obiektu. (3 godz.)

Sprawdzanie założonych efektów kształcenia realizowane jest przez:

• ocenę wiedzy i umiejętności związanych z realizacją zadań laboratoryjnych – ocenę sprawozdań z realizacji zadań;
• ocenę wiedzy i umiejętności wykazanych na kolokwiach o charakterze problemowym.