Politechnika Warszawska - Centralny System Uwierzytelniania
Strona główna

Percepcja maszyn

Informacje ogólne

Kod przedmiotu: 103B-INSZI-ISP-PERM
Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Percepcja maszyn
Jednostka: Wydział Elektroniki i Technik Informacyjnych
Grupy: ( Przedmioty obieralne )-Automatyka i robotyka-inż.-EITI
( Przedmioty techniczne )---EITI
( Sztuczna inteligencja )-Sztuczna inteligencja-inż.-EITI
Punkty ECTS i inne: 4.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Jednostka decyzyjna:

103000 - Wydział Elektroniki i Technik Informacyjnych

Kod wydziałowy:

PERM

Numer wersji:

2

Skrócony opis:

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.

Pełny opis:

Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.


Treść wykładu


  1. Reprezentacja cyfrowego sygnału i obrazu. (2 godz.)
  2. Przetwarzanie sygnałów (filtry FIR i IIR, transformaty przestrzeni, transformaty adaptacyjne). (2 godz.)
  3. Lokalizacja i separacja dźwięków otoczenia. (2 godz.)
  4. Sygnał mowy – detekcja mowy w sygnale akustycznym, segmentacja, cechy w dziedzinie czasu, częstotliwości i cepstrum. (4 godz.)
  5. Klasyfikacja mowy. (2 godz.)
  6. Model kamery i kalibracja kamery wizyjnej. (2 godz.)
  7. Segmentacja konturowa i obszarowa obrazu – krawędzie, kontury, deskryptory punktowe, cechy tekstury. (4 godz.)
  8. Klasyfikacja kształtu obiektu. (2 godz.)
  9. Metody pozyskiwania obrazu 3D (chmura punktów 3D lub obraz RGB-D) (stereo-wizja – kalibracja, problem korespondencji, światło strukturalne). (4 godz.)
  10. Analiza obrazu 3D (tworzenie mapy otoczenia, segmentacja, modelowanie powierzchniami, rozpoznawanie obiektów 3D). (2 godz.)
  11. Zastosowanie sieci głębokich do rozpoznawania obiektów (CNN, R-CNN). (2 godz.)
  12. Analiza sekwencji obrazów w czasie (estymacja mapy ruchu, rekonstrukcja sceny na podstawie ruchu, śledzenie ruchomych obiektów). (4 godz.)


Zakres laboratorium


  1. Analiza sygnału audio – filtracja, transformaty, wyznaczanie cech, klasyfikacja dźwięków. (3 godz.)
  2. Lokalizacja i separacja dźwięków otoczenia – jednoczesna akwizycja i analiza dźwięku z kilku mikrofonów, lokalizacja źródła dźwięku, separacja „rzadkich” źródeł). (3 godz.)
  3. Analiza sygnału mowy – detekcja mowy, ekstrakcja cech, klasyfikacja prostych komend. (3 godz.)
  4. Kalibracja kamery wizyjnej i pary kamer stereo – wyznaczanie parametrów kamer, określanie pozycji obiektów w przestrzeni w układzie kamery (mono i stereo). (3 godz.)
  5. Analiza obrazu RGB - przetwarzanie wstępne i segmentacja obrazu, detekcja i klasyfikacja kształtu. (6 godz.)
  6. Mapa otoczenia 3D - obraz 3D, punkty charakterystyczne 3D, pasowanie chmur punktów 3D, tworzenie mapy 3D. (3 godz.)
  7. Analiza obrazu RGB-D – segmentacja, modelowanie i rozpoznawanie obiektów w obrazie 3D. (3 godz.)
  8. Sieci głębokie w rozpoznawaniu obiektów – zastosowanie dedykowanego narzędzia (np. Keras) do konfigurowania warstw sieci głębokiej, trenowania sieci i rozpoznawania obiektów. (3 godz.)
  9. Analiza sekwencji obrazów - detekcja ruchu, rekonstrukcja sceny, śledzenie obiektu. (3 godz.)
Literatura:

  1. W. Kasprzak. Rozpoznawanie obrazów i sygnałów mowy, Oficyna wydawnicza PW, Warszawa, 2009.
  2. R. Gonzalez, R. Woods, Digital Image Processing, Pearson, 2018.
  3. J. Benesty, M. Mohan Sondhi, Y. Arden Huang: Springer Handbook of Speech Processing. Springer, 2008.
  4. W. Malina, M. Smiatacz. Metody cyfrowego przetwarzania obrazów. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2005.
  5. I. Goodfellow, Y. Bengio, A. Courville, Deep learning, MIT Press, 2016.
  6. R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2011.
Metody i kryteria oceniania:

Sprawdzanie założonych efektów kształcenia realizowane jest przez:

  • ocenę wiedzy i umiejętności związanych z realizacją zadań laboratoryjnych – ocenę sprawozdań z realizacji zadań;
  • ocenę wiedzy i umiejętności wykazanych na kolokwiach o charakterze problemowym.

Zajęcia w cyklu "rok akademicki 2023/2024 - sem. letni" (w trakcie)

Okres: 2024-02-19 - 2024-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Włodzimierz Kasprzak, Maciej Stefańczyk
Prowadzący grup: Włodzimierz Kasprzak, Maciej Stefańczyk, Artur Wilkowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Ocena łączna
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Zajęcia w cyklu "rok akademicki 2022/2023 - sem. letni" (zakończony)

Okres: 2023-02-20 - 2023-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Włodzimierz Kasprzak, Maciej Stefańczyk
Prowadzący grup: Włodzimierz Kasprzak, Maciej Stefańczyk, Artur Wilkowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Ocena łączna
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Zajęcia w cyklu "rok akademicki 2021/2022 - sem. letni" (zakończony)

Okres: 2022-02-23 - 2022-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Włodzimierz Kasprzak, Maciej Stefańczyk
Prowadzący grup: Włodzimierz Kasprzak, Maciej Stefańczyk
Lista studentów: (nie masz dostępu)
Zaliczenie: Ocena łączna
Jednostka realizująca:

103100 - Instytut Automatyki i Informatyki Stosowanej

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.
pl. Politechniki 1, 00-661 Warszawa tel: (22) 234 7211 https://pw.edu.pl kontakt deklaracja dostępności USOSweb 7.0.0.0-7 (2024-03-18)