Wstęp do multimediów

103000 - Wydział Elektroniki i Technik Informacyjnych

WMM

1

Celem przedmiotu jest zapoznanie studentów z podstawami przetwarzania sygnałów i informacji w kontekście technologii multimedialnych. W ramach wykładu omawiana jest tematyka przetwarzania, kompresji, generacji i analizy sygnałów wizyjnych i dźwiękowych.

Celem przedmiotu jest zapoznanie studentów z podstawami przetwarzania sygnałów i informacji w kontekście technologii multimedialnych. W ramach wykładu omawiana jest tematyka przetwarzania, kompresji, generacji i analizy sygnałów wizyjnych i dźwiękowych.

Treść wykładu

1. Wprowadzenie - sygnał jako nośnik informacji, sygnały deterministyczne i losowe, analogowe i dyskretne, sygnały okresowe, reprezentacje sygnałów analogowych, trygonometryczny szereg Fouriera, zespolona postać szeregu Fouriera, przekształcenie Fouriera, widmo sygnału, widmo amplitudowe i fazowe, podstawowe parametry sygnałów. (3 godz.)
2. Próbkowanie sygnałów - sygnały o skończonym paśmie, twierdzenie o próbkowaniu, częstotliwość Nyquista, odstępstwa od założeń próbkowania idealnego, aliasing, efekt stroboskopowy, przetwarzanie sygnału analogowego w sygnał cyfrowy A/C, kwantowanie sygnałów i reprezentacja cyfrowa sygnału analogowego, szum kwantowania i stosunek sygnał-szum przetwornika A/C, odtwarzanie sygnałów na podstawie próbek, operacje realizowane w przetworniku cyfrowo-analogowym (C/A). (3 godz.)
3. Elementy cyfrowego przetwarzania sygnałów - dyskretne układy liniowe, częstotliwość unormowana, widmo sygnału dyskretnego, dyskretna transformata Fouriera (DFT), szybka transformacja Fouriera (FFT), opis układów dyskretnych w dziedzinie czasu, operatorowej i częstotliwości, delta Kroneckera, odpowiedź impulsowa, splot dyskretny, przekształcenie Z, transmitancja filtru cyfrowego, charakterystyki częstotliwościowe, filtry cyfrowe. (3 godz.)
4. Podstawy teorii informacji - opis probabilistyczny źródła informacji, miara ilości informacji – entropia, system kodowania, kody przedrostkowe, nierówność Krafta-McMilana, kodowanie optymalne metodą Huffmana, kody unarne, Golomba, kodowanie słownikowe. (3 godz.)
5. Sygnały akustyczne (dźwięki) - opis fizyczny, propagacja fali w przestrzeni, percepcja dźwięku przez człowieka, lokalizacja, ograniczenia słyszenia, kryteria oceny jakości dźwięku (mowa i muzyka), wpływ hałasu na słuch człowieka. (3 godz.)
6. Cyfrowe sygnały foniczne - techniki przetwarzania a/c i c/a w systemach audio wysokiej jakości, telekomunikacji i urządzeniach mobilnych (rodzaje przetworników fonicznych, próbkowanie, kwantyzacja, kodowanie), obiektywne parametry i właściwości, rozdzielczość, przepływność. (4 godz.)
7. Cyfrowe przetwarzanie dźwięku - analiza częstotliwościowa i czasowo-częstotliwościowa sygnałów fonicznych, analiza zawartości i cech sygnałów dźwiękowych, filtracja, efekty dźwiękowe, synteza dźwięku i mowy, kompresja dźwięku stratna i bezstratna, strumieniowanie cyfrowego dźwięku, detekcja i rozpoznawanie dźwięku. (4 godz.)
8. Dźwiękowa technika studyjna, wirtualne instrumenty muzyczne, cyfrowe efekty dźwiękowe w technice studyjnej, usuwanie zniekształceń z sygnałów dźwiękowych, auralizacja. (3 godz.)
9. Światło - opis fizyczny, percepcja światła przez człowieka, obraz cyfrowy - opis, akwizycja (przetworniki CCD/CMOS), wyświetlanie (przetworniki LCD/OLED). (2 godz.)
10. Przetwarzanie obrazów cyfrowych - operacje jednoargumentowe (LUT), filtracja, transformaty. (2 godz.)
11. Kompresja obrazu cyfrowego i sekwencji obrazów - metody bezstratne (formaty GIF, PNG), metody stratne (standardy obrazowe JPEG, JPEG-2000, standardy wideo MPEG, H.26x). (4 godz.)
12. Transmisja danych multimedialnych – kontenery multimedialne (MPEG-2 TS, MP4), transmisja w sieciach radiodyfuzyjnych (radiofonia cyfrowa DAB, telewizja cyfrowa DVB), transmisja w sieciach szerokopasmowych (usługa VOD, protokół RTSP, adaptacyjne strumieniowanie z wykorzystaniem protokołu HTTP: MPEG-DASH, HLS, systemy czasu rzeczywistego: WebRTC). (4 godz.)
13. Analiza obrazów: detekcja, śledzenie, rozpoznawanie obiektów o określonych cechach. (2 godz.)
14. Indeksowanie i wyszukiwanie danych multimedialnych. (1 godz.)
15. Znaki wodne i steganografia. (1 godz.)
16. Podstawy grafiki komputerowej: reprezentacja obiektów dwu- i trójwymiarowych, przekształcenia geometryczne 2D i 3D, obcinanie odcinków i wielokątów, eliminacja powierzchni niewidocznych (alg. malarski, z-bufor), tor generowania grafiki, metody cieniowania powierzchni (płaskie, Gourauda, Phonga), odwzorowanie tekstur, metoda śledzenia promieni. (6 godz.)

Zakres laboratorium

1. Analiza widmowa sygnałów dyskretnych. (3 godz.)
2. Filtracja, cyfrowe efekty dźwiękowe i synteza sygnałów muzycznych. (3 godz.)
3. Analiza, synteza, rozpoznawanie i ocena jakości sygnału mowy. (3 godz.)
4. Filtracja obrazu cyfrowego: redukcja szumu, wykrywanie krawędzi. (3 godz.)
5. Statystyczne właściwości obrazów cyfrowych. (3 godz.)
6. Śledzenie obiektów. (3 godz.)
7. Strumieniowanie danych multimedialnych: MPEG-DASH, WebRTC. (3 godz.)
8. Generowanie grafiki z wykorzystaniem popularnej biblioteki graficznej. (3 godz.)

1. J. Szabatin, Podstawy teorii sygnałów, WKŁ, Warszawa, 2007.
2. T. Zieliński, Cyfrowe przetwarzanie sygnałów: od teorii do zastosowań, WKŁ, Warszawa, 2005.
3. D. Stranneby, Cyfrowe przetwarzanie sygnałów, BTC 2012.
4. Przelaskowski, Kompresja danych, Podstawy, Metody bezstratne, Kodery obrazów, BTC, Warszawa 2005.
5. M. Domański, Obraz cyfrowy, WKŁ, Warszawa 2010.
6. F.A. Everest, Podręcznik Akustyki, Sonia Draga 2013.
7. K. Sztekmiler, Podstawy nagłośnienia i realizacji nagrań, WKŁ 2008.

103400 - Instytut Radioelektroniki i Technik Multimedialnych

103400 - Instytut Radioelektroniki i Technik Multimedialnych

103400 - Instytut Radioelektroniki i Technik Multimedialnych

103400 - Instytut Radioelektroniki i Technik Multimedialnych

103400 - Instytut Radioelektroniki i Technik Multimedialnych

103400 - Instytut Radioelektroniki i Technik Multimedialnych