Teoria sygnałów i informacji

103000 - Wydział Elektroniki i Technik Informacyjnych

TSI

2

Zasadniczym celem przedmiotu jest zapoznanie studentów z elementami teorii informacji z uwypukleniem roli sygnału jako nośnika informacji. Przedstawione zostaną podstawowe pojęcia teorii informacji i teorii kodowania: miary ilości informacji, pojęcie przepustowości kanału informacyjnego, zagadnienia kodowania źródła informacyjnego i kodowania kanału. Przedyskutowane będą granice teorioinformacyjne Shannona. Wprowadzony zostanie opis sygnałów i układów LS w dziedzinie czasu, dziedzinie częstotliwości i dziedzinie zespolonej. Omówione będą także podstawowe operacje nad sygnałami: próbkowanie, kwantowanie i filtracja. Zagadnienia te będą punktem wyjścia do omówienia problematyki kompresji, transmisji i korekcji danych. Zilustrowane one zostaną na przykładzie współczesnych cyfrowych systemów transmisji informacji.

Zasadniczym celem przedmiotu jest zapoznanie studentów z elementami teorii informacji z uwypukleniem roli sygnału jako nośnika informacji. Przedstawione zostaną podstawowe pojęcia teorii informacji i teorii kodowania: miary ilości informacji, pojęcie przepustowości kanału informacyjnego, zagadnienia kodowania źródła informacyjnego i kodowania kanału. Przedyskutowane będą granice teorioinformacyjne Shannona. Wprowadzony zostanie opis sygnałów i układów LS w dziedzinie czasu, dziedzinie częstotliwości i dziedzinie zespolonej. Omówione będą także podstawowe operacje nad sygnałami: próbkowanie, kwantowanie i filtracja. Zagadnienia te będą punktem wyjścia do omówienia problematyki kompresji, transmisji i korekcji danych. Zilustrowane one zostaną na przykładzie współczesnych cyfrowych systemów transmisji informacji.

Treść wykładu

1. Wprowadzenie. Pojęcia podstawowe. Łącze informacyjne. Źródło, kanał i odbiornik informacji. Źródła i łącza dyskretne. Opis probabilistyczny źródła i kanału dyskretnego.


2. Miary ilości informacji. Entropia. maksymalizacja entropii. Informacja wzajemna. Pozostałe miary ilości informacji i związki między nimi.


3. Pojęcie przepustowości kanału. Przepustowość jako maksimum informacji wzajemnej. Kanał idealny. Kanał przerwany. Kanał binarny symetryczny. Przykłady innych kanałów. Przykłady obliczania przepustowości kanałów dyskretnych.


4. Elementy teorii kodowania. Kodowanie bezstratne źródła. Kryterium jakości kodu. Pierwsze twierdzenie Shannona o kodowaniu (źródła). Kody Shannona-Fano. Warunek konieczny i dostateczny realizowalności kodu. Nierówność Krafta. Kod optymalny Huffmana. Kompresja informacji.


5. Kodowanie kanału. Kody korekcyjne. Drugie twierdzenie Shannona o kodowaniu. Kody Hamminga. Wzmianka o innych kodach, w tym turbokodach.


6. Ciągłe łącza informacyjne. Opis probabilistyczny łącza ciągłego. Kanał AWGN. Przepustowość kanału AWGN. Podstawowy związek między przepustowością, szerokością pasma kanału a stosunkiem sygnał-szum. Granica przepustowości przy paśmie nieskończonym. Osteteczny kres Shannona. Informacja a energia. Minimalna energia konieczna do przesłania 1 bitu informacji.


7. Elementy ogólnej teorii sygnałów. Sygnał jako nośnik informacji. Klasyfikacja sygnałów. Sygnały deterministyczne i losowe, analogowe i dyskretne. Podstawowe parametry sygnału: energia, moc.Reprezentacje sygnałów analogowych. Trygonometryczny szereg Fouriera, zespolona postać szeregu Fouriera. Przekształcenie Fouriera. Pojęcie widma sygnału. Widmo amplitudowe i fazowe.


8. Sygnały o skończonym paśmie. Próbkowanie sygnału. Twierdzenie o próbkowaniu, częstotliwość Nyquista. Efekt stroboskopowy. Odtwarzanie sygnału z próbek.


9. Przetwarzanie sygnału analogowego w sygnał cyfrowy. Operacje realizowane w przetworniku A/C. Kwantowanie sygnałów i reprezentacja cyfrowa sygnału analogowego. Szum kwantowania i stosunek sygnał-szum w przetworniku A/C.


10. Przetwarzanie sygnałów przez filtry LS. Odpowiedź impulsowa, charakterystyka amplitudowo-fazowa i transmitancja filtru. Filtr dolnoprzepustowy, górnoprzepustowy, środkowoprzepustowy i środkowozaporowy. Filtry rzędu pierwszego i rzędu drugiego. Realizacje filtrów w strukturze sekcji bikwadratowej. Charakterystyki amplirudowe filtrów.


11. Elementy cyfrowego przetwarzania sygnałów. Sygnał cyfrowy. Przekształcenie Z. Częstotliwość unormowana. Widmo sygnału cyfrowego. Filtry cyfrowe.


12. Systemy transmisji informacji. Modulacje sygnałów analogowe, impulsowe i cyfrowe. Kluczowanie amplitudy, częstotliwości i fazy. Przykłady współczesnych cyfrowych systemów transmisji informacji.

1. Szereg Fouriera.
2. Badanie analogowych układów liniowych.
3. Próbkowanie sygnałów i ich odtwarzanie z próbek.
4. Badanie dyskretnych układów liniowych..
5. Charakterystyki informacyjne binarnego kanału transmisyjnego.

1. K. Wesołowski, Podstawy cyfrowych systemów telekomunikacyjnych, WKŁ, Warszawa 2006.


2. S. Haykin, Systemy telekomunikacyjne, WKŁ, Warszawa 2000.


3. J. Szabatin, Podstawy teorii sygnałów, WKŁ, Warszawa 2007.


4. T. Zieliński, Cyfrowe przetwarzanie sygnałów: od teorii do zastosowań, WKŁ, Warszawa 2014.


5. S. Dymowski, Elementy teorii informacji, Wyd. PW, Warszawa 1971 (1968).


6. R. Biernacki, B. Butkiewicz, J. Szabatin, B. Świdzińska, Zbiór zadań z teorii sygnałów i teorii informacji, Wyd. PW, Warszawa 2003.