Podstawy teorii informacji
Informacje ogólne
Kod przedmiotu: | 1120-IN000-ISP-0126 |
Kod Erasmus / ISCED: | (brak danych) / (brak danych) |
Nazwa przedmiotu: | Podstawy teorii informacji |
Jednostka: | Wydział Matematyki i Nauk Informacyjnych |
Grupy: |
Informatyka i Systemy Informacyjne, I st. - przedmioty obowiązkowe, sem. 2 |
Punkty ECTS i inne: |
4.00
|
Język prowadzenia: | polski |
Skrócony opis: |
Wymagania wstępne: brak Cel przedmiotu: Celem jest przekazanie wiedzy oraz umiejętności dotyczących podstaw teorii informacji, w tym efektywnych reprezentacji sygnałów oraz sposobów modelowania źródeł, liczenia i rozumienia informacji, wykorzystanych do formowania skutecznego przekazu od strony syntaktycznej, semantycznej i pragmatycznej. |
Pełny opis: |
Treści kształcenia: Wykład: Pojęcie sygnału fizycznego, jako efektu pomiaru w określonym układzie-systemie, oraz jego reprezentacji analogowej: definicja procesu pomiaru, określenie uwarunkowań fizycznych, organizacyjnych, problem celowości i przypadkowości, odbierania i nadawania/przekazu. Przykłady sygnałów, ich matematyczna reprezentacja, przestrzenie, bazy, różnicowanie cech sygnałów, miary jakości. Przegląd prostych metod analizy sygnałów analogowych, ich reprezentacji amplitudowych, częstotliwościowych, fazowych, czasowo-częstotliwościowych, skalowalnych; podstawowe filtry kształtujące. Sygnały cyfrowe, przetworniki analogowo-cyfrowe, reguły próbkowania i kwantyzacji, schematy równomierne i adaptacyjne, zasady rekonstrukcji sygnałów analogowych, kontrola jakości - przykłady zniekształceń aliasingu, efektów Gibbsa itp. sygnałów audio, obrazów. Rozumienie pojęcia informacji: intuicja i definicje potoczne, przykłady, dyskusja kluczowego znaczenia informacji w kontekście rozwoju nowo-czesnych technologii, fizyki, biologii, kosmologii itd. (Wiener: informacja nie jest ani materią ani energią; Bateson: informacja jest różnicą, która robi różnicę); pojęcie informacji kwantowej. Fundamentalna definicja pojęcia informacji, cechy informacji i sposoby ich opisu; model przekazu informacji, kanału, schematu nadawca-odbiorca; problem obiektywizacji subiektywnych modeli użytkowników, kryteriów optymalizacji. Matematyczna (statystyczna) teoria informacji C.E. Shannona: modele źródeł, miary ilości informacji, podstawowe twierdzenia o kodowaniu; konsekwencje układowe i systemowe; inne syntaktyczne teorie informacji; inne teorie syntaktyczne: kombinatoryczna i algorytmiczna; entropia Gibbsa (miara nieuporządkowania w zamkniętym systemie cząstki w równowadze pod względem rozkładu prawdopodobieństwa energii). Kody jednoznacznie dekodowalne: warunki bijekcji, przykłady kodów, kody optymalne. Analityczna teoria sieci informacji Kołmogorowa, pojęcie ε-entropii, przykłady jej wyznaczania, praktyczne znaczenie tej teorii w konstrukcji skutecznych metod kompresji z selekcją informacji. Semantyczne i pragmatyczne teorie informacji, podkreślające znaczenie i walory poznawcze elementów przekazu informacji; przykłady: pierwsze językowe koncepcje Carnapa i Bar-Hillela (im większa jest liczba zdań, które słowo może sugerować w modelu języka, tym słowo zawiera więcej informacji semantycznej); Floridi i poznawcza, filozoficzna koncepcja informacji (znaczenie, prawda i wiedza); kompleksowy model teorii informacji (Stanford); problem prawdy w teorii informacji; modele generacji informacji semantycznej; reprezentacje i pomiary semantycznej informacji. Modelowanie systemu informacji: obiekty obserwowane (mierzone, opisane ontologią, poznawane) w określonym środowisku (specyficzne uwarunkowania) – pomiar właściwości obiektów formułujący informację – poznanie poprzez postrzeganie informacji – decydowanie w odniesieniu do wiedzy dziedzinowej – wykonanie zamiarów poprzez inteligentne działanie na obserwowane (albo analogiczne) obiekty; wykorzystanie systemu informacji do budowania wiedzy (indukcja) służącej inteligentnej realizacji określonych celów (metodą dedukcji). Realistyczne przykłady zastosowań teorii informacji: aplikacje multimedialne (przeglądanie zasobów po zawartości, interaktywne transmisje, rozpoznawanie obiektów, interpretacja ich stanu, dynamiki zachowań, trendów rozwoju), systemy informatyki medycznej (wspomaganie decyzji klinicznych, dobór formy terapii, interpretacja diagnozy), rekonstrukcje obiektów na podstawie pomiarów/reprezentacji rzadkich (problem pomiarów celowanych, losowych z modelem wiedzy oraz projekcji reprezentatywnych). Laboratorium: 1. Pomiar i reprezentacja sygnałów: rejestracja sygnałów analogowych, analiza w przestrzeniach wielkoskalowych, efekty próbkowania i kwantyzacji, filtracje i przekształcenia jakościowe sygnałów cyfrowych, analiza jakościowa; 2. Syntaktyczne modelowanie informacji: licznie entropii za pomocą modeli bez pamięci i z pamięcią, kody symboli, blokowe i strumieniowe, eksperymentalna optymalizacja kodowania na zbiorach testowych o różnych właściwościach; 3. Semantyczne modelowanie informacji: konstrukcja kodeków stratnych, definiowanie miar i kryteriów znaczeniowych, eksperymentalna weryfikacja jakości przekazu informacji, porównanie miar obliczeniowych i subiektywnych; obiektywizacja semantycznych kryteriów/modeli informacji; 4. Multimedialny przekaz informacji: ocena skuteczności systemów wyszukiwania treści, konstrukcja deskryptorów poznawczych dla sygnałów wideo, audio, pojedynczych obrazów; opracowanie informatywnych skrótów wybranych przekazów, ocena efektów poznawczych; 5. Pragmatyka przekazu informacji: wspomaganie decyzji diagnostycznych/terapeutycznych, rekonstrukcja poznawcza na podstawie klinicznych pomiarów rzadkich (realne ograniczenia czasowe, ilościowe i jakościowe, brak dużych zasobów); wykorzystanie modeli ontologicznych w formułowaniu optymalnego przekazu treści poznawczej. |
Literatura: |
1. A. Przelaskowski, Kompresja danych: podstawy, metody bezstratne, kodery obrazów, BTC, 2005. 2. J. Seidler, Nauka o informacji, t. I i II, WNT, Warszawa, 1983. 3. Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, s. 223. 4. G.A. Jones, J.M. Jones, Information and Coding Theory, Springer, 2000. 5. T.M. Cover, J.A. Thomas, Elements of Information Theory, 2nd Edi-tion, Wiley & Sons, Hoboken, New Jersey, 1991. 6. D.J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003. 7. I.H. Witten, A. Moffat , T.C. Bell, Managing Gigabytes. Compressing and Indexing Documents and Images, Morgan Kaufmann Publishers, 2nd edition, 1999. 8. K. Sayood, Introduction to Data Compression, Third Edition, Mor-gan Kaufmann Publishers, 2006 (wyd. pol: Kompresja danych: wprowadzenie, READ ME, 2002). 9. M. Nelson, The Data Compression Book, 2nd edition, MIS:Press, 1995. 10. A. Neubauer, J. Freudenberger, V. Kuhn, Coding theory. Algorithms, architectures and Applications, Wiley, 2007. 11. D.J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, Cambridge, UK, 2003. 12. M. Li, P. Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997. 13. L. Brillouin, Nauka a teoria informacji, PWN, Warszawa, 1969. 14. W. Sobczak, W. Malina, Metody selekcji i redukcji informacji, WNT, Warszawa, 1985. |
Metody i kryteria oceniania: |
Student może otrzymać do 10 pkt za aktywność (dyskusja podejmowanych problemów, rozwiązywanie zadań dodatkowych), 40 pkt za ćwiczenia laboratoryjne (5x8pkt) i 50 pkt za kolokwium końcowe. Próg zaliczenia wynosi 51 pkt, a rozkład progów kolejnych ocen to sekwencja 61, 71, 81 i 91 pkt. |
Zajęcia w cyklu "rok akademicki 2023/2024 - sem. letni" (w trakcie)
Okres: | 2024-02-19 - 2024-09-30 |
Przejdź do planu
PN WYK
LAB
LAB
WT LAB
LAB
LAB
ŚR CZ PT |
Typ zajęć: |
Laboratorium, 15 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Artur Przelaskowski | |
Prowadzący grup: | Artur Przelaskowski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: | Zaliczenie na ocenę |
Zajęcia w cyklu "rok akademicki 2022/2023 - sem. letni" (zakończony)
Okres: | 2023-02-20 - 2023-09-30 |
Przejdź do planu
PN WYK
LAB
LAB
WT LAB
LAB
LAB
LAB
ŚR CZ PT |
Typ zajęć: |
Laboratorium, 15 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Artur Przelaskowski | |
Prowadzący grup: | Artur Przelaskowski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: | Zaliczenie na ocenę |
Zajęcia w cyklu "rok akademicki 2021/2022 - sem. letni" (zakończony)
Okres: | 2022-02-23 - 2022-09-30 |
Przejdź do planu
PN WYK
WT ŚR CZ PT LAB
LAB
LAB
LAB
LAB
LAB
|
Typ zajęć: |
Laboratorium, 15 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Artur Przelaskowski | |
Prowadzący grup: | Artur Przelaskowski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: | Zaliczenie na ocenę |
Zajęcia w cyklu "rok akademicki 2020/2021 - sem. letni" (zakończony)
Okres: | 2021-02-20 - 2021-09-30 |
Przejdź do planu
PN WYK
WT ŚR CZ PT LAB
LAB
LAB
LAB
LAB
LAB
|
Typ zajęć: |
Laboratorium, 15 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Artur Przelaskowski | |
Prowadzący grup: | Artur Przelaskowski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: | Zaliczenie na ocenę |
Właścicielem praw autorskich jest Politechnika Warszawska.