Politechnika Warszawska - Centralny System UwierzytelnianiaNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Metody głębokiego uczenia

Informacje ogólne

Kod przedmiotu: 1120-DS000-MSP-0111 Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Metody głębokiego uczenia
Jednostka: Wydział Matematyki i Nauk Informacyjnych
Grupy: Inżynieria i analiza danych, II st. - przedmioty obowiązkowe, sem. 1 z 3
Inżynieria i analiza danych, II st. - przedmioty obowiązkowe, sem. 2 z 4
Punkty ECTS i inne: 5.00
Język prowadzenia: polski
Skrócony opis:

Celem przedmiotu jest zapoznanie studentów z podstawowymi technikami uczenia głębokiego. Szczególny nacisk położony będzie na nabycie praktycznych umiejętności budowania złożonych struktur neuronowych oraz ich uczenia w oparciu o różne realizacje paradygmatu głębokiego uczenia.

Wymagania wstępne / przedmioty poprzedzające

Podstawowa wiedza z zakresu sztucznych sieci neuronowych oraz uczenia maszynowego. Umiejętność programowania w języku Python.

Pełny opis:

Treści kształcenia

Wykład:

1. Przypomnienie wybranych podstaw sieci neuronowych związanych z paradygmatem głębokiego uczenia: perceptron wielowarstwowy, sieć kontra-propagacji, Neocognitron; sieci neuronowe jako uniwersalne aproksymatory

2. Uczenie gradientowe sieci neuronowych (reguła propagacji wstecznej, przeuczenie, regularyzacja, funkcje przejścia i ich własności (sigmoida, tangens hiperboliczny, softmax)

3. Strategie głębokiego uczenia (postać funkcji błędu, dobór wielkości zbiorów próbek – mini-batch, znikający gradient – pre-training, post-tuning, jednostki ReLU, regularyzacja - multi-task learning, dropout)

4. Uczenie głębokie nienadzorowane (autoenkodery, redukcja wymiarowości, uczenie się reprezentacji, transfer learning)

5. Sieci konwolucyjne (szablony wag, wagi współdzielone, inwariancja przesunięcia) i ich zastosowania do analizy i przetwarzania obrazów

6. Sieci rekurencyjne (Deep RNNs), sieci z pamięcią (LSTM) – własności, przykłady zastosowań; metoda Backpropagation Through Time

7. Modele generatywne (Maszyna Boltzmanna, Ograniczona Maszyna Boltzmanna, Głęboka sieć przekonań, Głęboka Maszyna Boltzmanna)

8. Elementy uczenia ze wzmocnieniem i uczenia głębokiego ze wzmocnieniem (Deep Reinforcement Learning)

Projekt:

Implementacja własna lub w oparciu o ogólnodostępne dedykowane środowiska programistyczne wybranych modeli sieci głębokich, analiza ich własności, testowanie wpływu określonych decyzji odnośnie struktury i parametryzacji rozwiązania na jakość otrzymanych wyników. Testy realizowane będą między innymi w oparciu o problemy z Kaggle.

Literatura:

1. Li Deng and Dong Yu, "Deep Learning: Methods and Applications", Foundations and Trends® in Signal Processing: Vol. 7: No. 3–4, pp 197-387, 2014.

2. Y. Bengio, I. A. N. Goodfellow, AN. Courville, Deep Learning, MIT Press, 2016.

3. Hands-On Learning with Scikit-Learn and Tensorflow, O'Reilly.

Metody i kryteria oceniania:

Ocena w oparciu o wyniki projektu. Punktacja standardowa (91-100 ocena 5.0, 81-90 ocena 4.5, …, 51-60 ocena 3.0)

Zajęcia w cyklu "rok akademicki 2018/2019 - sem. letni" (w trakcie)

Okres: 2019-02-18 - 2019-09-30
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Projekt, 45 godzin więcej informacji
Wykład, 15 godzin więcej informacji
Koordynatorzy: Jacek Mańdziuk
Prowadzący grup: Stanisław Kaźmierczak, Jacek Mańdziuk, Maciej Żelaszczyk, Adam Żychowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Zaliczenie na ocenę
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.