Politechnika Warszawska - Centralny System Uwierzytelniania
Strona główna

Metody głębokiego uczenia

Informacje ogólne

Kod przedmiotu: 1120-DS000-MSP-0111
Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Metody głębokiego uczenia
Jednostka: Wydział Matematyki i Nauk Informacyjnych
Grupy:
Punkty ECTS i inne: 5.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Skrócony opis:

Celem przedmiotu jest zapoznanie studentów z podstawowymi technikami uczenia głębokiego. Szczególny nacisk położony będzie na nabycie praktycznych umiejętności budowania złożonych struktur neuronowych oraz ich uczenia w oparciu o różne realizacje paradygmatu głębokiego uczenia.

Wymagania wstępne / przedmioty poprzedzające

Podstawowa wiedza z zakresu sztucznych sieci neuronowych oraz uczenia maszynowego. Umiejętność programowania w języku Python.

Pełny opis:

Treści kształcenia

Wykład:

1. Przypomnienie wybranych podstaw sieci neuronowych związanych z paradygmatem głębokiego uczenia: perceptron wielowarstwowy, sieć kontra-propagacji, Neocognitron; sieci neuronowe jako uniwersalne aproksymatory

2. Uczenie gradientowe sieci neuronowych (reguła propagacji wstecznej, przeuczenie, regularyzacja, funkcje przejścia i ich własności (sigmoida, tangens hiperboliczny, softmax)

3. Strategie głębokiego uczenia (postać funkcji błędu, dobór wielkości zbiorów próbek – mini-batch, znikający gradient – pre-training, post-tuning, jednostki ReLU, regularyzacja - multi-task learning, dropout)

4. Uczenie głębokie nienadzorowane (autoenkodery, redukcja wymiarowości, uczenie się reprezentacji, transfer learning)

5. Sieci konwolucyjne (szablony wag, wagi współdzielone, inwariancja przesunięcia) i ich zastosowania do analizy i przetwarzania obrazów

6. Sieci rekurencyjne (Deep RNNs), sieci z pamięcią (LSTM) – własności, przykłady zastosowań; metoda Backpropagation Through Time

7. Modele generatywne (Maszyna Boltzmanna, Ograniczona Maszyna Boltzmanna, Głęboka sieć przekonań, Głęboka Maszyna Boltzmanna)

8. Elementy uczenia ze wzmocnieniem i uczenia głębokiego ze wzmocnieniem (Deep Reinforcement Learning)

Projekt:

Implementacja własna lub w oparciu o ogólnodostępne dedykowane środowiska programistyczne wybranych modeli sieci głębokich, analiza ich własności, testowanie wpływu określonych decyzji odnośnie struktury i parametryzacji rozwiązania na jakość otrzymanych wyników. Testy realizowane będą między innymi w oparciu o problemy z Kaggle.

Literatura:

1. Li Deng and Dong Yu, "Deep Learning: Methods and Applications", Foundations and Trends® in Signal Processing: Vol. 7: No. 3–4, pp 197-387, 2014.

2. Y. Bengio, I. A. N. Goodfellow, AN. Courville, Deep Learning, MIT Press, 2016.

3. Hands-On Learning with Scikit-Learn and Tensorflow, O'Reilly.

Metody i kryteria oceniania:

Ocena w oparciu o wyniki projektu. Punktacja standardowa (91-100 ocena 5.0, 81-90 ocena 4.5, …, 51-60 ocena 3.0)

Zajęcia w cyklu "rok akademicki 2019/2020 - sem. letni" (zakończony)

Okres: 2020-02-22 - 2020-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Projekt, 45 godzin więcej informacji
Wykład, 15 godzin więcej informacji
Koordynatorzy: Jacek Mańdziuk
Prowadzący grup: Stanisław Kaźmierczak, Jacek Mańdziuk, Maciej Żelaszczyk, Adam Żychowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Zaliczenie na ocenę

Zajęcia w cyklu "rok akademicki 2018/2019 - sem. letni" (zakończony)

Okres: 2019-02-18 - 2019-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Projekt, 45 godzin więcej informacji
Wykład, 15 godzin więcej informacji
Koordynatorzy: Jacek Mańdziuk
Prowadzący grup: Stanisław Kaźmierczak, Jacek Mańdziuk, Maciej Żelaszczyk, Adam Żychowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Zaliczenie na ocenę
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.
pl. Politechniki 1, 00-661 Warszawa tel: (22) 234 7211 https://pw.edu.pl kontakt deklaracja dostępności USOSweb 7.0.2.0-2 (2024-03-29)