Kod przedmiotu: |
103A-INSZI-ISP-IUM |
Kod Erasmus / ISCED: |
(brak danych)
/
(brak danych)
|
Nazwa przedmiotu: |
Inżynieria uczenia maszynowego |
Jednostka: |
Wydział Elektroniki i Technik Informacyjnych |
Grupy: |
( Przedmioty obieralne )-Informatyka-inż.-EITI
( Przedmioty obieralne )-Inżynieria systemów informatycznych-inż.-EITI
( Przedmioty obieralne )-Sztuczna inteligencja-inż.-EITI
( Przedmioty techniczne )---EITI
|
Punkty ECTS i inne: |
4.00 |
Język prowadzenia: |
polski
|
Jednostka decyzyjna: |
103000 - Wydział Elektroniki i Technik Informacyjnych
|
Kod wydziałowy: |
IUM
|
Numer wersji: |
1
|
Skrócony opis: |
Przedmiot przedstawia modele uczenia maszynowego jako część działających produkcyjnie systemów informatycznych. W tym kontekście przedstawiany jest całościowy proces tworzenia modeli: od momentu zbierania wymagań biznesowych i definiowania zadań modelowania, poprzez etap tworzenia i wdrażania modeli predykcyjnych, aż po analizę i diagnostykę sposobu ich działania. Poruszany jest również szerszy kontekst związany z rozwojem technik sztucznej inteligencji oraz jego konsekwencjami.
|
Pełny opis: |
<h2>Treść wykładu
- Wprowadzenie. (2 godz.)
- Sprawy organizacyjne, cele i program zajęć, zasady zaliczania.
- Specyfika systemów stosujących modele predykcyjne.
- Cykl opracowywania modeli predykcyjnych.
- Dostępne standardy: CRISP-DM, KDD, SEMMA.
<h4>Część I: Przygotowanie modeli predykcyjnych.
- Definiowanie zadań modelowania. (2 godz.)
- Zadania biznesowe, a zadania modelowania: zbieranie wymagań, precyzowanie i definiowanie zadań, ustalanie kryteriów sukcesu.
- Standardowe zadania: regresja, klasyfikacja, grupowanie, modelowanie sekwencji, analiza szeregów czasowych, modele generatywne.
- Wstępny dobór technik modelowania.
- Inżynieria cech i tworzenie zbiorów do modelowania. (4 godz.)
- Atrybuty wejściowe/wyjściowe:
- typy zmiennych, normalizacja, odstające wartości atrybutów,
- dane brakujące, imputacja jednokrotna/wielorotna,
- dane niezbalansowane/asymetryczne, równoważenie liczby przykładów,
- duże zbiory danych, próbkowanie i jego konsekwencje,
- błędy w danych,
- tworzenie nowych atrybutów, interakcje,
- zaawansowane techniki inżynierii cech:
kodowanie przy pomocy drzew,
“feature hashing”,
atrybuty tekstowe, embedding,
- selekcja cech i redukcja wymiarowości.
- Tworzenie zbiorów do modelowania.
- Problemy z pozyskaniem odpowiedniej ilości danych, “gęstość danych”.
- Manualne etykietowanie danych, stosowanie usług zewnętrznych (np. Amazon turk).
- Zastosowanie technik automatycznego etykietowania danych – SNORKEL, SNUBA.
- Reprezentatywność zbioru danych.
- Dobór funkcji celu. (2 godz.)
- Omówienie funkcji celu dla: klasyfikacji, regresji oraz rankingu.
- Optymalizacja funkcji celu, a zadanie predykcyjne.
- Stosowane funkcje celu, a warunki zadania biznesowego.
- Trenowanie i ewaluacja modeli. (2 godz.)
- Strojenie hiper-parametrów.
- Znaczenie strojenia.
- Popularne metody: przeszukiwanie po hipersiatce, przeszukiwanie losowe, podejście bayesowskie, heurystyki.
- Dobór metody uczącej.
- Porównywanie modeli (offline).
- Tworzenie rankingów modeli.
- Różnice w jakości, a stopień złożoności modeli.
- Modele zagregowane.
<h4>Część II: Modele na środowisku produkcyjnym.
- Wdrażanie modelu w systemie informatycznym. (4 godz.)
- Elementy architektury systemów stosujących modele predykcyjne.
- Trenowanie i stosowanie modeli do predykcji.
- Zbieranie informacji diagnostycznych.
- Dane wejściowe/wyjściowe jako zależności wytrenowanego modelu.
- Wersjonowanie modeli.
- Testy automatyczne, powtarzalność wyników.
- Przegląd dostępnych platform i narzędzi.
- Monitorowanie serwowanych modeli. (2 godz.)
- Monitorowanie modelu.
- Miary techniczne.
- Miary biznesowe.
- Monitorowanie danych wejściowych.
- Znaczenie modeli bazowych/punktów odniesienia.
- Interpretacja wyników, adekwatne typy wykresów, paradoks Simpsona.
- Ewaluacja nowych modeli. (4 godz.)
- Eksperymenty A/B:
- przydział grup eksperymentalnych, sprzężenia zwrotne,
- planowanie eksperymentów: dobór wielkości grupy, czas trwania, warunki zatrzymania,
- podejście częstościowe, a podejście bayesowskie.
- Wdrażanie modeli jako interwencja – przyczynowo-skutkowa ocena przydatności modelu.
- Dynamiczny wybór modelu za pomocą podejścia multi-arm bandits. Definicja zagadnienia, metoda próbkowania Thompsona.
- Wyjaśnianie predykcji modelu. (2 godz.)
- Modele poddające się łatwej interpretacji, a „czarne skrzynki”.
- Wyjaśnianie predykcji czarnych skrzynek: LIME, DALEX.
<h4>Część III: Szerszy kontekst zastosowań modeli predykcyjnych.
- Kwestie bezpieczeństwa i prywatności. (2 godz.)
- Modele zagrożeń, wycieki danych.
- Zagadnienie „złośliwych danych”.
- Ochrona danych wrażliwych, anonimizacja, prywatność różnicowa.
- Kierunki rozwoju metod uczenia maszynowego. (2 godz.)
- Wpływ technologii na rozwój metod uczenia maszynowego.
- Koszty/Zyski z trenowania złożonych modeli predykcyjnych.
- Aktualne kierunki rozwoju metod UM.
- Społeczne kwestie technik sztucznej inteligencji. (2 godz.)
- Zaawansowane techniki modelowania, a ochrona prywatności.
- Koncepcja „bańki filtrującej”.
- Konsekwencje nadużywania predykcji.
- Kwestie obciążenia zbiorów danych, zagadnienie “fairness”.
<h2>Zakres projektu
Celem projektu jest opracowanie kompletnego systemu bazującego na UM rozwiązującego konkretne zadanie biznesowe. System powinien mieć elementy pozwalające na:
- serwowanie przygotowanych modeli,
- cykliczne ich trenowanie i podmianę/aktualizację,
- wprowadzanie i ewaluację nowych modeli,
- monitorowanie sposobu działania modeli.
Realizacja projektu będzie rozbita na kilka etapów (wyniki uzyskane po zakończeniu każdego z nich będą dyskutowane z prowadzącym):
- analizę przedstawionego problemu biznesowego i zdefiniowanie zadania modelowania,
- przygotowanie danych uczących i prostego modelu bazowego,
- implementację systemu realizującego wymagania techniczne projektu,
- przygotowanie bardziej zaawansowanego modelu rozwiązującego zadanie modelowania,
- zestawienie eksperymentu umożliwiającego porównanie przygotowanych modeli online.
|
Literatura: |
- Sarkar, Dipanjan, Raghav Bali, and Tushar Sharma. Practical Machine Learning with Python: A Problem-Solver's Guide to Building Real-World Intelligent Systems. Apress, 2017.
- Bi, Jinbo, et al. "Dimensionality reduction via sparse support vector machines." Journal of Machine Learning Research 3.Mar (2003): 1229-1243.
- Weinberger, Kilian, et al. "Feature hashing for large scale multitask learning." Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009.
- Wickham, Hadley. "Tidy data." Journal of Statistical Software 59.10 (2014): 1-23. 2.
Bergstra, James, Dan Yamins, and David D. Cox. "Hyperopt: A python library for optimizing the hyperparameters of machine learning algorithms." Proceedings of the 12th Python in science conference. 2013.
- Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., … Dennison, D. (2015). Hidden Technical Debt in Machine Learning Systems. Nips, 2494–2502. Retrieved from http://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
- Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., … Young, M. (2014). Machine Learning : The High-Interest Credit Card of Technical Debt. NIPS 2014 Workshop on Software Engineering for Machine Learning (SE4ML), 1–9. http://doi.org/10.1007/s13398-014-0173-7.2
- Dmitriev, Pavel, et al. "A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments." Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017.
- Alipourfard, Nazanin, Peter G. Fennell, and Kristina Lerman. "Can you Trust the Trend: Discovering Simpson's Paradoxes in Social Data." arXiv preprint arXiv:1801.04385 (2018).
- Goldstein, Alex, et al. "Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation." Journal of Computational and Graphical Statistics 24.1 (2015): 44-65.
- Brodersen, Kay H., et al. "Inferring causal impact using Bayesian structural time-series models." The Annals of Applied Statistics 9.1 (2015): 247-274.
- Alipourfard, N., Fennell, P. G., & Lerman, K. (2018). Can you Trust the Trend: Discovering Simpson’s Paradoxes in Social Data. Retrieved from http://arxiv.org/abs/1801.04385
- Herley, Cormac, and Paul C. Van Oorschot. "Sok: Science, security and the elusive goal of security as a scientific pursuit." 2017 IEEE Symposium on Security and Privacy (SP). IEEE, 2017.
- Barreno, Marco, et al. "The security of machine learning." Machine Learning 81.2 (2010): 121-148.
- Athalye, Anish, Nicholas Carlini, and David Wagner. "Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples." arXiv preprint arXiv:1802.00420 (2018).
- O'neil, Cathy. Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books, 2016.
|
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.