Inżynieria uczenia maszynowego

<h2>Treść wykładu

1. Wprowadzenie. (2 godz.)
   1. Sprawy organizacyjne, cele i program zajęć, zasady zaliczania.
   2. Specyfika systemów stosujących modele predykcyjne.
   3. Cykl opracowywania modeli predykcyjnych.
   4. Dostępne standardy: CRISP-DM, KDD, SEMMA.

<h4>Część I: Przygotowanie modeli predykcyjnych.

2. Definiowanie zadań modelowania. (2 godz.)
   1. Zadania biznesowe, a zadania modelowania: zbieranie wymagań, precyzowanie i definiowanie zadań, ustalanie kryteriów sukcesu.
   2. Standardowe zadania: regresja, klasyfikacja, grupowanie, modelowanie sekwencji, analiza szeregów czasowych, modele generatywne.
   3. Wstępny dobór technik modelowania.
3. Inżynieria cech i tworzenie zbiorów do modelowania. (4 godz.)
   1. Atrybuty wejściowe/wyjściowe:
      1. typy zmiennych, normalizacja, odstające wartości atrybutów,
      2. dane brakujące, imputacja jednokrotna/wielorotna,
      3. dane niezbalansowane/asymetryczne, równoważenie liczby przykładów,
      4. duże zbiory danych, próbkowanie i jego konsekwencje,
      5. błędy w danych,
      6. tworzenie nowych atrybutów, interakcje,
      7. zaawansowane techniki inżynierii cech: kodowanie przy pomocy drzew, “feature hashing”, atrybuty tekstowe, embedding,
      8. selekcja cech i redukcja wymiarowości.
   2. Tworzenie zbiorów do modelowania.
      1. Problemy z pozyskaniem odpowiedniej ilości danych, “gęstość danych”.
      2. Manualne etykietowanie danych, stosowanie usług zewnętrznych (np. Amazon turk).
      3. Zastosowanie technik automatycznego etykietowania danych – SNORKEL, SNUBA.
      4. Reprezentatywność zbioru danych.
4. Dobór funkcji celu. (2 godz.)
   1. Omówienie funkcji celu dla: klasyfikacji, regresji oraz rankingu.
   2. Optymalizacja funkcji celu, a zadanie predykcyjne.
   3. Stosowane funkcje celu, a warunki zadania biznesowego.
5. Trenowanie i ewaluacja modeli. (2 godz.)
   1. Strojenie hiper-parametrów.
   2. Znaczenie strojenia.
   3. Popularne metody: przeszukiwanie po hipersiatce, przeszukiwanie losowe, podejście bayesowskie, heurystyki.
   4. Dobór metody uczącej.
   5. Porównywanie modeli (offline).
      1. Tworzenie rankingów modeli.
      2. Różnice w jakości, a stopień złożoności modeli.
   6. Modele zagregowane.

<h4>Część II: Modele na środowisku produkcyjnym.

6. Wdrażanie modelu w systemie informatycznym. (4 godz.)
   1. Elementy architektury systemów stosujących modele predykcyjne.
   2. Trenowanie i stosowanie modeli do predykcji.
   3. Zbieranie informacji diagnostycznych.
   4. Dane wejściowe/wyjściowe jako zależności wytrenowanego modelu.
   5. Wersjonowanie modeli.
   6. Testy automatyczne, powtarzalność wyników.
   7. Przegląd dostępnych platform i narzędzi.
7. Monitorowanie serwowanych modeli. (2 godz.)
   1. Monitorowanie modelu.
      1. Miary techniczne.
      2. Miary biznesowe.
      3. Monitorowanie danych wejściowych.
   2. Znaczenie modeli bazowych/punktów odniesienia.
   3. Interpretacja wyników, adekwatne typy wykresów, paradoks Simpsona.
8. Ewaluacja nowych modeli. (4 godz.)
   1. Eksperymenty A/B:
      1. przydział grup eksperymentalnych, sprzężenia zwrotne,
      2. planowanie eksperymentów: dobór wielkości grupy, czas trwania, warunki zatrzymania,
      3. podejście częstościowe, a podejście bayesowskie.
   2. Wdrażanie modeli jako interwencja – przyczynowo-skutkowa ocena przydatności modelu.
   3. Dynamiczny wybór modelu za pomocą podejścia multi-arm bandits. Definicja zagadnienia, metoda próbkowania Thompsona.
9. Wyjaśnianie predykcji modelu. (2 godz.)
   1. Modele poddające się łatwej interpretacji, a „czarne skrzynki”.
   2. Wyjaśnianie predykcji czarnych skrzynek: LIME, DALEX.

<h4>Część III: Szerszy kontekst zastosowań modeli predykcyjnych.

10. Kwestie bezpieczeństwa i prywatności. (2 godz.)
    1. Modele zagrożeń, wycieki danych.
    2. Zagadnienie „złośliwych danych”.
    3. Ochrona danych wrażliwych, anonimizacja, prywatność różnicowa.
11. Kierunki rozwoju metod uczenia maszynowego. (2 godz.)
    1. Wpływ technologii na rozwój metod uczenia maszynowego.
    2. Koszty/Zyski z trenowania złożonych modeli predykcyjnych.
    3. Aktualne kierunki rozwoju metod UM.
12. Społeczne kwestie technik sztucznej inteligencji. (2 godz.)
    1. Zaawansowane techniki modelowania, a ochrona prywatności.
    2. Koncepcja „bańki filtrującej”.
    3. Konsekwencje nadużywania predykcji.
    4. Kwestie obciążenia zbiorów danych, zagadnienie “fairness”.

<h2>Zakres projektu

Celem projektu jest opracowanie kompletnego systemu bazującego na UM rozwiązującego konkretne zadanie biznesowe. System powinien mieć elementy pozwalające na:

• serwowanie przygotowanych modeli,
• cykliczne ich trenowanie i podmianę/aktualizację,
• wprowadzanie i ewaluację nowych modeli,
• monitorowanie sposobu działania modeli.

Realizacja projektu będzie rozbita na kilka etapów (wyniki uzyskane po zakończeniu każdego z nich będą dyskutowane z prowadzącym):

1. analizę przedstawionego problemu biznesowego i zdefiniowanie zadania modelowania,
2. przygotowanie danych uczących i prostego modelu bazowego,
3. implementację systemu realizującego wymagania techniczne projektu,
4. przygotowanie bardziej zaawansowanego modelu rozwiązującego zadanie modelowania,
5. zestawienie eksperymentu umożliwiającego porównanie przygotowanych modeli online.