Metody i systemy analizy Big Data
Informacje ogólne
Kod przedmiotu: | 1120-DS000-MSP-0112 |
Kod Erasmus / ISCED: | (brak danych) / (brak danych) |
Nazwa przedmiotu: | Metody i systemy analizy Big Data |
Jednostka: | Wydział Matematyki i Nauk Informacyjnych |
Grupy: | |
Punkty ECTS i inne: |
4.00
|
Język prowadzenia: | polski |
Skrócony opis: |
Celem przedmiotu jest przekazanie wiedzy i pozyskanie przez studentów umiejętności związanych z przetwarzaniem i analizą danych wielkoskalowych, w tym wykorzystaniem metod uczenia maszynowego do analizy strumieni danych. Wymagania wstępne / przedmioty poprzedzające: Znajomość relacyjnych baz danych i systemów składowania danych, umiejętność programowania w językach Java lub Python, podstawowa znajomość metod uczenia maszynowego. |
Pełny opis: |
Treści kształcenia Wykład: 1. Porównanie systemów składowania danych Big Data, w tym takich jak Apache Hadoop z systemami relacyjnymi 2. Architektura systemów Big Data i rola analizy danych w tym analizy strumieniowej w tych systemach. 3. Programowanie filtrowania i agregacji danych w trybie wsadowym i strumieniowym 4. Przetwarzanie strumieni danych i kluczowe aspekty tego przetwarzania, w tym przetwarzanie w układzie okien czasowych oraz identyfikacja sesji 5. Uczenie maszynowe a przetwarzanie wsadowe i przetwarzanie strumieni danych 6. Uczenie maszynowe: metody i środowiska dedykowane dla przetwarzania danych wielkoskalowych 7. Zaawansowane zagadnienia uczenia maszynowego i analizy danych w trybie strumieniowym (ang. stream mining), w tym m.in. zmienność modelowanych procesów i problem opóźnionych etykiet 8. Wzorce projektowe i architektoniczne. Projekt: Celem zajęć projektowych będzie samodzielna analiza złożonego zagadnienia i przygotowanie systemu bazującego na gotowych systemach Big Data i dedykowanych komponentach. Realizacja projektów będzie uwzględniać następujące aspekty: ● Samodzielna analiza literatury przedmiotu związanej z tematem projektu ● Projektowanie architektury systemu. ● Programowanie zadań strumieniowego przetwarzania i analizy danych ● Uczenie maszynowe z wykorzystaniem danych wielkoskalowych ● Okresowa prezentacja wyników prac nad projektem |
Literatura: |
1. Ankam, V., Big Data Analytics, Packt, 2016, 2. Ellis B., Real-Time Analytics. Techniques to Analyse and Visualise Streaming Data, Wiley, 2014 3. Kleppmann, M., Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, O’Reilly, 2017 4. Marz N., Warren James, Big Data. Principles and best practices of scalable realtime data systems, Manning, 2015 5. Provost F., Facett T., Data Science for Business. What you need to know about data mining and data-analytic thinking, O’Reilly, 2013 |
Metody i kryteria oceniania: |
Zaliczenie przedmiotu oparte jest o wyniki realizacji projektu (60%) oraz kolokwium końcowe (40%). Maksymalna liczba dostępnych punktów wynosi 100. Ocena projektu jest sumą punktów wynikających z oceny realizacji poszczególnych etapów projektu. Wyniki oceny kolejnych etapów projektu oraz kolokwium są ogłaszane na stronie internetowej prowadzącego zajęcia w danej grupie projektowej lub rozsyłane do uczestników drogą mailową. Ocena końcowa zależy od łącznej liczby punktów uzyskanych z projektu oraz kolokwium końcowego i jest wyznaczana zgodnie z poniższymi regułami: 0-50 pkt – 2.0, 51-60 pkt – 3.0, 61-70 pkt – 3.5, 71-80 pkt – 4.0, 81-90 pkt – 4.5, 91-100 pkt – 5.0. Do uzyskania pozytywnej oceny końcowej konieczne jest uzyskanie co najmniej 50% punktów z projektu i co najmniej 50% punktów z kolokwium końcowego. |
Zajęcia w cyklu "rok akademicki 2019/2020 - sem. letni" (zakończony)
Okres: | 2020-02-22 - 2020-09-30 |
Przejdź do planu
PN PRO
PRO
WT ŚR WYK
CZ PT |
Typ zajęć: |
Projekt, 30 godzin
Wykład, 15 godzin
|
|
Koordynatorzy: | Maciej Grzenda | |
Prowadzący grup: | Jakub Abelski, Maciej Grzenda | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: | Zaliczenie na ocenę |
Zajęcia w cyklu "rok akademicki 2018/2019 - sem. letni" (zakończony)
Okres: | 2019-02-18 - 2019-09-30 |
Przejdź do planu
PN WYK
WT ŚR PRO
PRO
CZ WYK
PT |
Typ zajęć: |
Projekt, 30 godzin
Wykład, 15 godzin
|
|
Koordynatorzy: | Maciej Grzenda | |
Prowadzący grup: | Jakub Abelski, Maciej Grzenda | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: | Zaliczenie na ocenę |
Właścicielem praw autorskich jest Politechnika Warszawska.