Politechnika Warszawska - Centralny System UwierzytelnianiaNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Metody i systemy analizy Big Data

Informacje ogólne

Kod przedmiotu: 1120-DS000-MSP-0112 Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Metody i systemy analizy Big Data
Jednostka: Wydział Matematyki i Nauk Informacyjnych
Grupy: Inżynieria i analiza danych, II st. - przedmioty obowiązkowe, sem. 1 z 3
Inżynieria i analiza danych, II st. - przedmioty obowiązkowe, sem. 2 z 4
Punkty ECTS i inne: 4.00
Język prowadzenia: polski
Skrócony opis:

Celem przedmiotu jest przekazanie wiedzy i pozyskanie przez studentów umiejętności związanych z przetwarzaniem i analizą danych wielkoskalowych, w tym wykorzystaniem metod uczenia maszynowego do analizy strumieni danych.

Wymagania wstępne / przedmioty poprzedzające:

Znajomość relacyjnych baz danych i systemów składowania danych, umiejętność programowania w językach Java lub Python, podstawowa znajomość metod uczenia maszynowego.

Pełny opis:

Treści kształcenia

Wykład:

1. Porównanie systemów składowania danych Big Data, w tym takich jak Apache Hadoop z systemami relacyjnymi

2. Architektura systemów Big Data i rola analizy danych w tym analizy strumieniowej w tych systemach.

3. Programowanie filtrowania i agregacji danych w trybie wsadowym i strumieniowym

4. Przetwarzanie strumieni danych i kluczowe aspekty tego przetwarzania, w tym przetwarzanie w układzie okien czasowych oraz identyfikacja sesji

5. Uczenie maszynowe a przetwarzanie wsadowe i przetwarzanie strumieni danych

6. Uczenie maszynowe: metody i środowiska dedykowane dla przetwarzania danych wielkoskalowych

7. Zaawansowane zagadnienia uczenia maszynowego i analizy danych w trybie strumieniowym (ang. stream mining), w tym m.in. zmienność modelowanych procesów i problem opóźnionych etykiet

8. Wzorce projektowe i architektoniczne.

Projekt:

Celem zajęć projektowych będzie samodzielna analiza złożonego zagadnienia i przygotowanie systemu bazującego na gotowych systemach Big Data i dedykowanych komponentach. Realizacja projektów będzie uwzględniać następujące aspekty:

● Samodzielna analiza literatury przedmiotu związanej z tematem projektu

● Projektowanie architektury systemu.

● Programowanie zadań strumieniowego przetwarzania i analizy danych

● Uczenie maszynowe z wykorzystaniem danych wielkoskalowych

● Okresowa prezentacja wyników prac nad projektem

Literatura:

1. Ankam, V., Big Data Analytics, Packt, 2016,

2. Ellis B., Real-Time Analytics. Techniques to Analyse and Visualise Streaming Data, Wiley, 2014

3. Kleppmann, M., Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, O’Reilly, 2017

4. Marz N., Warren James, Big Data. Principles and best practices of scalable realtime data systems, Manning, 2015

5. Provost F., Facett T., Data Science for Business. What you need to know about data mining and data-analytic thinking, O’Reilly, 2013

Metody i kryteria oceniania:

Zaliczenie przedmiotu oparte jest o wyniki realizacji projektu (60%) oraz kolokwium końcowe (40%). Maksymalna liczba dostępnych punktów wynosi 100. Ocena projektu jest sumą punktów wynikających z oceny realizacji poszczególnych etapów projektu. Wyniki oceny kolejnych etapów projektu oraz kolokwium są ogłaszane na stronie internetowej prowadzącego zajęcia w danej grupie projektowej lub rozsyłane do uczestników drogą mailową.

Ocena końcowa zależy od łącznej liczby punktów uzyskanych z projektu oraz kolokwium końcowego i jest wyznaczana zgodnie z poniższymi regułami: 0-50 pkt – 2.0, 51-60 pkt – 3.0, 61-70 pkt – 3.5, 71-80 pkt – 4.0, 81-90 pkt – 4.5, 91-100 pkt – 5.0.

Do uzyskania pozytywnej oceny końcowej konieczne jest uzyskanie co najmniej 50% punktów z projektu i co najmniej 50% punktów z kolokwium końcowego.

Zajęcia w cyklu "rok akademicki 2018/2019 - sem. letni" (w trakcie)

Okres: 2019-02-18 - 2019-09-30
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Projekt, 30 godzin więcej informacji
Wykład, 15 godzin więcej informacji
Koordynatorzy: Maciej Grzenda
Prowadzący grup: Jakub Abelski, Maciej Grzenda
Lista studentów: (nie masz dostępu)
Zaliczenie: Zaliczenie na ocenę
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.