Politechnika Warszawska - Centralny System Uwierzytelniania
Strona główna

Metody i systemy analizy Big Data

Informacje ogólne

Kod przedmiotu: 1120-DS000-MSP-0112
Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Metody i systemy analizy Big Data
Jednostka: Wydział Matematyki i Nauk Informacyjnych
Grupy:
Punkty ECTS i inne: 4.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Skrócony opis:

Celem przedmiotu jest przekazanie wiedzy i pozyskanie przez studentów umiejętności związanych z przetwarzaniem i analizą danych wielkoskalowych, w tym wykorzystaniem metod uczenia maszynowego do analizy strumieni danych.

Wymagania wstępne / przedmioty poprzedzające:

Znajomość relacyjnych baz danych i systemów składowania danych, umiejętność programowania w językach Java lub Python, podstawowa znajomość metod uczenia maszynowego.

Pełny opis:

Treści kształcenia

Wykład:

1. Porównanie systemów składowania danych Big Data, w tym takich jak Apache Hadoop z systemami relacyjnymi

2. Architektura systemów Big Data i rola analizy danych w tym analizy strumieniowej w tych systemach.

3. Programowanie filtrowania i agregacji danych w trybie wsadowym i strumieniowym

4. Przetwarzanie strumieni danych i kluczowe aspekty tego przetwarzania, w tym przetwarzanie w układzie okien czasowych oraz identyfikacja sesji

5. Uczenie maszynowe a przetwarzanie wsadowe i przetwarzanie strumieni danych

6. Uczenie maszynowe: metody i środowiska dedykowane dla przetwarzania danych wielkoskalowych

7. Zaawansowane zagadnienia uczenia maszynowego i analizy danych w trybie strumieniowym (ang. stream mining), w tym m.in. zmienność modelowanych procesów i problem opóźnionych etykiet

8. Wzorce projektowe i architektoniczne.

Projekt:

Celem zajęć projektowych będzie samodzielna analiza złożonego zagadnienia i przygotowanie systemu bazującego na gotowych systemach Big Data i dedykowanych komponentach. Realizacja projektów będzie uwzględniać następujące aspekty:

● Samodzielna analiza literatury przedmiotu związanej z tematem projektu

● Projektowanie architektury systemu.

● Programowanie zadań strumieniowego przetwarzania i analizy danych

● Uczenie maszynowe z wykorzystaniem danych wielkoskalowych

● Okresowa prezentacja wyników prac nad projektem

Literatura:

1. Ankam, V., Big Data Analytics, Packt, 2016,

2. Ellis B., Real-Time Analytics. Techniques to Analyse and Visualise Streaming Data, Wiley, 2014

3. Kleppmann, M., Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, O’Reilly, 2017

4. Marz N., Warren James, Big Data. Principles and best practices of scalable realtime data systems, Manning, 2015

5. Provost F., Facett T., Data Science for Business. What you need to know about data mining and data-analytic thinking, O’Reilly, 2013

Metody i kryteria oceniania:

Zaliczenie przedmiotu oparte jest o wyniki realizacji projektu (60%) oraz kolokwium końcowe (40%). Maksymalna liczba dostępnych punktów wynosi 100. Ocena projektu jest sumą punktów wynikających z oceny realizacji poszczególnych etapów projektu. Wyniki oceny kolejnych etapów projektu oraz kolokwium są ogłaszane na stronie internetowej prowadzącego zajęcia w danej grupie projektowej lub rozsyłane do uczestników drogą mailową.

Ocena końcowa zależy od łącznej liczby punktów uzyskanych z projektu oraz kolokwium końcowego i jest wyznaczana zgodnie z poniższymi regułami: 0-50 pkt – 2.0, 51-60 pkt – 3.0, 61-70 pkt – 3.5, 71-80 pkt – 4.0, 81-90 pkt – 4.5, 91-100 pkt – 5.0.

Do uzyskania pozytywnej oceny końcowej konieczne jest uzyskanie co najmniej 50% punktów z projektu i co najmniej 50% punktów z kolokwium końcowego.

Zajęcia w cyklu "rok akademicki 2019/2020 - sem. letni" (zakończony)

Okres: 2020-02-22 - 2020-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Projekt, 30 godzin więcej informacji
Wykład, 15 godzin więcej informacji
Koordynatorzy: Maciej Grzenda
Prowadzący grup: Jakub Abelski, Maciej Grzenda
Lista studentów: (nie masz dostępu)
Zaliczenie: Zaliczenie na ocenę

Zajęcia w cyklu "rok akademicki 2018/2019 - sem. letni" (zakończony)

Okres: 2019-02-18 - 2019-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Projekt, 30 godzin więcej informacji
Wykład, 15 godzin więcej informacji
Koordynatorzy: Maciej Grzenda
Prowadzący grup: Jakub Abelski, Maciej Grzenda
Lista studentów: (nie masz dostępu)
Zaliczenie: Zaliczenie na ocenę
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.
pl. Politechniki 1, 00-661 Warszawa tel: (22) 234 7211 https://pw.edu.pl kontakt deklaracja dostępności USOSweb 7.0.2.0-2 (2024-03-29)