Techniki i technologie Big Data

Celem przedmiotu jest zapoznanie studentów z technikami wykorzystywanymi w analizie danych typu Big Data. Główny nacisk będzie położony na omówienie zagadnień związanych wykorzystaniem narzędzi oraz projektowaniem własnych rozwiązań w ramach ekosystemu Hadoop. W szczególności, przedstawiony zostanie rozproszony system plików HDFS oraz system YARN, służący do zarządzania zasobami środowiska Hadoop’owego. W ramach wykładu i realizacji projektu, studenci zapoznają się ze sposobem organizacji danych w systemach Big Data, w tym interfejsami SQL, rozproszonymi formatami i bazami danych. Studenci nauczą się w jaki sposób projektować i implementować własne algorytmy rozproszone z wykorzystaniem Apache Spark.(...)