- Кількість кредитів 4
- Тип Обов'язковий
- Семестр 10
- Рівень вищої освіти Магістр
- Підсумковий контроль Екзамен
Навчальна дисципліна "Методи обробки та аналізу BigData" спрямована на формування у студентів компетенцій, необхідних для ефективного використання сучасних технологій та інструментів збору, зберігання, обробки та аналізу великих обсягів даних. Курс охоплює вивчення основних принципів та характеристик великих даних (об'єм, швидкість, різноманітність, достовірність), архітектури Hadoop та файлової системи HDFS, виконання завдань у парадигмі MapReduce, роботу з Hive та мовою запитів HiveQL, NoSQL бази даних на прикладі HBase, а також використання Apache Spark для обробки великих даних, потокової обробки та машинного навчання засобами Spark MLlib. Матеріал дисципліни сприяє формуванню у здобувачів вищої освіти практичних навичок збору, підготовки та очищення даних з різних джерел, виконання аналізу великих обсягів даних за допомогою MapReduce, Spark RDDs, DataFrame та Dataset, інтерпретації результатів аналізу для прийняття обґрунтованих рішень, а також розуміння етичних і правових питань, пов'язаних з обробкою великих даних, включаючи конфіденційність та захист даних.
Мета навчальної дисципліни: формування у студентів компетенцій, необхідних для ефективного використання сучасних технологій та інструментів для збору, зберігання, обробки та аналізу великих обсягів даних. Це включає освоєння теоретичних і практичних аспектів роботи з великими даними, оволодіння методами машинного навчання та статистичного аналізу, а також вивчення популярних платформ та фреймворків для обробки BigData, таких як Hadoop, Spark та інші.