Moduł A: Wstęp do analizy danych (4 godz.)
Metodyki stosowane w analizie danych
▪ CRISP-DM
▪ Virtuous Cycle of Data Mining
▪ SEMMA
▪ Six Sigma
Omówienie metodyki CRISP-DM
▪ Zastosowanie metodyki w projektach DM
Etapy prowadzenia projektu przy użyciu CRISP DM
▪ Zrozumienie celów biznesowych
Określenie celu
Cele data mining
Plan projektu
▪ Zrozumienie danych
o Źródła danych
o Wprowadzanie danych
o Przegląd danych
o Jakość danych
▪ Przygotowanie danych
o Rodzaje danych
o Wybór danych w DM
o Dane ustrukturyzowane i nieustrukturyzowane
o Dane zewnętrzne i dane wewnętrzne
o relacje pomiędzy danymi
o Oczyszczanie danych
o Budowa zbioru danych
o Zagrożenia wynikające z pracy na różnych typach danych
o Migracje danych
o Formatowanie danych
▪ Budowa modelu
o Określenie techniki budowy
o Budowa modelu
o Narzędzia analizy
o Ocena funkcjonowania modelu
▪ Ewaluacja
o Ocena rezultatów procesu
o Przegląd procesu
o Korekty działań
o Weryfikacja kolejnych działań
▪ Wdrożenie
o Zaplanowanie wdrożenia
o Monitoring procesu
o Raportowanie
o Zakończenie projektu
Moduł B: Przygotowanie danych do analizy (68 godz)
Przygotowanie danych do analizy w Microsoft Excel
▪ Poprawność danych
o Narzędzie tabela
o Narzędzie sprawdzania poprawności nazw
o Analiza poprawności formuł i testowanie arkusza
o Konwersja typów liczbowych, dat, typów znakowych oraz stron kodowych
o Łączenie danych z wielu źródeł
▪ Użycie danych pochodzących z różnych źródeł zewnętrznych
o Import danych z plików tekstowych
o Import danych z baz danych
o Import danych z plików XML – omówienie standardu XML
o Dane ze stron www
o Eksportowanie danych
SQL jako język pozyskiwania danych analitycznych z relacyjnych baz danych
▪ Relacyjny model danych
o - Podstawowe struktury danych
o - Zależności między strukturami
▪ Składnia języka SQL
▪ Rola języka SQL w wybieraniu danych
▪ Programy nakładkowe do wykonywania zapytań
▪ Zasady tworzenia zapytań
o Słowa kluczowe
o Składnia poleceń
o Stosowanie aliasów dla kolumn i tabel
▪ Sortowanie danych
▪ Zasady użycia funkcji w zapytaniach
▪ Sposoby wybierania danych z wielu tabel
▪ Sposoby łączenia tabel
▪ Rodzaje złączeń
o Równościowe (equi-join)
o Nierównościowe (non-equi-join)
o Typy złączeń zewnętrznych (outer-join): lewostronne, prawostronne, obustronne
o Samozłączenie (self-join)
▪ Operacje zbiorowe na wynikach zapytań
o Suma
o Przecięcie
o Różnica
▪ Podzapytania
o Zwykłe
o Skorelowane▪ Język manipulowania danymi (DML)
o Insert
o Update
o Delete
o Operacje DML w oparciu o wyniki zapytań
▪ Transakcje
o Idea transakcyjności operacji
o Zatwierdzanie (commit)
o Odrzucanie (rollback)
SQL Server – Integration Services – projektowanie i realizacja procesów
▪ SSIS – podstawowe pojęcia, architektura, komponenty
▪ Narzędzia – Business Intelligence Development Studio, SQL Server Data Tools, BIDS Helper.
▪ Tworzenie projektu.
▪ Tworzenie pakietu SSIS
o Definiowanie połączeń (Connection Managers)
o Dodawanie i konfigurowanie elementów Control Flow,
o Wykorzystanie kontroli przebiegu.
o Wykonanie pakietu.
o Zachowanie pakietu jako pliku lub w repozytorium
o Narzędzia dtexec i dtexecui.
▪ Tryb projektowy w SSIS 2012/2014.
▪ Definiowanie Data Flow – zasada działania
o Definiowanie źródeł danych oraz miejsc docelowych
o Wykorzystanie jako źródeł baz danych, plików tekstowych, plików Excel.
▪ Najczęściej używane transformacje
o Konwersja danych
o Dodawanie kolumn wyliczanych
o Agregacja danych
o Sortowanie danych
o Łączenie danych z różnych źródeł (LookUp)
o Konwersja typów danych.
▪ Łączenie i rozdzielanie przebiegów danych (Union All oraz Conditional Split).
▪ Obsługa błędów w przepływie danych.
▪ Obsługa zdarzeń w pakietach.
▪ Logowanie wykonania pakietów SSIS.
▪ Wykorzystanie Execute SQL Task do wykonywania operacji na bazach danych.
▪ Użycie Send Mail Task do wysyłania wiadomości pocztowych.
▪ Wykorzystanie elementów FTP Task oraz File System Task to wykonywania operacji na plikach
składowanych w systemie plików oraz na serwerach FTP.
▪ Kontener sekwencyjny. Kontenery pętli
▪ Wykorzystanie zmiennych oraz parametrów.
o Użycie wyrażeń do dynamicznego ustawiania wartości właściwości elementów pakietu.
o Konfiguracja pakietów.
▪ Typowe scenariusze ładowania danych
o Ładowanie inkrementalneo Wykorzystanie komponentów Change Data Capture
o Użycie Data Quality Services do czyszczenia danych.
▪ Przykłady zastosowania komponentów skryptowych (Script Task, Script Component).
Wykorzystanie języka R w analizie danych
▪ Wprowadzenie do R.
o Podstawowe pojęcia.
o Środowisko pracy R. CRAN.
o RStudio.
o Inne rozszerzenia.
▪ Podstawy języka R.
▪ Struktury danych w R – wektory, listy, faktory, macierze, ramki danych.
▪ Zarządzanie danymi w R. Import danych z różnych źródeł.
▪ Integracja języka R z Microsoft SQL Server. Wykorzystanie Microsoft R Server.
Moduł C: Budowa modelu i analiza danych (56 godz)
Analiza danych za pomocą Microsoft Excel
▪ Narzędzia analizy
o Wykorzystanie narzędzi analizy warunkowej
o Używanie różnych typów adresowania
o Wykorzystanie formuł tablicowych
o Analiza warunkowa
o Agregacja danych
o Wybrane funkcje: finansowe, statystyczne, matematyczne, tekstowe
▪ Kontrola danych
o Tworzenie różnego rodzaju sum
o Ustalanie rankingów
o Badanie realizacji celu
o Analiza bazodanowa
o Udziały procentowe
o Wykorzystanie formantów do zmiany parametrów prowadzonej analizy
▪ Prognozowanie na podstawie danych
o Prognozy w oparciu o linie trendu
o Prognozy z wykorzystaniem modeli regresji
o Prognozy sezonowe
o Konsolidacja danych z wielu arkuszy
o Konsolidacja danych za pomocą tabeli przestawnej
o Konsolidacja wielu źródeł danych (w tym zewnętrznych)
▪ Praca z tabelami i wykresami przestawnymi:
o Automatyczne obliczanie odpowiednich udziałów procentowych
o Obliczanie wartości skumulowanych
o Szukanie zmian wartości
o Grupowanie danycho Tworzenie wewnętrznych formuł obliczeniowych
o Wykres przestawny
▪ Pulpit menedżerski
o Omówienie koncepcji pulpitu menedżerskiego
o Zasady tworzenia pulpitu menedżerskiego
o Realizacja z wykorzystaniem MS Excel
Analiza danych z wykorzystaniem dodatków PowerPivot w Microsoft Excel
▪ Wprowadzenie do Power Pivot
o Podstawowe funkcjonalności
o Cykl pracy z Power Pivot
▪ Import danych
o Źródła danych
o Kreator importu danych
o Filtrowanie danych w trakcie importu
o Tworzenie relacji pomiędzy tabelami
o Odświeżanie danych
o Wykorzystanie Power Query do importu i przetwarzania danych
▪ Praca z danymi
o Arkusze danych
o Formatowanie, sortowanie, filtrowanie danych
o Tworzenie własnych kolumn
o Efektywne wykorzystanie kolumn czasowych (daty)
o Formuły korzystające z danych z tabel powiązanych
o Przykłady najczęściej stosowanych funkcji DAX
Power BI – analiza danych
▪ Omówienie wersji Power BI oraz ich możliwości
▪ Zestawy danych, Raporty i Pulpity nawigacyjne
▪ Power BI Online
o Ładowanie danych
o Język naturalny zapytań
o Quick Insights
▪ Ładowanie danych z wykorzystaniem PowerQuery
▪ Tworzenie kalkulacji w języku DAX
▪ Wprowadzenie do Query Editor
▪ Tworzenie relacji
▪ Udostępnianie pulpitów
▪ Usługi powiązane
o OneDrive for Business
o Excel
o PowerPoint
▪ Usługi Power BI Pro.Microsoft SQL Server – Analysis Services – projektowanie i budowa wielowymiarowych
baz danych
▪ Zasady i podstawowe pojęcia modelowania wielowymiarowego
o tabele faktów,
o wymiary,
o miary,
o ziarno tabeli faktów,
o typy tabel faktów,
o addytywność miar.
▪ Narzędzia wykorzystywane do budowy wielowymiarowych baz OLAP
o Business Intelligence Development Studio,
o SQL Server Data Tools,
o SQL Server Management Studio,
o MDX Studio,
o BIDS Helper.
▪ Tworzenie projektu Analysis Services – konfiguracja projektu.
▪ Definiowanie źródła danych.
▪ Budowa widoku źródła danych
o logiczne klucze główne,
o relacje pomiędzy tabelami,
o tworzenie własnych formuł w tabelach,
o tworzenie widoków (Named Query).
▪ Budowa wymiaru
o definiowanie atrybutów,
o właściwości atrybutów,
o relacje pomiędzy atrybutami,
o hierarchie atrybutowe,
o tworzenie hierarchii użytkownika,
o tworzenie hierarchii parent-child,
o wykorzystanie operatorów unarnych oraz formuł agregujących.
▪ Budowa kostki OLAP
o definiowanie grup miar oraz miar,
o określanie relacji pomiędzy wymiarami a grupami miar,
o relacja regularna, referencyjna, wiele-do-wielu,
o właściwości miar (formatowanie).
▪ Wdrożenie kostki OLAP
o kompilacja projektu,
o wdrożenie projektu na serwerze,
o przetwarzanie (procesowanie) kostki OLAP oraz wymiarów,
o obsługa błędów podczas procesowania.
▪ Tworzenie kalkulacji w kostce OLAP
o zasady budowy wyrażeń MDX
o skrypt kalkulacyjny
o najczęściej wykorzystywane funkcje języka MDX.
▪ Agregacje
o zasada działania agregacji,o tworzenie agregacji przy pomocy kreatora,
o tworzenie agregacji przy pomocy analizy wykonywanych zapytań,
o ręczne definiowanie agregacji,
o kontrola działania agregacji.
▪ Partycjonowanie kostek OLAP
o tworzenie partycji,
o procesowanie,
o monitorowanie wykorzystania partycji,
o tryby przechowywania danych (MOLAP, HOLAP, ROLAP),
o przypisywanie projektów agregacji do partycji.
▪ Akcje
o rodzaje akcji,
o tworzenie akcji,
o wywoływanie akcji w aplikacjach klienckich.
▪ Perspektywy – tworzenie i wykorzystanie.
▪ Tłumaczenia
o definiowanie tłumaczeń,
o testowanie i wykorzystanie,
o tłumaczenia przypisane do elementów wymiarów.
▪ Bezpieczeństwo danych
o definiowanie ról,
o określanie uprawnień do kostek, wymiarów, elementów wymiarów,
o wykorzystanie MDX do definiowania praw dostępu,
Moduł D: Wizualizacja, ewaluacja i wdrożenie (80 godz)
Wizualizacja danych w MS Excel
▪ Wybór rodzaju wizualizacji
o Wybór odpowiedniej formy zestawień
o Odpowiedni dobór wykresu
o Nakładanie wielu wykresów na jedną oś
o Prezentacja danych na wykresie o dużej rozpiętości skali
o Formatowanie warunkowe
o Tworzenie wykresów niestandardowych
▪ Inne narzędzia prezentacji danych
o Sparklines - wykresy przebiegu w czasie
o Wykresy na mapach
o Mapy jako element wizualizacji
o Infografiki
▪ Publikacja danych:
o Publikacja danych w różnych formatach zewnętrznych
o Publikacja danych i wykresów w PowerPoint i Word
o Aktualizacja danych w ramach pakietu Office
o Publikacja danych do formatu PDFo Publikacja danych do formatów HTML (webowych)
o Publikacja danych na serwerach SQL
Tableau jako przykład narzędzia wizualizacji danych
▪ Pobieranie danych
o Tworzenie połączeń
o Współdzielenie połączeń
o Zmiany w danych źródłowych
▪ Tworzenie prostych wizualizacji
o Elementy wizualizacji
o Formatowanie widoku
o Filtrowanie i sortowanie danych
o Używanie grup, hierarchii, zestawów i pól złożonych
▪ Wykorzystanie wymiaru czasu
o Przetwarzanie dat
o Tworzenie filtrów opartych na datach
▪ Wizualizacja danych przy pomocy wykresów
o Prezentacja wielu miar na wykresie
o Wykresy złożone
o Typy wykresów i ich zastosowania
o Mapy temparaturowe
o Wykresy kołowe, tree maps
▪ Wykorzystanie map
▪ Tworzenie kalkulacji
o Typy kalkulacji
o Tworzenie pól obliczeniowych
o Użycie instrukcji warunkowych
o Konwersje typów danych
o Operowanie na datach i czasie
o Agregacje danych
▪ Interaktywność
o Parametry widoku
o Tworzenie kokpitów analitycznych
o Akcje i drążenie danych
▪ Współdzielenie prac
o Eksport widoku
o Eksport danych
o Inne opcje współdzielenia
Raportowanie przy pomocy PowerPivot
▪ Tabele przestawne w PowerPivot
o Power Pivot jako źródło danych dla tabel przestawnych
o Elementy tabeli przestawnej
o Formatowanie tabeli przestawnej
o Własne miary w tabeli przestawnej▪ Dodatkowe możliwości wizualizacji w MS Excel
o Tworzenie powiązań pomiędzy tabelami przestawnymi
o Wykresy przebiegu w czasie
o Tworzenie raportów z wykorzystaniem tabel przestawnych i Power Pivot
o Formatowanie raportów
o Tworzenie raportów Power View
Power BI – analiza i wizualizacja danych
▪ Tworzenie standardowych wizualizacji
o Tworzenie
o Modyfikacja
o Tworzenie połączeń za pomocą fragmentatorów
o Drążenie danych
o Dodawanie i usuwanie elementów wykresów
▪ Wizualizacje niestandardowe
o Dodawanie niestandardowych wizualizacji
o Pola tekstowe
o Grafiki
o Kształty
▪ Zarządzanie filtrowaniem
o Filtry wykresów
o Filtry fragmentatora
o Filtry stron
o Filtry raportu
▪ Dodawanie obliczeń
o Kolumny kalkulowane
o Miary
o Miary służące wizualizacji
▪ Wykorzystanie wizualizacji danych opartych o język R
Wykorzystanie Reporting Services
▪ Raportowanie – podstawowe pojęcia.
o Cykl życia raportu.
▪ Architektura i podstawowe komponenty Reporting Services.
▪ Narzędzia wykorzystywane do budowy raportów.
o Business Intelligence Development Studio.
o SQL Server Data Tools.
o Report Builder.
o Tworzenie i zarządzanie projektem w BIDS/SSDT.
▪ Definiowanie źródła danych raportu.
o Określanie uprawnień dostępu do źródła danych.
▪ Definiowanie zestawu danych. Budowa zapytania.
o Korzystanie z baz relacyjnych (SQL) i wielowymiarowych (OLAP – Analysis Services).
▪ Prezentacja danych przy pomocy elementu tablix.
o Formatowanie tabeli.
o Właściwości pól tekstowych.▪ Publikacja raportu na serwerze Reporting Services.
▪ Sortowanie, filtrowanie i grupowanie danych w tabelach. Dodawanie podsumowań.
▪ Definiowanie wyrażeń w raportach. Formatowanie warunkowe.
▪ Wizualizacja danych przy pomocy wykresów i wskaźników.
▪ Zagnieżdżanie obiektów.
o Wykorzystanie elementu Rectangle do grupowania obiektów.
▪ Wykorzystanie map.
▪ Właściwości i formatowanie raportu.
o Podziały stron.
▪ Parametryzacja raportu.
o Parametryzacja zestawów danych.
▪ Opcje interaktywne w raportach.
o Mapa dokumentu.
o Zakładki oraz akcje.
o Interaktywne sortowanie.
o Przełączanie widoczności elementów.
▪ Zarządzanie raportami w trybie natywnym przy pomocy Menedżera Raportów.
▪ Automatyzacja generowania i dystrybucji raportów przy pomocy subskrypcji.
▪ Definiowanie praw dostępu do raportów.
▪ Tworzenie, zarządzanie i wykorzystanie Web Parts do szybkiej budowy raportów.
Wykorzystanie języka R w analizie danych
▪ Wizualizacja danych w R.
▪ Biblioteka ggplot2.
▪ Wizualizacja danych geograficznych
▪ Wizualizacja na potrzeby analizy statystycznej
▪ Publikacja wyników pracy – Knitr, Shiny
▪ Przykłady zastosowań algorytmów uczenia maszynowego
o Algorytmy klasyfikacyjne – k-NN, klasyfikatory Bayes’a, drzewa decyzyjne.
o Budowa modeli regresyjnych. Prognozowanie wartości numerycznych.
o Sieci neuronowe.
o Clustering. Maszyna wektorów nośnych (Support Vector Machine).
▪ Wykorzystanie języka R w raportach Reporting Services oraz w modelach analitycznych Power BI.
Moduł E: Konsultacje z doradcą HR (4 godz)
Konsultacje z doradcą HR
▪ Statystyka rynku pracy w zawodzie analityka
▪ Główne zasady rekrutacji pracowników
▪ Zasady rekrutacji w Comarch SA
▪ Klucz do dobrego CV
▪ Przygotowanie profilu zawodowego na znanych portalach (Linkedin, Goldenline)
▪ Rozmowa rekrutacyjna
o Przygotowanie do rozmowyo Zasady prowadzenia rozmowy
o Pytania od i do rekrutera
o Stres – geneza i antidotum
▪ Pytania i odpowiedzi..
Pobierz program