Monitor Polski - rok 2022 poz. 1239

Projektowanie i budowanie architektury modeli uczenia maszynowego (machine learning)

Certyfikat

Bezterminowo

6 poziom Polskiej Ramy Kwalifikacji

Syntetyczna charakterystyka efektów uczenia się

Osoba posiadająca kwalifikację określa z interesariuszami cele biznesowe lub naukowe i inne czynniki rzutujące na sposób rozwiązania problemu, odczytuje zamówioną specyfikację systemu, cele działania systemu, określa efekty działania systemu, architekturę ML tak, by było możliwe zaprogramowanie modelu ML. Architekturę modelu projektuje i buduje zgodnie z potrzebami zamawiającego. Odczytuje zamówioną specyfikację systemu, cele działania systemu, określa efekty działania systemu. Operacjonalizuje problem i dobiera modele do niego adekwatne.

Analizuje wykonalność modelu. Przygotowuje dokumentację wykonawczą modelu ML dla programisty i projektuje testy modelu. Wykonując zadania zawodowe, posługuje się wiedzą z dziedziny ML oraz statystyki i analizy danych.

Zestaw 1. Posługiwanie się wiedzą z dziedziny ML

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

1. Charakteryzuje pojęcia z zakresu uczenia maszynowego (machine learning - ML)

a) omawia zagadnienie ML,

b) omawia zastosowania i możliwości implementacji ML w wybranych domenach problemowych (np. rozpoznawanie mowy),

c) omawia zastosowania i możliwości implementacji ML w wybranych obszarach (np. gałęzie gospodarki, sektory, obszary badań),

d) wyjaśnia różnice pomiędzy różnymi rodzajami zadań ML (np. klasyfikacja, regresja, klastrowanie, redukcja wymiarowości, wykrywanie anomalii, optymalizacja),

e) omawia mocne i słabe strony metod / popularnych algorytmów ML (np. klastrowanie metodą k-średnich, random forest, SVM, sieci neuronowe, XGBoost, SVD/PCA, optymalizacyjne)

f) wyjaśnia różnice pomiędzy strategiami uczenia się: modele nadzorowane/nienadzorowane / uczenie przez wzmocnienie,

g) omawia mocne i słabe strony metod uwzględniających wiele algorytmów (ensemble methods) i podaje przykłady takich metod,

h) omawia mocne i słabe strony algorytmów typu AutoML,

i) omawia pojęcia overfittingu i underfittingu,

j) omawia mocne i słabe strony miary oceny jakości modeli (np. krzywa ROC, AUC, R^{^}2),

k) omawia mocne i słabe strony strategii kontroli jakości algorytmu ML (np. warianty resamplingu: kroswalidacja, out-of-bag bootstrap, subsampling/kroswalidacja Monte-Carlo),

l) omawia zagadnienie logiki rozmytej w ujęciu uczenia maszynowego.

2. Omawia pojęcia z zakresu statystyki i analizy danych potrzebne w budowaniu architektury modeli uczenia maszynowego

a) wyjaśnia wzajemną relację pojęć: uczenie maszynowe, głębokie sieci neuronowe, statystyka, sztuczna inteligencja,

b) omawia pojęcia związane z typem i możliwościami przygotowania danych: dane ustrukturyzowane, nieustrukturyzowane, preprocessing, encoding, dane testowe/treningowe,

c) omawia zastosowanie technik/algorytmów statystycznych w uczeniu maszynowym, w tym modele regresyjne, wnioskowanie bayesowskie.

Zestaw 2. Posługiwanie się wiedzą o interpretowalnym uczeniu maszynowym (IML) oraz o wyjaśnialnych modelach sztucznej inteligencji (XAI)

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

1. Charakteryzuje zasady budowania interpretowalnych modeli maszynowych (IML) oraz wyjaśnialnych modeli sztucznej inteligencji (XAI)

a) omawia sposoby określenia, które dane i w jaki sposób zaważyły na decyzjach podjętych przez model IML,

b) omawia sposoby określenia, które dane i w jaki sposób zaważyły na decyzjach podjętych przez model XAI,

c) omawia znaczenie parametrów feature importance,

d) omawia znaczenie relacji zmiennej w modelu.

2. Charakteryzuje zasady IML

a) wymienia zasady IML,

b) omawia rolę stosowania zasad IML w odniesieniu do etyki biznesowej.

3. Charakteryzuje zasady XAI

a) wymienia zasady XAI,

b) omawia rolę stosowania zasad XAI w odniesieniu do etyki biznesowej.

Zestaw 3. Przygotowanie i zbudowanie modelu uczenia maszynowego

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

1. Prowadzi wywiad techniczny z klientem

a) pozyskuje informacje na temat dostępnych danych i ich typów,

b) ustala warunki techniczne realizacji zamówienia, m.in. kryteria odbioru, format przekazania zamówienia,

c) identyfikuje typ problemu na podstawie zamówienia od klienta,

d) szacuje wykonalność projektu na podstawie próbek danych.

2. Analizuje wykonalność modelu

a) określa efekty działania modelu na podstawie specyfikacji,

b) określa ilość, jakość i użyteczność danych,

c) weryfikuje dane pod kątem możliwości ich wykorzystania,

d) identyfikuje problemy, do których całkowicie wystarczające jest zastosowanie algorytmiki lub dostępnych gotowych rozwiązań chmurowych,

e) podejmuje decyzje o wykonalności/niewykonalności zlecenia.

3. Projektuje i buduje rozwiązania

a) proponuje sposoby przygotowania danych do modelu,

b) przedstawia strategię podziału zbioru danych na część uczącą i część testową,

c) przedstawia wady i zalety przygotowanych rozwiązań,

d) wybiera i implementuje optymalny model,

e) proponuje sposoby optymalizacji modelu (np. hiperparametry, optymalizator funkcji kosztu),

f) porównuje miary oceny skuteczności zaproponowanych modeli,

g) reaguje na problemy i modyfikuje architekturę systemu zgodnie z wybraną metodyką (np. CRSIP-DM, ASUM-DM).

Zestaw 4. Przygotowanie dokumentacji wykonawczej

Poszczególne efekty uczenia się

Kryteria weryfikacji ich osiągnięcia

1. Przygotowuje dokumentację wykonawczą architektury modelu

a) przygotowuje schemat modelu, tj. architekturę modelu,

b) przygotowuje rekomendacje dotyczące architektury danych, modelu,

c) przygotowuje rekomendacje dotyczące niezbędnych zasobów sprzętowych i programowych,

d) przygotowuje opis pełnych danych wraz z opisem ich podziału na dane treningowe i testowe,

e)przygotowuje rekomendacje możliwych rozwiązań funkcjonalnych.

2. Przygotowuje dokumentację i plan testów

a) opisuje zakres i cele testów modelu architektury,

b) opisuje sposób przygotowania i przetworzenia danych do budowy modelu,

c) opisuje zbiory danych do przeprowadzenia treningu modelu,

d) opisuje możliwości zmiany zestawów hiperparametrów modelu,

e) opisuje zbiory danych przeznaczonych do testów.

1. Weryfikacja

1.1. Metody

Do weryfikacji efektów uczenia się zawartych w kwalifikacji stosuje się następujące metody:

- test teoretyczny,

- obserwacja w warunkach symulowanych:

- zadania praktyczne, w tym test błędnego modelu - wskazanie niedziałających lub błędnych podejść,

- studium przypadku: analiza problemów,

- analiza różnych podejść do projektowania modeli ML,

- zadanie projektowe: projekt modelu ML wraz z dokumentacją na podstawie zadanych przez komisję wytycznych,

- analiza dowodów i deklaracji, w tym np. portfolio kandydata (autorskie projekty modeli ML, dowody na programowanie modeli: na serwisie typu GITHUB, na serwisie typu STACK OVERFLOW, publikacje, w tym pokonferencyjne, wpisy na blogu lub zbliżone, dowody na doradztwo i projektowanie modeli), analiza strategii analitycznej opisanej przez kandydata w języku naturalnym wraz ze schematami,

- wywiad swobodny lub wywiad ustrukturyzowany (rozmowa z komisją) na temat zaprojektowanego modelu.

1.2. Zasoby kadrowe

Komisja walidacyjna składa się z trzech osób. Przewodniczący komisji musi spełniać następujące warunki:

- m.in. dwuletnie doświadczenie w przeprowadzaniu egzaminów.

Członkowie komisji muszą spełniać następujące warunki:

- co najmniej od czterech lat wykonywać pracę architektów modeli ML,

- cztery lata doświadczenia w tworzeniu (projektowaniu lub programowaniu) modeli uczenia maszynowego.

1.3. Sposób organizacji walidacji oraz warunki organizacyjne i materialne

Instytucja certyfikująca ma obowiązek zapewnić:

- salę do zadań praktycznych oraz rozmowy,

- dostęp do komputera (z oprogramowaniem specjalistycznym wspomagającym projektowanie modeli ML), rzutnika, flipchartu i Internetu.

2. Etapy identyfikowania i dokumentowania

Nie określa się warunków dla etapu identyfikowania i dokumentowania.

Kwalifikacja pełna na 4 poziomie Polskiej Ramy Kwalifikacji

Nie rzadziej niż raz na 10 lat