Niniejszy rozdział przedstawia przykład testowania modelu klasyfikacyjnego w systemie AdvancedMiner. Wszystkie nazwy wymienione w cudzysłowie są przykładowymi nazwami obiektów.
Przed przystąpieniem do zadania testowania modelu niezbędne jest:
-
posiadanie w repozytorium modelu
- w tym celu warto zapoznać się z ModelBuildingGuide
- posiadanie w bazie danych tabeli z danymi, wykorzystanymi do budowy modelu.
Założenie: w poniższym przykładzie zakładamy, że użytkownik posiada w repozytorium jedynie model, powstały w wyniku pewnego procesu modelowania.
W procesie testowania modelu wykorzystywane są następujące obiekty MR
- PhysicalData - obiekt charakteryzujący dane użyte do budowy modelu
- MiningTestTask - obiekt definiujący zadanie testowania modelu
- model - wynik procesu budowy modelu
Zadanie testowania modelu składa się z następujących kroków:
-
krok 1:
- tworzymy PhysicalData ('german_credit_pd')
- wskazujemy zbiór do testowania: 'german_credit'
- krok 2:
- tworzymy MiningTestTask -->> ClassificationTestTask ('TestTask')
-
definiujemy, że chcemy wykonać zadanie
testowania modelu klasyfikacyjnego
-
krok 2a:
- dodajemy model
- wskazujemy model, który chcemy przetestować: 'MODEL'
-
krok 2b:
- dodajemy testData
- wskazujemy zbiór do testowania poprzez wskazanie PhysicalData 'german_credit_pd'
-
krok 2c:
- dodajemy testResult ('TestResults')
- definiujemy nazwę obiektu dla wyników testowania
-
krok 2d:
- properties: ustawiamy target
- wskazujemy zmienną 'Class' jako target
-
krok 2e:
- properties: ustalenie pozytywnej wartości targetu
- wskazujemy wartość 'bad' jako pozytywną wartość targetu
-
krok 2a:
- krok 3:
- wykonujemy zadanie 'TestTask'
Notatka
- Przedstawiony schemat postępowania jest wspólny dla wszystkich typów modeli. Jednak postać samych wyników jest ściśle zależna od typu testowanego modelu.
Jeżeli wszystko poprawnie udało się zdefiniować, w wyniku działania ClassificationTestTask w repozytorium pojawi się obiekt z wynikami testowania. Po rozwinięciu obiektu mamy zestaw obiektów przechowujących charakterystyczne dla danego typu modelu statystyki i miary oceny jakości ( zobacz film ). Poniższa ilustracja pokazuje postać repozytorium oraz przykładowe wyniki testowania po wykonaniu wyżej opisanych kroków.
Wyżej przedstawione czynności można również wykonać w języku skryptowym.
Przykład 1.1. ModelTesting
# PROCES TESTOWANIA MODELU
# -- zakładamy, że w repozytorium istnieje model, powstały w wyniku pewnego procesu modelowania
# krok 1 -- tworzymy i zapisujemy PhysicalData w repozytorium
# -- wskazujemy zbiór do testowania: 'german_credit'
PD = PhysicalData('german_credit')
save('german_credit_pd',PD)
# krok 2 -- tworzymy MiningTestTask -->> ClassificationTestTask
# -- definiujemy, że chcemy wykonać zadanie testowania modelu klasyfikacyjnego
CTT = ClassificationTestTask()
# krok 2a -- ClassificationTestTask: dodajemy model
# -- wskazujemy model, który chcemy przetestować
CTT.setModelName('MODEL')
# krok 2b -- ClassificationTestTask: dodajemy testData
# -- wskazujemy zbiór do testowania
CTT.setTestDataName('german_credit_pd')
# krok 2c -- ClassificationTestTask: dodajemy testResult
# -- definiujemy nazwę obiektu dla wyników testowania
CTT.setTestResultName('TestResults')
# krok 2d -- ClassificationTestTask - properties: ustawiamy target
# -- wskazujemy zmienną 'Class' jako target
CTT.setTarget('Class')
# krok 2e -- ClassificationTestTask - properties: ustalenie pozytywnej wartości targetu
# -- wskazujemy wartość 'bad' jako pozytywną wartość targetu
CTT.setPositiveTargetValue('bad')
# kroki 2,2a,2b,2c,2d,2e -- zapisujemy zadanie ClassificationTestTask w repozytorium
save('TestTask',CTT)
# krok 3 -- wykonujemy zadanie
execute('TestTask')
print "Done..."
Output:
Done...