Rozdział 4. Repozytorium Metadanych

Spis treści

Wstęp do Metadata Repository (MR)
Koncepcja Metadata Repository
Podłączenie Metadata Repository
Ikonki AdvancedMiner dla obiektów.
Referencje
Operacje na obiektach
Uruchamianie zadań.
Zapisywanie i ładowanie
Testowanie
Lista obiektów MetaData Repository
PhysicalData
LogicalData
CalculateStatisticsTask
CalculateTestResultTask
ComputeModelStatisticsTask
MiningBuildTask
MiningApplyTask
TestTasks
MatchingTask
TransformationBuildTask
TransformationApplyTask
ScriptWrapper
Trigger
ScoringCodeBuildTask
ScoringCodeApplyTask
MiningFunctionSettings
TransformationSettings

Wstęp do Metadata Repository (MR)

Koncepcja Metadata Repository

Metadata Repository (MR) jest specjalnym typem projektu (Project) używanego do lokalnego lub zdalnego przechowywania i operowania na metadanych. Metadata Repository to zbiór informacji o danych, estymowanych modelach, wykorzystanych transformacjach, ustawieniach algorytmów oraz zadaniach DataMining takich jak budowa, testowanie czy skoring modelu. Każda z tych informacji jest widoczna w formie małej ikonki w oknie Projects. Metadane umożliwiają użytkownikowi dostęp do wszelkich możliwych informacji na temat wykonywanych zadań, ustawień i transformacji oraz o ich historii. Dzięki temu w każdej chwili możliwy jest powrót do wcześniejszych ustawień i skorzystanie z wcześniej wypracowanych definicji zadań czy transformacji.

Rysunek 4.1. Metadata Repository

Metadata Repository

Okno Projects pozwala na swobodne zarządzanie metadanymi. Użytkownik może je kopiować, przenosić i zmieniać im nazwy, czyli organizować sobie przestrzeń pracy w najwygodniejszy dla siebie sposób. Zaoszczędzenie pamięci możliwe jest poprzez jej zwolnienie z dużych obiektów, takich jak PhysicalData czy Calculate Statistic Task Results zawierających obszerne statystyki.

Dzięki istnieniu zdalnego serwera systemu AdvancedMiner możliwe jest jednoczesne wykonywanie wielu procesów oraz przeniesienie obciążenia związanego z obliczeniami na serwer obliczeniowy, z którego w tym samym czasie może korzystać kilku użytkowników.

Podłączenie Metadata Repository

Najprostszym sposobem na podłączenie Metadata Repository jest wybór opcji Open Repository... z menu File.

Jej wybranie spowoduje pojawienie się na ekranie kreatora, w którym użytkownik powinien wypełnić wszystkie pola i zatwierdzić ustawienia przyciskiem Finish.

Ustawiane parametry można podzielić na dwie grupy – związane z serwerem i repozytorium. Obie posiadają pola adres oraz port, które w niektórych przypadkach można wypełnić tymi samymi wartościami. Dodatkowo, grupa parametrów dotyczących repozytorium zawiera pola autoryzacji: user name i password. Ostatnim, opcjonalnym parametrem jest nazwa repozytorium, pełniąca funkcję aliasu. Wszelkie informacje potrzebne do wypełnienia pól, użytkownik powinien otrzymać od swojego administratora systemu.

Rysunek 4.2. Kreator podłączenie repozytorium

Kreator podłączenie repozytorium

Repozytorium jest reprezentowane przez ikonkę . Dzięki temu możliwa jest praca z obiektami metadanych znajdującymi się zarówno lokalnie jak i na zdalnym serwerze. Akcje Connect / Disconnect umożliwiają kontrolowanie stanu połączenia z serwerem. Jeśli repozytorium jest odłączone, wszystkie obiekty metadanych z systemu przechodzą w stan 'tylko-do-odczytu', a zestaw dostępnych dla nich akcji ulega ograniczeniu.

Ikonki AdvancedMiner dla obiektów.

Poniższa tabela zawiera zestawienie ikonek reprezentujących główne obiekty w systemie AdvancedMiner. Pomagają one w szybkiej identyfikacji typu obiektu w różnych miejscach systemu, na przykład w węzłach komponentu Projects lub na zakładce edytora.

Tabela 4.1. Główne ikonki obiektów

IkonkaInterpretacja
Skrypt Gython
Plik CSV
Obiekt CWM, w przypadku niezdefiniowania specyficznej ikonki
Zbiór atrybutów takich jak physical data, logical data, sygnatura
Kolekcja pewnych elementów
Atrybut
Parametry metody data mining (mining function settings)
Ustawienia algorytmu (algorithm settings)
Model data mining
Statystyki modelu
Zadanie (task)
Transformacja
Wyniki
Wykres Lift
Wykres ROC i pozostałe wykresy
Macierz kontyngencji (confusion matrix)

Niektóre moduły mogą posiadać swoje ikonki reprezentujące charakterystyczne dla nich obiekty.

Referencje

Referencje oznaczają wskazanie jednego obiektu na drugi i wykorzystywane są do reprezentowania obiektów metadanych. Jeśli jeden obiekt referuje na inny, wówczas wskazywany obiekt jest reprezentowany przez węzeł potomny w drzewie projektu. Istnieją trzy typy referencji:

  • na własność (owned) - najczęstsza forma referencji, nie oznaczana żadnym specjalnym znacznikiem. Określa ona, że jeden obiekt zawiera inne obiekty analogicznie jak katalog zawiera inne katalogi czy pliki. Jednak w odróżnieniu od katalogów i plików obiekt i jego referencja są fizycznie przechowywane w tym samym pliku.

  • przez nazwę (named) - obiekt referuje na inny obiekt umieszczony w tym samym katalogu przez jest nazwę. Ten typ referencji jest oznaczany niebieską strzałką przyczepioną to prawego górnego rogu ikonki oznaczającej obiekt wskazywany (zobacz tabelę wszystkich znaczników Badges )

  • przez identyfikator (id) - typ referencji podobny do referowania przez nazwę, przy czym obiekt jest referowany przez specjalny identyfikator. Oznacza to, że nazwa obiektu może się zmieniać, ale identyfikator pozostaje zawsze taki sam. Ten typ jest reprezentowany przez żółtą strzałkę .

W przypadku, gdy obiekt używa referencji przez id lub przez nazwę, a obiekt referowany nie istnieje, wówczas pojawia się czerwony znacznik błędu .

Tabela 4.2. Znaczniki

ZnacznikInterpretacja
Referencja przez nazwę
Referencja przez id
Referencja przez nazwę, ale referowany obiekt nie musi istnieć (nie pojawia się znacznik błędu)
Błąd
Ostrzeżenie
Konflikt
Obiekt uległ zmianie
Żądanie uruchomienia zostało wysłane na serwer
Zadanie uruchomione

Tworzenie referencji

Aby utworzyć referencję należy wybrać akcję Add... z menu kontekstowego (prawy klawisz myszki na obiekcie metadanych w repozytorium). Jeśli tylko jeden typ obiektu może być dodany, na przykład macierz kosztów wówczas akcja ta będzie się nazywać Add Cost Matrix. W przeciwnym przypadku po wybraniu akcji Add... rozwinie się menu ze wszystkimi możliwymi typami obiektów do dodania.

Po wybraniu referowanego obiektu, pojawi się kreator referencji. Jeżeli do wyboru jest więcej niż jeden typ referencji, pierwszym krokiem będzie wskazanie jednego z nicj (warto zauważyć, że w kreatorze nie będą widoczne wszystkie, ale tylko dozwolone w danej sytuacji typy referencji):

  • owned [new] - utworzenie nowego obiektu i użycie dla niego referencji na własność; uruchomi się analogiczny kreator jak dla tworzenia nowego obiektu metadanych

  • owned [existing] - utworzenie nowej referencji do kopii już istniejącego obiektu

  • named - utworzenie referencji przez nazwę poprzez wybranie obiektu z listy lub podanie nazwy np. nieistniejącego obiektu, który zostanie utworzony;
  • id - referencja tworzona analogicznie jak dla referencji przez nazwę (named)

Notatka

W przypadku, gdy dostępny jest tylko jeden typ referencji i nie ma potrzeby ustawiania żadnych dodatkowych parametrów, kreator nie pojawi się, a referencja zostanie utworzona automatycznie.

Każda referencja może zostać usunięta akcją Delete z menu kontekstowego lub klawiszem Delete. Nie będzie to jednak możliwe dla obiektu w stanie 'tylko-do-odczytu'.

Istnotne jest, aby zrozumieć różnicę między dodawaniem nowej referencji na własność a tworzeniem nowego obiektu - referencja jest dodawana jako część już istniejącego obiektu, podczas gdy akcja New... powoduje utworzenie nowego, niezależnego obiektu mającego swoją własną fizyczną reprezentację i do którego mogą referować inne obiekty.

Operacje na obiektach

Wszystkie obiekty moga być przenoszone, kopiowane i kasowane, część z nich może być również otwarta. Każda z powyższych akcji dostępna jest w menu kontekstowym obiektu.

Obiekty można też przemieszczać w obrębie drzewa projektowego metodą 'chwyć i upuść' lub 'wytnij/wklej'.

Uruchamianie zadań.

W celu uruchomienia znajdującego się w repozytorium obiektu definiującego zadanie, wystarczy użyć akcji Execute (dostępnej w menu kontekstowym, menu głównym Run, na głównym pasku narzędzi lub przez naciśnięcie klawisza F6). Po wybraniu tej akcji najpierw pojawi się znacznik , oznaczający wysłanie żądania do serwera, natomiast, gdy serwer rozpocznie wykonywanie zadania/transformacji, znacznik zmieni się na . Po zakończeniu wykonywania zadania znacznik znika. Od momentu wysłania żądania na serwer aż do całkowitego zakończenia obliczeń akcja Execute jest nieaktywna. Staje się ona ponownie dostępna po wykonaniu zadania.

Notatka

Jeśli akcja Execute zostanie wywołana na niezapisanym zadaniu/transformacji, system będzie próbował tuż przed wykonaniem zadania zapisać nowe ustawienia.

Zapisywanie i ładowanie

Po dokonaniu zmian w definicji obiektu, pojawi się znacznik wskazujący na modyfikację obiektu bez jego zapisania. Użytkownik może zapamiętać zmiany wybierając akcję Save (dostępną z menu kontekstowego, menu głównego File lub przez skrót klawiszowy Ctrl+S).

Jeżeli obiekt został zmieniony, a użytkownik chce powrócić do wersji ostanio zapisanej w MR, powinien wybrać akcję Reload (dostępną poprzez menu kontekstowe). Wszelkie zmiany zostaną wówczas anulowane.

Ponieważ AdvancedMiner umożliwia jednoczesną pracę wielu użytkowników oraz równoległe wykonywanie procesów, może dochodzić do konfliktów związanych z edycją obiektów. W takiej sytuacji obiekt oznaczany jest znacznikiem . Aby rozwiązać konflikt, użytkownik może zapisać swoją lokalną kopię obiektu do repozytorium lub akcją Reload wczytać wersję obiektu znajdującą się w repozytorium, tracąc wykonane przez siebie zmiany.

Testowanie

Akcja Test umożliwia sprawdzenie poprawności zarówno wszystkich referencji (czy referowane obiekty istnieją), jak i wewnętrznej struktury metadanej.