Alteryx jako alternatywa dla hurtowni danych? [artykuł]

Poprzez hurtownię danych rozumieć należy centralnie zarządzaną, zintegrowaną bazę danych, gromadzącą zarówno dane historyczne jak i bieżące, pochodzące z wielu różnych źródeł (m. in. z systemów SAP, ERP, CRM). Przed zasileniem hurtowni danymi, pochodzącymi z jakiegokolwiek systemu zewnętrznego, konieczne jest ich oczyszczenie, ewentualne wzbogacenie i sprowadzenie do spójnej dla całej hurtowni struktury. Tak przygotowane do zasilenia hurtowni dane są następnie agregowane (sumaryzowane), co zapobiega rozrastaniu się hurtowni do zbyt dużych rozmiarów, a następnie udostępniane użytkownikom na potrzeby tworzenia najróżniejszych analiz i raportów. Po co tworzyć w organizacji hurtownię? Posiadanie centralnie zarządzanego repozytorium danych zapewnia przedstawicielom biznesu swobodny dostęp do uporządkowanych i na bieżąco aktualizowanych danych tyczących się działalności operacyjnej. Opieranie kluczowych decyzji biznesowych na analizach przeprowadzonych na nieaktualnych danych bądź też danych pochodzących z innych systemów źródłowych może stwarzać niepotrzebne ryzyko błędu.

Stworzenie hurtowni danych to przedsięwzięcie niewątpliwie niełatwe, zwykle bardzo złożone, a przy tym dość kosztowne. Mając na uwadze powyższe, już na etapie pojawienia się idei stworzenia centralnego repozytorium danych, konieczne jest określenie celu biznesowego. Sformułowany przez osoby decyzyjne w firmie cel powinien być mierzalny, zorientowany na klienta i ujęty w ramy czasowe. Sam etap budowy hurtowni danych, poprzedzony licznymi konsultacjami pomiędzy specjalistami w zakresie budowy hurtowni a właścicielami biznesowymi danych, analitykami i odbiorcami raportów, dzieli się na trzy podstawowe warstwy:

a) pojęciowo-funkcjonalną, której efektem jest projekt funkcjonalny;
b) logiczną, której efektem jest projekt techniczny;
c) fizyczną, polegającą na implementacji opracowanych rozwiązań.

Mając na uwadze koszt i złożoność procesu tworzenia hurtowni danych w organizacji, warto mieć świadomość wyzwań i zagrożeń związanych z takim projektem. Do czynników zapewniających powodzenie całego przedsięwzięcia zaliczyć należy niewątpliwie prawidłowe określenie celu biznesowego, uzasadniającego potrzebę budowy hurtowni danych, a także stworzenie optymalnej architektury hurtowni. Stąd też kluczem do sukcesu wdrożenia jest zaangażowanie w proces nie tylko osób decyzyjnych, ale również użytkowników końcowych, gdyż elastyczność, a także szybkie i cykliczne reagowanie na zmiany ich oczekiwań są niezwykle istotne. Kilka iteracyjnych nawrotów to standard, z którym wiąże się wdrożenie hurtowni danych. Należy się również liczyć z tym, iż przeciętny czas niezbędny do realizacji tego procesu wynosi zwykle ok. 12 miesięcy. Tyle bowiem trwa przygotowanie niezbędnej infrastruktury i dojście do porozumienia na styku biznesu i IT. Pospieszne formułowanie potrzeb biznesowych czy też rezygnowanie z kolejnych nawrotów iteracyjnych nie jest zbyt rozsądnym działaniem, gdyż koszty usuwania ewentualnych błędów mogą być bardzo wysokie.

Posiadanie hurtowni danych to sposób na centralizację, uporządkowanie i utrzymanie aktualności danych gromadzonych przez organizację. Nie bez znaczenia jest również fakt, iż w hurtowni przechowywane są dane historyczne, które nierzadko wykorzystywane są do celów prognostycznych czy na potrzeby przygotowywania analiz i raportów wymagających uwzględnienia kontekstu czasowego. Biorąc jednak pod uwagę fakt, iż stworzenie hurtowni danych jest procesem złożonym i kosztownym, automatycznie rodzi się pytanie o możliwe alternatywy. Czy jest to możliwe? Odpowiedź podsuwa rynek, na którym znaleźć dziś można szereg rozwiązań Business Intelligence typu self-service, które opierają się bezpośrednio na systemach źródłowych, rezygnując przy tym z hurtowni danych oraz złożonych procesów ETL.

Czy rezygnacja z hurtowni i postawienie na jedno z dostępnych rozwiązań self-service BI rzeczywiście niesie wymierne korzyści dla organizacji? W tym przypadku również konieczna jest gruntowna analiza i indywidualne rozpatrzenie sytuacji. Rozwiązania tego typu mogą się sprawdzić w wielu organizacjach, aczkolwiek w wielu przypadkach mogą doprowadzić do paraliżu organizacyjnego. Dlaczego? Powód jest prozaiczny. Brak centralnej hurtowni danych przenosi wszelkie zapytania do systemów zasilających, a więc w głównej mierze systemów ERP czy CRM, które są kluczowe dla organizacji i zwykle mocno już obciążone. Dodatkowe dociążenie ich regularnymi zapytaniami raportowymi może zakłócić ich prawidłowe funkcjonowanie. Duże ryzyko stwarza również fakt, iż poszczególne jednostki będą pobierały dane źródłowe na podstawie indywidualnie stworzonych i przez to odrębnych modeli danych, co kłóci się z zasadą integralności i może skutkować występowaniem zupełnie odmiennych rekomendacji stworzonych na bazie tych samych danych źródłowych. Z punktu widzenia zarządzania biznesem sytuacja taka jest wysoce niebezpieczna.

Jakie jeszcze ryzyka i niebezpieczeństwa rodzi rezygnacja z posiadania centralnego repozytorium danych? Decyzja taka może skutkować wzrostem pracochłonności przygotowania raportów, a także utrudnionym administrowaniem oraz zarządzaniem bezpieczeństwem danych. Jakakolwiek zmiana struktury danych źródłowych będzie bowiem skutkowała koniecznością modyfikacji wszystkich wykorzystywanych zapytań. Im większa liczba wykorzystywanych modeli danych, tym pracochłonność tego procesu większa. Biorąc pod uwagę fakt, iż wiele modeli tworzonych będzie na indywidualne potrzeby poszczególnych jednostek, w oparciu o mniej lub bardziej złożoną logikę, działanie to może przysporzyć wielu problemów. Niemniejsze wyzwanie stanowi zarządzanie bezpieczeństwem danych. O ile hurtownia posiada szereg wbudowanych mechanizmów mających na celu zapewnienie bezpieczeństwa i zarządzania dostępami, o tyle w przypadku rozwiązań typu self-service możliwości te są zwykle bardziej ograniczone. Nie bez znaczenia jest również to, iż dostępami nie zarządza się w nich centralnie, lecz w ramach poszczególnych jednostek, co rodzi dodatkowe problemy i utrudnia kontrolę. Zachętą do korzystania z takich rozwiązań są zwykle niższe koszty, jednak i im należy się przyjrzeć bliżej, gdyż z jednej strony rezygnacja z gromadzenia danych zredukuje koszty niezbędnej infrastruktury, jednak z uwagi na wzrost złożoności zapytań wymusi inwestycję w zwiększenie mocy procesorów, które będą je obsługiwać.

Zarówno klasyczne hurtownie danych jak i hurtownie danych opakowane w produkt nazywany self-service BI mają swoje wady i zalety. W jednym i drugim przypadku pochodzące z systemów źródłowych danych są gdzieś gromadzone, jednak nie zawsze w optymalny i przemyślany sposób. Odpowiednio zaprojektowana hurtownia danych to niemalże gwarancja realizacji założonych celów biznesowych, jednak nie należy tym samym skreślać rozwiązań self-service BI. Łącząc je z nowoczesnymi narzędziami ETL, takimi jak chociażby Alteryx, można istotnie ograniczyć liczbę zapytań kierowanych do systemów źródłowych i tym samym istotnie je odciążyć. Kłóci się to nieco z ideą self-service, jednak budowa hurtowni w strukturach wybranego narzędzia Business Intelligence będzie dzięki temu prostsza i szybsza, a jej działanie mniej problematyczne. Odpowiednio zaprojektowane procesy zasilania danych mogą się bowiem opierać na metodzie przyrostowej, a więc uzupełniać wewnętrzną hurtownię wyłącznie o nowe dane, a więc te, które pojawiły się od ostatniej aktualizacji.

Alteryx, poza tym, że jest doskonałym narzędziem ETL i z zadaniem tym nie będzie miał najmniejszych problemów, oferuje również wiele innych możliwości. Znajduje szerokie zastosowanie w obszarze analizy predykcyjnej, analizy przestrzennej czy raportowaniu. Co więcej, umożliwia budowę repozytorium danych, którego rozmiar i możliwości mogą się w przypadku wielu organizacji okazać wystarczające. Format pliku bazy danych w Alteryx to .yxdb, przechowuje on pola danych, wartości i obiekty przestrzenne, a ponadto jest skompresowany z maksymalną prędkością i uzupełniony o dodatkowe metadane, odwołujące się do źródła danych i sposobu ich utworzenia. Chociaż nie ma ograniczeń co do liczby rekordów czy rozmiaru pliku, w środowisku 64-bitowym istnieje limit wielkości rekordu wynoszący 2 GB. Żaden inny format plików, poza tekstowym, nie jest w stanie obsłużyć równie dużej liczby rekordów. Warto zatem i taką alternatywę wziąć pod uwagę i skonfrontować możliwości narzędzia z realnymi potrzebami własnej organizacji.

Więcej o możliwościach Alteryx przeczytasz tu: https://astrafox.pl/alteryx/