DataFlow
Interfejs, projekty, opis przepływu, katalog, diagramy, uprawnienia i asystent AI.
Znaczenie: wspólne środowisko pracy nad danymi.DataFlow dla IT i bezpieczeństwa
Architektura i bezpieczeństwo DataFlow
DataFlow łączy interfejs pracy zespołu, otwartą warstwę wykonawczą i infrastrukturę klienta. Dane pozostają w hurtowni organizacji, logika jest zapisana w SQL i dbt, a każda zmiana przechodzi walidację i kontrolowaną publikację.
Architektura i technologie
Jedno środowisko pracy, trzy poziomy rozwiązania
DataFlow łączy interfejs pracy zespołu z warstwą wykonawczą i infrastrukturą. Logika przetwarzania jest zapisana w SQL i dbt, a dane pozostają w hurtowni klienta.
Warstwa wykonawcza
Pobieranie danych, przetwarzanie, testy, harmonogramy, zależności i wykonania.
Znaczenie: uruchamia opublikowaną logikę.Infrastruktura
Hurtownia, baza aplikacji, magazyn plików, tożsamość, sieć i środowisko kontenerowe.
Znaczenie: pozostaje środowiskiem działania i utrzymania.Otwarte komponenty wykonawcze
Airbyte, dbt i Dagster
Airbyte obsługuje konektory i synchronizację, dbt modele SQL, testy oraz dokumentację, a Dagster harmonogramy, zależności i wykonania. Historia definicji jest zapisywana w Git.
Wzorzec ELT
Przetwarzanie w hurtowni klienta
Dane są pobierane ze źródeł do hurtowni i przetwarzane na miejscu. Gotowe modele są udostępniane Power BI, Tableau, Excelowi lub innemu narzędziu analitycznemu.
Mniejsze uzależnienie od dostawcy: logika biznesowa jest zapisana w SQL i dbt, konfiguracja ma historię w repozytorium, a wykonanie opiera się na szeroko stosowanych komponentach. Klient zachowuje swoją pracę także po zakończeniu współpracy.
Kontrola publikacji
Zmiana powstaje poza działającym rozwiązaniem
Projekt roboczy oddziela przygotowanie zmiany od opublikowanej konfiguracji. Zespół widzi różnice w plikach, zależności i pełny plan publikacji; platforma wykrywa konflikty i chroni przed częściowym zapisem.
Wynik przed wdrożeniem
Wynik na rzeczywistych danych można filtrować, sortować, oglądać na poziomie wiersza i eksportować do CSV lub XLSX.
Testy logiki i danych
Modele mają opisy, zależności oraz testy kompletności, unikalności, relacji i reguł biznesowych.
Publikuje właściwa rola
Widać zakres zmiany i wynik walidacji. Publikację wykonuje dopiero osoba z przypisanym uprawnieniem.
Zmiany przygotowujesz w projekcie roboczym
Workbench pokazuje projekty, ich status publikacji, lokalne zmiany i zależności. Asystent AI przygotowuje propozycję w kontekście projektu. Każda propozycja przechodzi walidację i przegląd, a publikacja wymaga uprawnień przypisanych do właściwej roli.
SQL Flow rozkłada logikę modelu na czytelne etapy
Graf pokazuje źródła, etapy pośrednie i model końcowy. Dla wybranego kroku panel zestawia kolumny wejściowe, rodzaj transformacji, wyrażenie i kolumnę wynikową, a podsumowanie opisuje rolę etapu zwykłym językiem.
Asystent AI i modele
AI pracuje w kontekście przepływu, nie bezpośrednio na produkcji
Asystent ma dostęp do struktury danych: katalogu, definicji modeli, zależności, wyników walidacji, diagnostyki i historii uruchomień. Wyjaśnia modele, przygotowuje propozycje zmian i analizuje błędy.
Projekt roboczy i uprawnienia
Asystent działa w granicach uprawnień i w projekcie, nie na działającym rozwiązaniu. Widać, co analizuje i co proponuje.
Wybór należy do klienta
Klient wybiera dostawcę modeli językowych, płaci mu bezpośrednio i decyduje, jakie informacje trafiają do jego usługi.
Model dobrany do czynności
Dla krótkich, powtarzalnych czynności można ustawić tańszy model, a dla przygotowania zmian mocniejszy. Liczba rund pracy asystenta jest ograniczona ustawieniami.
Kontrola człowieka
Każda propozycja przechodzi walidację, przegląd zakresu i publikację przez uprawnioną osobę. Ta sama ścieżka kontroli obowiązuje dla zmian przygotowanych przez AI i człowieka.
Katalog techniczny
Funkcje przepływu od połączenia do wykonania
Pełny opis pokazuje, gdzie przechowywana jest konfiguracja, jak sprawdzana jest zmiana i jakie informacje pozostają dostępne dla administratora oraz zespołu danych.
Źródła, poświadczenia, przestrzenie i role
Konektory i test połączenia
Kreator pozwala wyszukać konektor, wprowadzić dostęp, sprawdzić połączenie i wybrać zbiory danych. Można ustawić pełne lub przyrostowe pobieranie, zależnie od źródła.
Korzyść: problemy z dostępem są wykrywane bez budowania każdego połączenia od zera.Sekrety zarządzane centralnie
Raz zapisane poświadczenie obsługuje wiele źródeł. Wartości sekretne nie są ponownie wyświetlane; widać ich wykorzystanie i historię zmian.
Korzyść: dostęp można rotować w jednym miejscu, bez haseł w plikach konfiguracyjnych.Rozdzielenie działów i spółek
Jedna instancja obsługuje wiele przestrzeni z własnymi integracjami, poświadczeniami i rolami. Osobne uprawnienie kontroluje uruchamianie przepływów.
Korzyść: wspólna platforma nie miesza dostępu i odpowiedzialności.Opis przepływu, modele, podgląd i testy
Jedna struktura zamiast wielu konsol
Źródła, miejsca docelowe, tabele, modele, zadania i procesy są opisane razem. Graficzny edytor i formularze pokazują całość bez znajomości formatu konfiguracji.
SQL, dbt i testy danych
Logika obejmuje czyszczenie, ujednolicanie, łączenie, agregacje i obliczenia. Modele mają opisy, zależności oraz testy kompletności, unikalności, relacji i reguł biznesowych.
Sprawdzenie wyniku
Wynik na rzeczywistych danych można filtrować, sortować, oglądać na poziomie wiersza i eksportować do CSV lub XLSX. Regułę biznesową można zweryfikować w tym samym środowisku.
Katalog, pochodzenie, wykonania i historia
Dane możliwe do znalezienia
Wyszukiwarka prowadzi do kart zasobów z właścicielem, opisem, schematem, świeżością, kolumnami, wynikami testów i historią zmian.
Źródła i logika kolumn
Graf pokazuje zależności modeli i pochodzenie na poziomie kolumn, a wizualna analiza SQL rozkłada zapytanie na etapy opisane zwykłym językiem.
Statusy, logi i ponawianie
Widać uruchomienia, kroki, czasy, rekordy i błędy. Zadanie można uruchomić ręcznie, ponowić lub anulować zgodnie z uprawnieniami.
Historia w repozytorium
Konfiguracja ma historię, różnice i możliwość równoległej pracy. Zmiany można przeglądać w aplikacji bez znajomości narzędzi programistycznych.
Bezpieczeństwo danych i dostępu
Dane, dostęp i zmiany pozostają pod kontrolą
Hurtownia danych należy do klienta niezależnie od miejsca uruchomienia platformy. Przed wdrożeniem definiujemy dostęp, odpowiedzialność i informacje przekazywane do usług zewnętrznych.
Logowanie lokalne lub SSO
Platforma obsługuje logowanie lokalne oraz SSO oparte na OIDC. Połączenie z firmowym systemem tożsamości konfigurujemy we wdrożeniu.
Dwie niezależne warstwy kontroli
Role w aplikacji określają dostęp do funkcji, a uprawnienia hurtowni — dostęp do danych. Odbiorcom BI można udostępnić tylko warstwę analityczną.
Szyfrowane i niewidoczne po zapisie
Sekrety można podmienić, ale nie odczytać. Historia pokazuje, kto je zmienił i które źródła z nich korzystają.
Klient wybiera dostawcę modeli
Asystent działa w granicach uprawnień. Klient decyduje, do czyjej usługi trafia przekazywany kontekst.
Historia definicji i wykonań
Repozytorium, historia poświadczeń, logi wykonań i statusy operacji pozwalają prześledzić zmiany i uruchomienia.
Egzekwowanie po stronie serwera
Uprawnienia są sprawdzane po stronie serwera, a zmiana trafia do użycia dopiero po walidacji i przeglądzie.
Polityki dostępu powstają w kontekście przepływu
Widok Registry łączy źródło, połączenie i tabele docelowe. Asystent AI analizuje kolumny i proponuje konfigurację polityk dostępu. Propozycję sprawdza i zatwierdza człowiek przed publikacją.
Uruchomienia i diagnostyka
Logi i statusy są dostępne bezpośrednio w aplikacji
Lista wykonań pokazuje status, moment startu, czas trwania i liczbę rekordów. Po wybraniu zadania można przejść do szczegółów i logów, aby sprawdzić przebieg albo znaleźć przyczynę błędu bez otwierania osobnej konsoli.
Źródła i migracja
Połączenia dobieramy do konkretnego środowiska
DataFlow korzysta z ekosystemu ponad 500 gotowych konektorów. System podłączamy przez API, bazę danych, plik albo konektor przygotowany dla aplikacji wewnętrznej.
| Kategoria | Przykładowe systemy i źródła |
|---|---|
| ERP i księgowość | Comarch ERP XL i Optima, enova365, Symfonia, Subiekt, SAP |
| CRM i sprzedaż | Pipedrive, HubSpot, Salesforce |
| Obsługa klienta i helpdesk | Freshdesk, Zendesk, Intercom |
| Praca i projekty | Jira, Asana, Monday, Paymo, Trello |
| Marketing i reklama | Google Ads, Meta Ads, LinkedIn Ads, Google Analytics, Mailchimp |
| Bazy danych | Microsoft SQL Server, PostgreSQL, MySQL, Oracle, MongoDB |
| Pliki i usługi plikowe | Excel, CSV, Google Sheets, SharePoint, FTP, SFTP i magazyn obiektowy |
| Systemy wewnętrzne | Aplikacje własne przez API, bazę danych lub konektor dedykowany |
Punkt wyjścia a sposób migracji
| Punkt wyjścia | Jak jest dziś | Co zmienia DataFlow |
|---|---|---|
| Arkusze kalkulacyjne | Dane pobierane ręcznie, logika w formułach, wersje jako pliki z datą. | Automatyczne pobieranie, jawna logika, historia zmian i testy przed publikacją. Excel zostaje narzędziem odbioru. |
| Alteryx lub KNIME na stanowiskach | Workflow jako plik na komputerze, licencja przypisana do osoby, wersje przez nazwy plików. | Centralna platforma, uruchomienia serwerowe, diagram z opisem etapów i przegląd różnic między wersjami. |
| Wersja serwerowa Alteryx lub KNIME | Logika w formacie narzędzia, przetwarzanie w jego silniku, katalog i pochodzenie jako osobne zagadnienie. | Logika w SQL i dbt, przetwarzanie w hurtowni klienta, historia w Git oraz wbudowany katalog i pochodzenie kolumn. |
| Własny zestaw open source | Osobne konsole Airbyte, dbt i Dagster, integracja i utrzymanie własnymi siłami. | Jedna aplikacja: wspólny opis przepływu, katalog, role i uprawnienia oraz zespół wdrażający i utrzymujący rozwiązanie. |
Sieć i ciągłość działania
Wymagane połączenia wynikają z wybranego środowiska
DataFlow potrzebuje połączenia ze źródłami danych i hurtownią. Asystent AI łączy się z usługą wybranego dostawcy modeli. Analiza środowiska przed wdrożeniem wskazuje konkretne kierunki komunikacji i przypisuje odpowiedzialność.
Ciągłość działania
Bez stałego połączenia z serwerem licencyjnym
Po aktywacji DataFlow działa bez stałej łączności z serwerem licencyjnym przez okres ważności zainstalowanej licencji. Administrator otrzymuje z wyprzedzeniem informację o zbliżającym się końcu ważności.
Środowiska odcięte od internetu
Aktywacja offline
Dla instalacji bez dostępu do internetu dostępny jest tryb aktywacji offline.
Proces budowy i wydawania
Bezpieczeństwo i jakość sprawdzamy przed wydaniem
Rozwój DataFlow obejmuje obsługę znanych podatności i aktualizacji bezpieczeństwa. Zobacz, jak odnosimy produkt do wymagań CRA.
Niezależne komponenty i testy
Każdy komponent ma własny zestaw testów automatycznych. Wydanie powstaje dopiero po ich przejściu.
Audyt zależności i skanowanie obrazów
Każde wydanie przechodzi kontrolę znanych podatności oraz bramkę bezpieczeństwa z ustaloną obsługą wyjątków.
Testowane kluczowe ścieżki
Testy obejmują administrację, integracje, poświadczenia, katalog, pochodzenie, zmianę, przepływy, harmonogramy i uruchomienia.
Klient zachowuje swoją pracę
Logika jest w SQL, konfiguracja ma historię w repozytorium klienta, a warstwa wykonawcza korzysta z otwartych komponentów.
FAQ techniczne
Odpowiedzi dla IT i bezpieczeństwa
Czy dane są wysyłane do zewnętrznego modelu AI?
Klient wybiera dostawcę modeli i decyduje, do czyjej usługi trafia przekazywany kontekst. Zakres informacji przekazywanych do modelu ustalamy podczas wdrożenia.
Gdzie działa DataFlow?
W infrastrukturze klienta albo w hostingu po stronie Astrafox. W obu wariantach hurtownia danych pozostaje po stronie klienta.
Czy DataFlow działa bez stałego dostępu do internetu?
Sama licencja nie wymaga stałej łączności: po aktywacji platforma działa bez połączenia z serwerem licencyjnym przez okres ważności licencji, a dla instalacji odciętych od internetu dostępna jest aktywacja offline. Pozostałe połączenia zależą od źródeł, hurtowni i wybranej usługi AI.
Jak kontrolowana jest publikacja zmiany?
Zmiana powstaje w projekcie roboczym. Zespół przegląda różnice, zależności, wyniki walidacji i podgląd danych, a publikację wykonuje osoba z odpowiednim uprawnieniem.
DataFlow
Porozmawiajmy o wymaganiach Twojego środowiska.
Zmapujemy źródła, hurtownię, tożsamość, połączenia sieciowe i odpowiedzialność za utrzymanie.
Opisz środowisko danych