10 darmowych baz danych dla Data Scientist

W dzisiejszym wpisie poruszymy temat ogólnodostępnych danych, które możemy znaleźć w internecie i wykorzystać w swoich pracach. Co ciekawe, jest to zagadnienie bardzo aktualne zarówno wśród osób które zaczynają swoją przygodę w świecie wizualizacji danych jak i dla profesjonalistów, którzy chcą wzbogacić swoje raporty o jakiś kontekst, np. demograficzny czy ekonomiczny.

Z pewnością każdy kto zdecydował się na samodzielne rozwijanie swoich umiejętności w takich narzędziach jak Tableau, na pewnym etapie rozwoju zastanawiał się gdzie może znaleźć dane, które posłużą mu do celów szkoleniowych. Dlatego dzisiaj, dla wszystkich tych których fascynuje odkrywanie Świata przez pryzmat danych, zaprezentujemy 10 popularnych źródeł z których możemy czerpać darmowe data set’y.

Duża większość użytkowników stawiała swoje pierwsze kroki w pracy z aplikacją w oparciu o excelowy ‘Sample superstore’, który mamy do dyspozycji już w chwili instalacji programu. Jest to doskonała baza do odkrywania funkcjonalności i możliwości Tableau. Jej niewątpliwą zaletą jest to, że dostępne w internecie tutoriale, w dużej części bazują właśnie na niej. To dobre rozwiązanie dla początkujących, którzy bez obaw o kompatybilność bazy danych mogą skupić się na samej treści szkolenia.
Jednak zasoby Tableau to nie tylko Superstore. Na portalu Tableau Public, w zakładce „Resources” znajdziemy dział „Sample Data Sets”. To dodatkowe darmowe bazy, podzielone na kategorie takie jak: Government, Science, Lifestyle, Technology czy Health. Pliki są dostępne przeważnie w formatach .xlsx i .csv, wraz z krótkimi opisami czego dotyczą zawarte w nich dane. To bardzo wartościowe zasoby, umożliwiające również naukę użytkownikom z różnych branż w oparciu o bazy które będą lepiej korespondowały z ich codzienną pracą.

Prawdziwą kopalnią danych które można wykorzystać głównie pod kątem szkoleniowym, jest serwis http://www.makeovermonday.co.uk/. Witryna jest prowadzona przez specjalistów w zakresie wizualizacji danych w Tableau – Evę Murray i Andy Kriebel’a. Poza dostępem do prawie stu archiwalnych plików, możemy liczyć na feedback do naszych prac i uczestniczyć w cotygodniowym warsztacie.
Założenie serwisu jest proste: w każdą niedzielę w zakładce „Data sets” zamieszczana jest nowa wizualizacja lub dashboard, plik z danymi oraz link do oryginalnego artykułu przy którym je pierwotnie opublikowano. Na podstawie tych materiałów, uczestnicy z pełną dowolnością przerabiają wizualizację w taki sposób, żeby jeszcze ciekawiej zaprezentować udostępnione dane. Ponieważ jednym z celów warsztatów jest optymalizacja czasu pracy, serwis rekomenduje zarezerwowanie sobie jednej godziny na wprowadzenie potrzebnych zmian. Gotowe prace zamieszczone na Tableau Public, udostępniamy przez Twittera z hashtagiem #MakeoverMonday. Prace uczestników są komentowane podczas cotygodniowego webinarium oraz w artykułach na blogach Evy i Andy’ego. Makeover Monday to świetna okazja do rozwoju pod okiem najlepszych specjalistów od Tableau na świecie.

Nie zawsze jednak będziemy zainteresowani danymi zagranicznymi. Bardziej tożsame z perspektywy naszego biznesu i co za tym idzie bardziej pobudzające wyobraźnie mogą być dla nas informacje dotyczące Polski. Tutaj z pomocą przychodzi Główny Urząd Statystyczny, który część swoich danych udostępnia do publicznego użytku.
Na szczególną uwagę zasługuje Bank Danych Lokalnych, za pośrednictwem którego dotrzemy do informacji dotyczących takich dziedzin jak gospodarka, fundusze publiczne, narodowe spisy powszechne, ochrona zdrowia i wiele innych. Przechodząc przez kolejne kroki tworzenia extractu wybieramy kategorię i podkategorię danych, zakres lat, oraz poziom podziału terytorialnego. Na ostatnim etapie, dane możemy wyeksportować do pliku .xls i .csv. Bazy udostępniane przez nasze rodzime instytucje niestety nie są aż tak bogate w dane jak te zza oceanu, jednak warto je mieć na uwadze, kiedy przyjdzie nam tworzyć raporty w odniesieniu do regionów z obszaru Polski.

Jeśli jesteśmy zainteresowani danymi dotyczącymi stanu zdrowia ludności, koniecznie musimy odwiedzić stronę World Health Organization. W swoim serwisie http://apps.who.int/gho/data/node.imr w obrębie zasobów Global Health Obserwatory WHO udostępnia dane dotyczące zdrowia mieszkańców wszystkich 194 państw członkowskich. Do dyspozycji mamy ponad 1000 wskaźników związanych z najważniejszymi zagadnieniami zdrowotnymi takimi jak śmiertelność, żywienie wśród dzieci, zdrowie reprodukcyjne, szczepienia, HIV/AIDS, gruźlica, malaria, choroby niezakaźne czy ich czynniki ryzyka.
Większość dostępnych baz jest na bieżąco aktualizowana o cyklicznie zbierane nowe dane. Te zaś są gromadzone w oparciu o sprawdzone metodologie w taki sposób, żeby możliwie najlepiej opisywały omawiane zjawiska.

Inną ciekawą bazą danych jest dostępna pod adresem https://www.start.umd.edu/gtd/ Global Terrorism Database. To bardzo aktualne źródło, zawierające informacje o incydentach o podłożu terrorystycznym, które miały miejsce we wszystkich krajach świata, na przestrzeni lat 1970 -2016. Baza ma charakter open-source i jest cały czas rozwijana. O jej unikalności stanowi fakt, że zawiera dużo szczegółowych informacji na temat każdego rekordu, takich jak motyw ataku, rodzaj użytej broni, cel, liczba ofiar itd. To również doskonały materiał z którym można zgłębiać swoje umiejętności developerskie w Tableau – pozwoli nam na zaprojektowanie wielu ciekawych wizualizacji, nie zabraknie również danych do stworzenia bogatych w informacje dashboardów czy story. GTD jest dość popularnym źródłem wśród użytkowników Tableau, dlatego jeśli zabraknie nam pomysłu na interpretacje danych, możemy poszukać inspiracji w galerii Tableau Public. Z łatwością znajdziemy prace bazujące na tym data secie a autorzy części z nich udostępniają również do pobrania całe workbooki.

Dzięki Web Data Connectors, możemy łączyć się z bardzo wieloma ciekawymi źródłami danych, które niejednokrotnie zaskoczą nas tym, do jakich informacji możemy dotrzeć z poziomu Tableau. Pokażemy dzisiaj 4 naszym zdaniem najciekawsze connectory, zaczynając od serwisów społecznościowych. Zanim jednak przejdziemy do sedna, w telegraficznym skrócie przypomnimy jak z nich korzystać.

Po otworzeniu Tableau, mamy do wyboru opcje połączenia z danymi z plików lub połączenie z serwerem. Na liście serwerowej, wybieramy opcje „Web Data Connector”. Wyświetli się nowe okno, w którym aplikacja poprosi nas o wklejenie linku do connectora. Dalsze kroki są już zależne od konkretnego typu połączenia. Natomiast postępując zgodnie z instrukcjami na ekranie, będziemy musieli zalogować się na swoje konto do serwisu z którym się łączymy lub wybrać zakres interesujących nas danych. Po zaimportowaniu danych do Tableau naszym oczom ukaże się znajomy już widok wyboru tabel.

Facebook

Z Facebookiem połączymy się za pomocą dwóch connectorów udostępnionych przez autora bloga tableujunkie.com:

http://files.tableaujunkie.com/facebooksearch/userfeedwebconnect.html

http://files.tableaujunkie.com/facebooksearch/pagefeedwebconnect.html

Pierwszy z nich pozwoli nam pobrać informacje o naszym osobistym wallu, drugi natomiast dostarczy danych o fanpage’u. Żeby jednak pobrać dane dotyczące fanpage’a, musimy być jego administratorem, bo Tableau w pierwszej kolejności poprosi nas o zalogowanie do konta użytkownika. W kolejnym kroku, będziemy mogli wybrać interesującą nas pozycję z listy zarządzanych spod danego konta stron.
Jakie dane udostępnia Facebook? W przypadku konta osobistego są to informacje skupione na wallu użytkownika. Ilość i rodzaj postów, ilość polubień, komentarzy i udostępnień, informacje o użytkownikach którzy zareagowali na nasze aktywności oraz o tych, którzy coś na naszym wallu opublikowali. Dodatkowo dowiemy się o rodzaju publikowanej treści i o tym, jak nasza aktywność rozkładała się w czasie.
Connector do fanpage’a to głównie statystyki strony – całkowita ilość polubień oraz ilość nowych polubień, i reakcje fanów na nasze posty. W przeciwieństwie do kont użytkowników nie zidentyfikujemy tu nikogo z imienia i nazwiska.

Twitter
Kolejnym naszym źródłem może być Twitter. Pochodzący również z tableaujunkie.com connector nie wymaga logowania do konta użytkownika, natomiast umożliwia pobieranie informacji o pojedynczych hashtagach lub wzmiankach. Choć istnieje pewne ograniczenie generowanych rekordów, to z zaimportowanych danych dowiemy się o ilości tweetów na dany temat, strefach czasowych użytkowników, ilości retweetów, czy ilości followersów tweetującej osoby.
Twitter WDC: http://files.tableaujunkie.com/twittersearch/twitterwebconnect.html

Spotify
Swoje dane udostępniają nie tylko portale społecznościowe, ale również takie serwisy jak Spotify. Połączenie z kontem użytkownika umożliwi nam dostęp do tabel takich jak: ‘Albums’, ‘Artists’, ‘Top Artists’, ‘Top Tracks’ i ‘Tracks’. Tabele oczywiście możemy ze sobą dowolnie łączyć a dane w nich zawarte umożliwią nam stworzenie spektakularnego dashboardu mówiącego o naszych muzycznych upodobaniach. Poza standardowymi danymi które znamy z aplikacji Spotify, na poziomie każdego utworu, będziemy mieli do dyspozycji takie informacje jak:

• Acousticness
• Danceability
• Energy
• Instrumentalness
• Liveness
• Loudness
• Song Duration
• Speechiness
• Tempo
• Valeance

Spotify WDC: http://spotify-wdc.azurewebsites.net/

Wybieramy opcję Socrata, i w następnym kroku będziemy musieli podać adres i symbol interesującej nas bazy danych.
Żeby uzyskać te informacje, wchodzimy na stronę www.opendatanetwork.com. Możemy tu znaleźć multum informacji na każdy temat, a przeszukiwanie zasobów ułatwi nam mapa kategorii na dole strony.

Po wyborze interesującego nas tematu, strona wyświetli listę baz danych które znajdują się w jej zasobach. Kiedy wejdziemy na stronę konkretnej bazy, URL w pasku adresu przeglądarki przybierze formę podobną do poniższego przykładu. Jego końcówka, będzie zawierała źródło i symbol, których będziemy potrzebowali w Tableau.

Wracamy do samego connectora i wklejamy namiary bazy kolejno do pola „Socrata site” i „Dataset ID”. Następnie zatwierdzamy, klikając „Get data”. Jeśli wszystko przebiegło poprawnie, Tableau zacznie przetwarzać zapytanie. Po zakończeniu, naszym oczom ukaże się znany już widok wyboru tabel.
Jeśli zaś chodzi o same bazy danych, to pod wcześniej wspomnianym adresem www.opendatanetwork.com znajdziemy obszerny zbiór będący w dyspozycji Sorcata. Nie będziemy dzisiaj robić przeglądu tych źródeł, natomiast za całą pewnością warto się z nimi zapoznać samodzielnie i przetestować działanie WDC.