FME i Google Cloud – połączenie idealne

By Maj 20, 2020 Aktualności
FME i Google Cloud
Globema jest wieloletnim partnerem Google oraz kanadyjskiej firmy Safe Software – twórców FME. Znamy dobrze oba rozwiązania, dlatego wiemy, ile możliwości daje integracja Google Cloud Platform Marketplace i FME 2020.0. Dowiedzcie się, jak je połączyć i dlaczego warto spróbować. W artykule znajdziecie też informacje o tym, które usługi Google Cloud są kompatybilne z najnowszą wersją FME. 

Łączenie z usługą Google Storage

GoogleCloudStorageConnector to funkcja FME, która pozwala na dostęp do usługi Google Cloud Storage. Sprawia, że możesz łatwo przesyłać, pobierać oraz usuwać pliki i foldery. Daje też informacje o nich.

FME i Google Cloud – połączenie idealne

Google Storage umożliwia dostęp do danych poprzez API

Dzięki tej funkcji możesz:

  • zarządzać bazami danych poprzez ich przesyłanie, pobieranie oraz usuwanie plików i folderów;
  • odczytywać pobrane dane przy pomocy FeatureReader oraz wgrywać dane zapisane przy wykorzystaniu FeatureWriter;
  • pobierać nazwy oraz ścieżki plików i folderów, a także linki i inne informacje z Google Cloud Storage, aby skorzystać z nich na dowolnym etapie budowania skryptu FME.

Łączenie z usługą Google Database

Wśród usług bazodanowych zarządzanych przez Google znajdziesz m.in. MySQL, PostgreSQL oraz SQL Server.

FME i Google Cloud – połączenie idealne

Funkcja umożliwia odczytywanie i zapisywanie danych we wszystkich wspomnianych wyżej usługach bazodanowych, wspieranych przez Google. Dzięki temu możesz również zapisywać i odczytywać dane przestrzenne, ich geometrie i atrybuty.

Funkcja SQLExecutor tworzy zapytania SQL w trakcie wykonywanych transformacji. Jeśli wykorzystujesz te technologie bazodanowe, możesz skonstruować zapytanie SQL, wykorzystując transformator SQLExecutor zamiast transformatora czytającego/piszącego – FeatureReader/FeatureWriter. SQLExecutor może też wydobywać dokumentację z bazy danych, wykonywać złączenia bazy, a także operacje w tabeli bazy danych SQL (create, drop, modify, truncate). Dodatkowo funkcja pozwala na tworzenie lub usuwanie indeksów lub ograniczeń przed lub po załadowaniu danych.

Google Cloud Spanner

Google Cloud Spanner to skalowalna, relacyjna usługa, która pozwala na skalowanie poziome oraz globalną replikację. Usługa przyda się, gdy potrzebne będzie skalowanie w poziomie i wysoki poziom dostępności, co nie jest możliwe w przypadku tradycyjnej, relacyjnej bazy danych.

FME i Google Cloud – połączenie idealne

FME pozwala na odczytywanie i zapisywanie dużych ilości danych w Cloud Spanner przy użyciu funkcji czytającej Google Cloud Spanner. Cloud Spanner jest także kompatybilny z SQLExecutor, co umożliwia tworzenie oraz wykonywanie zapytań SQL w trakcie realizowanych transformacji.

Łączenie z usługą Google Data Analytics

Cloud Pub/Sub

Cloud Pub/Sub to usługa wykorzystywana do przesyłania komunikatów w czasie rzeczywistym. Pozwala ona m.in. na wysyłanie i odbieranie wiadomości pomiędzy różnymi aplikacjami.

FME i Google Cloud – połączenie idealne

Funkcja FME – GoogleCloudPubSubConnector pozwala połączyć się z usługą Google Cloud Pub/Sub, aby tworzyć tematy i subskrypcje (topics and subscriptions), a także wysyłać i otrzymywać wiadomości. Dzięki niej możesz m.in.:

  • przetwarzać strumieniowe dane wysyłane do Google Pub/Sub
  • przetwarzać zapis zdarzeń z innych usług lub aplikacji Google Cloud
  • przenosić dane z Google Pub/Sub do platform analitycznych Big Data
  • integrować Google Pub/Sub bezpośrednio z Google Cloud Storage, dzięki czemu funkcja ta może być używana do wychwytywania nowych danych pojawiających się w Google Cloud Storage.

BigQuery

BigQuery to usługa magazynowania danych bez konieczności umieszczania ich na serwerze. Pozwala na analizowanie petabajtów danych. Istnieją dwa sposoby (link) na interakcję z Google BigQuery w ramach FME.

FME i Google Cloud – połączenie idealne

Funkcja FME, GoogleBigQueryConnector jest zwykle używana do ładowania danych CSV do nowych lub istniejących tabeli BigQuery. Używa się jej także do obsługi tabeli Big Query lub opcjonalnego wgrywania wyników.

Inna funkcja FME, GoogleBigQueryWriter, pozwala na wpisywanie dużych ilości danych do tabeli BigQuery. Obsługuje także dane przestrzenne – opcja danych geograficznych przechowuje dane oparte na systemie współrzędnych sferycznych. FME jest kompatybilne ze wszystkimi typami danych BigQuery, w tym danymi geograficznymi.

Łączenie z Google Artificial Intelligence

Technologia Google do wprowadzania i rozpoznawania obrazów pozwala szybko przypisać pliki graficzne do milionów uprzednio zdefiniowanych kategorii. 

FME i Google Cloud – połączenie idealne

Funkcja FME, GoogleVisionConnector pozwala na interakcję z usługą Vision AI: wykrywanie i klasyfikowanie obiektów na zdjęciach, wykrywanie twarzy oraz odczytywanie drukowanego i pisanego ręcznie tekstu. Model przetwarzania języka naturalnego, stworzony przez Google, pozwala na analizowanie tekstu pod kątem typu języka oraz emocjonalnego wydźwięku poszczególnych zwrotów.

Funkcja GoogleLanguageConnector umożliwia interakcję z Natural Language API. Może być ona wykorzystywana do zrozumienia opinii lub konotacji wyrażonej w tekście, a także do rozpoznawania języka tekstu.

FME i Google Cloud – połączenie idealne

Łączenie z Google Internet of Things

Google Cloud IoT Core pozwala na bezpieczne łączenie, zarządzanie i przetwarzanie danych z milionów urządzeń IoT. Do komunikacji z Cloud IoT Core można użyć zarówno protokołu MQTT, jak i HTTP.

FME i Google Cloud – połączenie idealne

Funkcja FME, MQTTConnector, służy do odczytywania i zapisywania danych w Cloud IoT Core. Może być używana do łączenia się z protokołami MQTT w celu wysyłania i odbierania wiadomości.

Wykorzystaj FME w pracy z Google Cloud Platform Marketplace

Podczas pracy z dużymi ilościami danych istotne jest, aby FME pracowało w maksymalnej integracji z nimi, np. na tym samym serwerze, na którym dane są przechowywane. Pozwoli to na ich szybsze i bardziej wydajne pobieranie oraz przetwarzanie. FME Desktop jak i FME Server zostały udostępnione w Google Cloud Platform Marketplace, aby połączenie FME Platform z Google Cloud było jak najprostsze.

Użytkownicy FME mogą skorzystać z platformy udostępnionej na maszynie wirtualnej z systemem Windows. Dzięki kilku kliknięciom możliwe jest uruchomienie maszyny wirtualnej na własnym koncie Google Cloud, gdzie dostępny będzie zarówno FME Desktop, jak i FME Server. Aby skorzystać z istniejącej licencji FME Desktop i/lub FME Server, wystarczy wpisać swój kod w FME Desktop Licensing Assistant i/lub na stronie „Licensing & Engines” w FME Server. Jeśli nie masz licencji, a chcesz przetestować integrację FME z rozwiązaniami Google Cloud – skontaktuj się z nami!