Łączenie z usługą Google Storage
GoogleCloudStorageConnector to funkcja FME, która pozwala na dostęp do usługi Google Cloud Storage. Sprawia, że możesz łatwo przesyłać, pobierać oraz usuwać pliki i foldery. Daje też informacje o nich.
Google Storage umożliwia dostęp do danych poprzez API
Dzięki tej funkcji możesz:
- zarządzać bazami danych poprzez ich przesyłanie, pobieranie oraz usuwanie plików i folderów;
- odczytywać pobrane dane przy pomocy FeatureReader oraz wgrywać dane zapisane przy wykorzystaniu FeatureWriter;
- pobierać nazwy oraz ścieżki plików i folderów, a także linki i inne informacje z Google Cloud Storage, aby skorzystać z nich na dowolnym etapie budowania skryptu FME.
Łączenie z usługą Google Database
Wśród usług bazodanowych zarządzanych przez Google znajdziesz m.in. MySQL, PostgreSQL oraz SQL Server.
Funkcja umożliwia odczytywanie i zapisywanie danych we wszystkich wspomnianych wyżej usługach bazodanowych, wspieranych przez Google. Dzięki temu możesz również zapisywać i odczytywać dane przestrzenne, ich geometrie i atrybuty.
Funkcja SQLExecutor tworzy zapytania SQL w trakcie wykonywanych transformacji. Jeśli wykorzystujesz te technologie bazodanowe, możesz skonstruować zapytanie SQL, wykorzystując transformator SQLExecutor zamiast transformatora czytającego/piszącego – FeatureReader/FeatureWriter. SQLExecutor może też wydobywać dokumentację z bazy danych, wykonywać złączenia bazy, a także operacje w tabeli bazy danych SQL (create, drop, modify, truncate). Dodatkowo funkcja pozwala na tworzenie lub usuwanie indeksów lub ograniczeń przed lub po załadowaniu danych.
Google Cloud Spanner
Google Cloud Spanner to skalowalna, relacyjna usługa, która pozwala na skalowanie poziome oraz globalną replikację. Usługa przyda się, gdy potrzebne będzie skalowanie w poziomie i wysoki poziom dostępności, co nie jest możliwe w przypadku tradycyjnej, relacyjnej bazy danych.
FME pozwala na odczytywanie i zapisywanie dużych ilości danych w Cloud Spanner przy użyciu funkcji czytającej Google Cloud Spanner. Cloud Spanner jest także kompatybilny z SQLExecutor, co umożliwia tworzenie oraz wykonywanie zapytań SQL w trakcie realizowanych transformacji.
Łączenie z usługą Google Data Analytics
Cloud Pub/Sub
Cloud Pub/Sub to usługa wykorzystywana do przesyłania komunikatów w czasie rzeczywistym. Pozwala ona m.in. na wysyłanie i odbieranie wiadomości pomiędzy różnymi aplikacjami.
Funkcja FME – GoogleCloudPubSubConnector pozwala połączyć się z usługą Google Cloud Pub/Sub, aby tworzyć tematy i subskrypcje (topics and subscriptions), a także wysyłać i otrzymywać wiadomości. Dzięki niej możesz m.in.:
- przetwarzać strumieniowe dane wysyłane do Google Pub/Sub
- przetwarzać zapis zdarzeń z innych usług lub aplikacji Google Cloud
- przenosić dane z Google Pub/Sub do platform analitycznych Big Data
- integrować Google Pub/Sub bezpośrednio z Google Cloud Storage, dzięki czemu funkcja ta może być używana do wychwytywania nowych danych pojawiających się w Google Cloud Storage.
BigQuery
BigQuery to usługa magazynowania danych bez konieczności umieszczania ich na serwerze. Pozwala na analizowanie petabajtów danych. Istnieją dwa sposoby (link) na interakcję z Google BigQuery w ramach FME.
Funkcja FME, GoogleBigQueryConnector jest zwykle używana do ładowania danych CSV do nowych lub istniejących tabeli BigQuery. Używa się jej także do obsługi tabeli Big Query lub opcjonalnego wgrywania wyników.
Inna funkcja FME, GoogleBigQueryWriter, pozwala na wpisywanie dużych ilości danych do tabeli BigQuery. Obsługuje także dane przestrzenne – opcja danych geograficznych przechowuje dane oparte na systemie współrzędnych sferycznych. FME jest kompatybilne ze wszystkimi typami danych BigQuery, w tym danymi geograficznymi.
Łączenie z Google Artificial Intelligence
Technologia Google do wprowadzania i rozpoznawania obrazów pozwala szybko przypisać pliki graficzne do milionów uprzednio zdefiniowanych kategorii.
Funkcja FME, GoogleVisionConnector pozwala na interakcję z usługą Vision AI: wykrywanie i klasyfikowanie obiektów na zdjęciach, wykrywanie twarzy oraz odczytywanie drukowanego i pisanego ręcznie tekstu. Model przetwarzania języka naturalnego, stworzony przez Google, pozwala na analizowanie tekstu pod kątem typu języka oraz emocjonalnego wydźwięku poszczególnych zwrotów.
Funkcja GoogleLanguageConnector umożliwia interakcję z Natural Language API. Może być ona wykorzystywana do zrozumienia opinii lub konotacji wyrażonej w tekście, a także do rozpoznawania języka tekstu.
Łączenie z Google Internet of Things
Google Cloud IoT Core pozwala na bezpieczne łączenie, zarządzanie i przetwarzanie danych z milionów urządzeń IoT. Do komunikacji z Cloud IoT Core można użyć zarówno protokołu MQTT, jak i HTTP.
Funkcja FME, MQTTConnector, służy do odczytywania i zapisywania danych w Cloud IoT Core. Może być używana do łączenia się z protokołami MQTT w celu wysyłania i odbierania wiadomości.
Wykorzystaj FME w pracy z Google Cloud Platform Marketplace
Podczas pracy z dużymi ilościami danych istotne jest, aby FME pracowało w maksymalnej integracji z nimi, np. na tym samym serwerze, na którym dane są przechowywane. Pozwoli to na ich szybsze i bardziej wydajne pobieranie oraz przetwarzanie. FME Desktop jak i FME Server zostały udostępnione w Google Cloud Platform Marketplace, aby połączenie FME Platform z Google Cloud było jak najprostsze.
Użytkownicy FME mogą skorzystać z platformy udostępnionej na maszynie wirtualnej z systemem Windows. Dzięki kilku kliknięciom możliwe jest uruchomienie maszyny wirtualnej na własnym koncie Google Cloud, gdzie dostępny będzie zarówno FME Desktop, jak i FME Server. Aby skorzystać z istniejącej licencji FME Desktop i/lub FME Server, wystarczy wpisać swój kod w FME Desktop Licensing Assistant i/lub na stronie „Licensing & Engines” w FME Server. Jeśli nie masz licencji, a chcesz przetestować integrację FME z rozwiązaniami Google Cloud – skontaktuj się z nami!