W pierwszym kwartale bieżącego roku swoją premierę miała nowa wersja FME – jednego z najbardziej wszechstronnych zestawów narzędzi klasy ETL (Extract, Transform, Load) do obróbki danych przestrzennych. Oprócz tradycyjnych usprawnień transformatorów, ergonomii itd. producent oprogramowania, kanadyjska firma Safe Software, zaimplementowała wiele udogodnień zasugerowanych przez samych użytkowników FME.
Zalety przetwarzania w chmurze
Szeroko rozumiana „chmura” jest jedną z najważniejszych technologii, które upowszechniły się w ostatnich latach. Liczba oferowanych usług sieciowych oraz platform chmurowych stale rośnie, w miarę jak kolejne firmy stawiają na to rozwiązanie. Za trendami tymi podąża także FME – wersja 2016 uzyskała wsparcie dla AWS Aurora oraz SAP HANA (nie- przestrzennej). Dodane zostały także dwa nowe transformatory obsługujące wysyłanie i odbieranie strumieni Amazon Kinesis. Rozszerzone zostało również wsparcie dla ArcGIS Online.
Z kolei FME Server zyskał wsparcie dla nowych protokołów:
- SFTP Subscriber (do wysyłania danych na strony SFTP)
- FTP Watch Publisher (do monitorowania zmian na stronach FTP)
- FME Workspace Subscriber.
Łączenie danych z setek systemów
FME zawsze koncentrowało się na łączeniu dużych zbiorów danych, pochodzących z różnych systemów. W nowej wersji oprogramowania dodano obsługę dla kolejnych formatów, między innymi: Portal dla ArcGIS, GTFS, IndoorGML, Denodo, Autodesk ReCap, Adobe PRC i wielu innych. Ulepszono także wsparcie dla formatów obsługiwanych do tej pory (np. Esri Shapefile), a użytkownicy uzyskali większa kontrolę nad tym, jak i kiedy dane są zapisywane (np. FeatureWriter czy łatwiejsze rozbicie danych na osobne pliki).
Nowa funkcja FeatureWriter umożliwia zapis danych w dowolnym momencie przetwarzania. Dzięki temu możliwe jest kontynuowanie pracy z większa ilością transformatorów po zapisaniu danych.
FME zyskało również 43 nowe transformatory (13 transformatorów dodano do FME Desktop, w tym MapboxStyler oraz CoordinateReplacer). Dodatkowo, od ostatniej wersji, dodano transformatory do FME Store.
XML, SQL i wewnętrzne bazy danych
Formaty danych zaprojektowane do obsługi olbrzymich ilości informacji mogą być trudne w odbiorze. W FME 2016 wiele parametrów bazodanowych i XML prezentowanych jest w formie „drzewka”, tak aby ułatwić nawigację pomiędzy schematami i elementami.
Odświeżony został również interfejs SQL, który pomoże w tworzeniu zapytań i testowaniu ich przed uruchomieniem transformacji.
Tworzenie i testowanie na bieżąco zapytań SQL w transformatorach SQLCreator i SQLExecutor.
Automatyzacja
FME powstało w celu ułatwienia codziennej pracy poprzez automatyzację przetwarzania danych. W FME 2016 dodano dalsze udogodnienia usprawniające ten proces, takie jak:
- zarządzanie zadaniami związanymi z przetwarzaniem atrybutów przez pojedynczy transformer – AttributeManager. Jest to „super- transformer”, który zastępuje długie łańcuchy transformerów w złożonych przekształceniach
- zapisywanie baz danych i połączeń do usług sieciowych celem przyszłego wykorzystania – z pełnym wsparciem dla połączeń bazodanowych pomiędzy FME Desktop i FME Server
- prosta inspekcja danych (wystarczy „jedno kliknięcie”)
- przeskakiwanie pomiędzy złożonymi transformacjami za pomocą nawigatora zakładek
- możliwość aktualizacji transformerów do najnowszych wersji
- szybki dostęp do ostatnio edytowanych transformacji, ostatnio wykonywanych zadań i ulubionych przekształceń w przebudowanej stronie domowej FME Server
- łatwiejsze przeglądanie historii w FME Serveer
Kontrola jakości i walidacja danych
Walidacja geometrii, schematów i atrybutów dla zestawów danych jest ważną częścią wielu przetwarzań w FME. W najnowszej wersji oprogramowania położono duży nacisk na kontrolę jakości – zaktualizowano funkcję GeometryValidator i dodano nowe funkcjonalności weryfikacji atrybutów.
Funkcja AtributeValidator wykonuje walidację wszystkich atrybutów naraz. Zobrazowane powyżej przetwarzanie wykorzystuje również nową funkcję FeatureWriter.
W FME 2016 wszelkie problemy są oznaczane za pomocą flagi. W wielu transformerach niepoprawne dane zostają automatycznie skierowane do portu <Odrzucone>, a „fme_rejection_code” wskaże przyczynę odrzucenia.
Aktualnie w FME Server zadania czyszczenia plików mogą być konfigurowane poprzez webowy interfejs użytkownika. Pozwala to rozwiązywać problemy poprzez korygowanie zapełnionych dysków.
Ponadto dodano funkcję Workspace (.fmw) Reader do wewnętrznego analizowania transformacji. Może ona być użyta na przykład do stworzenia statystyk najczęściej wykorzystywanych reader-ów, write-rów i transformatorów używanych we wszystkich przetwarzaniach w ramach firmy.
Globema i FME
Globema jest wiodącym partnerem Safe Software w Europie Środkowo-Wschodniej. Oferujemy pełen wachlarz usług związanych z wdrożeniem i użytkowaniem FME. Udzielamy pomocy w zakresie wsparcia technicznego, transferu wiedzy i szkoleń, rozwoju oprogramowania i konsultacji wdrożeniowych. Posiadamy certyfikaty FME Certified Trainer oraz FME Certified Professional potwierdzające najwyższe umiejętności w zakresie użytkowania FME.
Dowiedz się więcej Szkolenia FMEWięcej o FME
