Automatyzacja i optymalizacja procesów kontroli danych przestrzennych za pomocą Platformy FME

Dowiedz się jak platforma FME wspomogła Visimind w procesie zbierania i przetwarzania dużych ilości danych o sieci i, w oparciu o nie, stworzeniu wysokiej jakości produktów dla Polskich Sieci Elektroenergetycznych.

O projekcie

Infrastruktura techniczna Polskich Sieci Elektroenergetycznych (PSE) składa się z tysięcy elementów i rozciąga się na setki kilometrów. Visimind miało za zadanie dostarczyć wysokiej jakości danych o sieci PSE i na ich podstawie stworzyć szereg wysokiej jakości produktów – w tym bazę geoprzestrzenną. Aby wywiązać się z założeń projektu, firma Visimind sięgnęła po wsparcie Globemy i FME, jednej z najpopularniejszych platform do pozyskiwania i przetwarzania danych geoprzestrzennych.

Spis treści:

logo visimind
Branża: GIS (fotogrametria i teledetekcja)
Kraj: Polska

Firma Visimind z siedzibą w Szwecji została założona w 1997 roku jako kontynuacja badań prowadzonych na Królewskim Uniwersytecie Technicznym w Sztokholmie. Prace naukowe koncentrowały się na technologii MMT (Mobile Mapping Technology), zautomatyzowanych metodach pomiarowych oraz systemie inwentaryzacji infrastruktury opartym na GIS i analizie numerycznej obrazów cyfrowych. Grupa dostarcza usługi i rozwiązania związane z fotogrametrią, teledetekcją i GIS, mające zastosowanie w takich branżach i obszarach jak: energetyka i gazownictwo, drogi i kolej, nauki o środowisku, obszary miejskie. Działając z biur w Szwecji, Polsce i Włoszech, współpracuje z firmami i organizacjami w całej Europie.

Wyzwania

Projekt realizowany dla Polskich Sieci Elektroenergetycznych

W 2020 roku Visimind zrealizowało projekt dla PSE – Polskich Sieci Elektroenergetycznych – strategicznej spółki Skarbu Państwa i Operatora Systemu Przesyłowego w Polsce. PSE zleciły wykonanie bardzo szczegółowej inwentaryzacji obiektów w korytarzu swoich linii energetycznych i stacji elektroenergetycznych wraz z dokładnym odwzorowaniem rozmieszczenia elementów sieci przesyłowej, w szczególności: kabli, konstrukcji wspierających, obszarów przecięcia oraz elementów związanych ze stacjami.

W ramach współpracy pomiędzy firmą Visimind a PSE, wykonano naloty fotogrametryczne nad elementami sieci przesyłowych. Łącznie opracowano dane dla tysięcy kilometrów linii oraz ponad stu stacji elektroenergetycznych, w wyniku których powstało 6 podstawowych produktów:

  • Chmura punktów z ponad 30 klasami
  • Numeryczny Model Terenu (NMT)
  • Numeryczny Model Pokrycia Terenu (NMPT)
  • Ortofotomapa RGB i CIR (eng. Color Infrared, z wykorzystaniem kamery NIR – Near Infrared, która może być użyta do bardziej szczegółowej analizy roślinności)
  • Zdjęcia lotnicze konstrukcji wspierających
  • Geobaza – najciekawszy i najtrudniejszy do stworzenia produkt, który zawiera spis wszystkich zdigitalizowanych obiektów widocznych na ortofotomapie – dróg, budynków, linii energetycznych, urządzeń elektrycznych itp.

Przy tak dużym projekcie obejmującym rozległe obszary, firma Visimind musiała sprostać kilku wyzwaniom:

Bardzo duża ilość danych, które należało opracować i dostarczyć klientowi – łącznie ponad 10 TB:
80000
zdjęć słupów
2300
ortofotomapy, NMT, NMPT
16 000 000
obiektów w geobazie
Unikalna struktura dostarczania danych
Zakres i konieczność zapewnienia wysokiej jakości produktów przestrzennych
Poprawność struktury geobazy oraz obiektów: geometrii, topologii, atrybutów (także zgodność nazw i kodów SKMS – wewnętrznego unikalnego identyfikatora obiektów PSE)

Rozwiązanie

Dlaczego FME?

Ze względu na wielkość i wagę projektu realizowanego dla PSE, konieczność zapewnienia wysokiej jakości produktów, kompletnych danych, a także chęć zweryfikowania danych za pośrednictwem zewnętrznego narzędzia, firma Visimind poszukiwała skutecznego oprogramowania, które pomogłoby im spełnić wszystkie te wymagania postawione przez klienta.

Zależało im też na tym, aby narzędzia można było użyć w przyszłości, do realizacji i walidacji innych projektów. Visimind rozpatrywało kilka zewnętrznych rozwiązań, które pomogłyby zrealizować powyższe cele, ale FME było jedynym, które spełniało liczne wymagania i zapewniało m.in.:

  • kompatybilność z wieloma formatami danych,
  • przetwarzanie danych przestrzennych i nieprzestrzennych,
  • walidację danych rastrowych, wektorowych i tabelarycznych,
  • generowanie raportów w różnych formatach,
  • skalowalność i automatyzację,
  • przetwarzanie danych w trybie wsadowym,
  • łatwość obsługi przez osoby nieposiadające przygotowania programistycznego,
  • ciągłe aktualizacje i dodawanie ulepszeń, aby sprostać zmieniającym się potrzebom klientów.

Visimind od dłuższego czasu interesowało się oprogramowaniem FME i słyszało wiele pozytywnych opinii na temat tej platformy. Ostatecznym inicjatorem wdrożenia właśnie tego programu był klient PSE, który wykorzystuje skrypty FME do walidacji otrzymywanych danych.

fme_platform

Dlaczego Globema?

Visimind zdecydowało skontaktować się z jedynym oficjalnym dystrybutorem Platformy FME w Polsce – firmą Globema. Współpraca przebiegała bardzo sprawnie i profesjonalnie. Specjaliści z Globemy pomogli dopasować wersję oprogramowania, która najlepiej odpowiadałaby aktualnym potrzebom Visimind. Ostatecznie wybrano FME Desktop ESRI Edition.

Oprócz zakupu samej licencji FME, Visimind zdecydowało się na skorzystanie z oferty szkoleniowej oraz wykupienie dodatkowych konsultacji technicznych ze specjalistą FME z Globemy. Przeszkolenie pracowników Visimind przez trenerów z Globemy pozwoliło na szybkie wdrożenie i przygotowanie do pracy z wykorzystaniem FME. Była to również bardzo dobra podstawa do dalszego, samodzielnego poznawania narzędzia FME w codziennej pracy oraz do budowania skryptów, które mogłyby być wykorzystane w kolejnych projektach.

Dodatkowe konsultacje techniczne ze specjalistą FME z firmy Globema ułatwiły specjalistom z Visimind zrozumienie skryptów używanych przez firmę PSE – klienta Visimind, ich implementację oraz nakreślenie sposobu w jaki mogą być wykorzystane do pracy w Visimind.

Korzyści

W projekcie realizowanym dla PSE, firma Visimind wykorzystała oprogramowanie FME głównie do walidacji i kontroli dostarczonych danych i produktów. Przy pomocy skryptów FME sprawdzono:

  • gęstość chmur punktów w zdefiniowanych obszarach,
  • kompletność ortofotomap RGB / CIR, Numerycznego Modelu Terenu, Numerycznego Modelu Pokrycia Terenu,
  • kompletność, jakość i nazewnictwo zdjęć słupów,
  • zawartość geobaz danych: zgodność atrybutów obiektów w Systemie Zarządzania Wiedzą Serwisową (Service Knowledge Management System – SKMS) na podstawie dokumentacji klienta, poprawność topologii obiektów, poprawność segmentacji obiektów,
  • ilość przekazywanych danych.
Skrypt do walidacji gęstości chmury punktów (źródło: Visimind Ltd Sp. z o.o.)
Skrypt do walidacji pokrycia rastrowego (źródło: Visimind Ltd Sp. z o.o.)

Przyspieszone procesy

Aby zapewnić umówioną pomiędzy firmą Visimind a ich klientem strukturę dostarczania danych i wyników końcowych, wszystkie skrypty zostały przygotowane do pracy w trybie wsadowym i równoległym. Dodatkowo wykorzystano połączenie z wewnętrzną bazą danych PostgreSQL.

Pozwoliło to na pełną automatyzację i znaczne skrócenie czasu realizowanych procesów, które dotychczas były wykonywane ręcznie lub półautomatycznie

Obecnie procesy wykonywane są dużo szybciej:

25
godzin

tyle trwa obecnie kontrola kompletności ortofotomapy, NMT oraz NMPT – wcześniej zajmowało to 800 godzin

5
godzin

proces sprawdzania kompletności zdjęć słupów skrócono ze 150 do 5 godzin

15
minut

tyle czasu zajmuje teraz kontrola danych ilościowych – przed wdrożeniem FME trwało to 15 godzin

Kolejną istotną zaletą wykorzystania FME była bardzo duża dokładność walidacji – niemożliwa do osiągnięcia, gdy kontrola danych odbywa się ręcznie lub półautomatycznie.

Ponadto oprogramowanie FME zostało wykorzystane w projekcie zrealizowanym dla PSE do przetwarzania i przygotowywania produktów działających na bazie danych przestrzennych. Visimind wykorzystało FME m.in. do:

  • konwersji danych końcowych
  • harmonizacji danych klientów
  • wyodrębniania klas z chmury punktów
  • ekstrakcji danych z bazy danych PostgreSQL
  • przygotowania plików Shapefile
  • importu danych do geobazy

Plany na przyszłość

Firma Visimind już od dwóch lat wykorzystuje FME Desktop do przetwarzania danych przestrzennych oraz do kontroli jakości i kompletności dostarczanych produktów.

Mając świadomość ogromnego potencjału wykorzystania i oszczędności wynikających z wdrożenia oprogramowania FME, firma Visimind zdecydowała się na szersze wykorzystanie FME Desktop w realizacji wewnętrznych procesów przetwarzania i walidacji danych przestrzennych. Firma zakupiła kolejną licencję FME Desktop, aby móc wykorzystać oprogramowanie w większej liczbie realizowanych projektów.

Dodatkowo, za sprawą ogólnodostępnych webinarów oraz po konsultacjach z Globemą, Visimind zdecydowało się zakupić i uruchomić oprogramowanie FME Server.

Pracownicy Visimind wzięli również udział w szkoleniu z obsługi FME Server, prowadzonym przez Globemę i są w trakcie tworzenia i wdrażania szeregu zautomatyzowanych usług, skryptów i procesów, które mają na celu jeszcze większą optymalizację i oszczędność czasu pracy.

Dzięki rozwojowi technologicznemu, szczególnie w takich dziedzinach nauki jak geodezja, Globalne Systemy Nawigacji Satelitarnej (GNSS), szeroko pojęta elektronika, czy bezzałogowe statki powietrzne, pozyskiwanie danych przestrzennych stało się łatwiejsze i bardziej powszechne. Prawdziwą sztuką nie jest już pozyskiwanie danych, ale ich odpowiednie przygotowanie, filtrowanie i sprawne przetwarzanie w produkty i usługi odpowiadające aktualnym potrzebom zmieniającego się rynku.
FME ze względu na swoją elastyczność, łatwość konfiguracji, ciągłą aktualizację i rozwój jest idealnym narzędziem wspierającym i przyspieszającym codzienną pracę w zakresie przetwarzania i walidacji danych przestrzennych i nieprzestrzennych.
Marek Szczepkowski, Project Manager
Visimind

Umów się z nami na spotkanie, by osiągnąć podobne rezultaty w swojej firmie!

Poznaj inne historie klientów

Grupa MTP

Oszczędność czasu i pieniędzy dzięki integracji wielu systemów i źródeł danych

Zobacz, jak Grupa MTP rozwiązała problemy w zakresie integracji systemów opartych na różnych technologiach bazodanowych dzięki FME.

Visoro Group

Automatyzacja manualnych procesów i przesyłania danych za pomocą jednego skryptu

Dowiedz się, jak firma Visoro Group skróciła czas przetwarzania oraz ładowania danych adresowych aż o 750 razy.