Automatyczna walidacja i migracja dokumentacji projektowej do systemu paszportyzacji

Praca z danymi o sieci telekomunikacyjnej przy użyciu Platformy FME

O projekcie

Zobacz, jak rozwiązanie Globemy wykorzystujące FME – platformę do przetwarzania i integracji danych – pomogło firmie telekomunikacyjnej Nexera zautomatyzować proces walidacji danych pochodzących z dokumentacji projektowej i naprawy błędów oraz przyspieszyło migrację danych o sieci do systemu paszportyzacji.

Spis treści:

Branża: Telekomunikacja
Kraj: Polska

Działająca od 2017 roku Nexera to pierwszy w Polsce wyłącznie hurtowy operator telekomunikacyjny o dużej skali, rozwijający światłowodową sieć dostępową (NGA) o wysokiej przepustowości. Na bazie Programu Operacyjnego Polska Cyfrowa Nexera buduje sieć światłowodową w obszarze centralnej i północno-wschodniej Polski. 

Wyzwanie

Nexera jako nowoczesny operator wdrożyła system paszportyzacji sieci (Cross), aby cyfrowo zarządzać swoimi procesami biznesowymi. Krytycznym elementem wdrożenia systemu paszportyzacji było wprowadzenie danych o budowanej sieci na podstawie dokumentacji projektowej w formacie CAD.

Na początkowym etapie okazało się, że dane w dokumentacji projektowej były obarczone wieloma błędami (np. niedociągniętymi liniami do punktów, brakiem danych w atrybutach), co bardzo utrudniało proces migracji – każdy napotkany błąd oznaczał zatrzymanie całego procesu. Aby ponownie uruchomić ładowanie danych do systemu, konieczne było zidentyfikowanie. odnalezienie i naprawa nieprawidłowości. Wielokrotne powtarzanie tych czynności powodowało, że migracja okazała się zbyt praco- i czasochłonna.

dane przestrzenne i nieprzestrzenne

Nexera potrzebowała rozwiązania, które pomogłoby w weryfikacji danych i ich naprawie, aby usprawnić i przyspieszyć proces migracji dokumentacji projektowej do swojego systemu paszportyzacji.

Skala projektu

15 500 km2

Powierzchnia opracowywanego obszaru

13 000 km

Łączna długość sieci światłowodowej

92 000

Liczba złączy światłowodowych

168 000

Liczba pozostałych obiektów (studnie, słupy)

6 200

Długość liniowej infrastruktury technicznej

Rozwiązanie

Nexera zwróciła się o wsparcie do Globemy, jedynego w Europie Środkowej i Wschodniej dystrybutora platformy FME. Oprogramowanie służy do przetwarzania, integracji i migracji danych. Oferuje najlepsze wsparcie dla danych geoprzestrzennych.

Zadaniem Globemy była pomoc w opracowaniu danych o prawie 13 000 km sieci światłowodowej i ponad 6 000 km liniowej infrastruktury technicznej, które miały być następnie załadowane do systemu paszportyzacji.

We współpracy z wykonawcą dokumentacji, Globema opracowała ustandaryzowany format plików wsadowych, czyli danych po przetworzeniu, gotowych do załadowania do systemu paszportyzacji. Globema stworzyła także mechanizm automatycznej weryfikacji danych i naprawy błędów w dokumentacji.

Po przejściu procesu walidacji pliki były ładowane do systemu paszportyzacji za pomocą skryptów FME.

Wykorzystanie FME umożliwiło wykrycie błędów i ich naprawę, zanim dane zostaną załadowane do systemu. Dzięki temu zmniejszyła się liczba iteracji ładowania migrowanych danych a cały proces został znacznie przyspieszony.

dane przestrzenne i nieprzestrzenne grafika 2

Analiza plików źródłowych – przygotowanie do walidacji

Przed rozpoczęciem właściwego procesu walidacji musieliśmy szczegółowo przeanalizować dane źródłowe:

  • pliki DWG – zawierające informacje o architekturze technicznej sieci (np. słupy, studnie, kable, mufy optyczne, wykopy) i lokalizację punktów adresowych.
  • pliki XLSX – stanowiące dopełnienie i uszczegółowienie danych o sieci, zawierają atrybuty punktów adresowych.

Następnie dane połączyliśmy w jeden zestaw plików wsadowych (plików przetworzonych tak, aby mogły być załadowane do systemu paszportyzacji Nexery). W kolejnym kroku usunęliśmy rozbieżności, które pojawiły się po zintegrowaniu danych. Wyczyszczone dane przekształciliśmy do jednego zdefiniowanego formatu CSV – w którym mogły być załadowane do systemu paszportyzacji.

Skrypt FME umożliwiający analizę plików wsadowych

Walidacja i migracja danych z pomocą FME

Na etapie walidacji sprawdzane są między innymi relacje przestrzenne pomiędzy obiektami, czyli wszelkiego rodzaju relacje pomiędzy obiektami liniowymi i obiektami punktowymi wchodzącymi w skład sieci (np. kablami, studniami, słupami, mufami itp.).

Analizie poddawane są również wartości atrybutów i sprawdzana jest ich zgodność z danymi słownikowymi. Weryfikowana jest także spójność sieci, m.in. poprzez znalezienie „ścieżki” pomiędzy dwoma dowolnie wybranymi węzłami.

W trakcie walidacji z wykorzystaniem Platformy FME zostały naprawione błędy oddzielnie dla geometrii i dla atrybutów:

  • Błędy geometrii –niedociągnięcie linii do punktów, złe położenie obiektów, błędy topologiczne
  • Błędy atrybutów – braki w atrybutach i ich wartościach oraz niedopasowanie do wartości słownikowych – sprawdzane nie tylko jeden do jednego, ale też przez analizę podobieństwa tekstu.

Błędy są wykrywane i naprawiane przez system FME automatycznie. O błędach, które wymagają ręcznej naprawy, FME generuje raport. Dzięki temu można podjąć odpowiednie kroki jeszcze przed załadowaniem danych do systemu paszportyzacji. Tym samym zmniejsza się liczba iteracji migracji danych.

Fragment skryptu FME do walidacji danych

Poszczególne kroki procesu walidacji to:

  • Pobieranie danych z wejściowego repozytorium
  • Identyfikacja błędów w oryginalnej dokumentacji
  • Przetwarzanie wczytanych danych i automatyczna naprawa błędów
  • Zapis plików raportu oraz generowanie statystyki całego procesu
Schemat Nexera walidacja danych

Proces walidacji danych. Schemat pokazuje, które etapy procesu zostały zautomatyzowane z wykorzystaniem Platformy FME

Wykorzystanie FME w procesie pozwoliło na zautomatyzowanie niektórych procesów:

  • Pobieranie danych z wejściowego repozytorium (1)
  • Walidacja danych (2)
  • Naprawa błędów, przygotowanie raportów o danych poprawionych oraz o pozostałych błędach, które wymagają dalszej, ręcznej naprawy (3)
  • Przesłanie danych oraz raportów do repozytorium raportowego (4)
  • Pobieranie z serwera FTP, przy pomocy FME informacji o naprawionych błędach przez FME (7)
  • Walidacja i naprawa niektórych danych przy pomocy FME (8)

Niektóre z etapów całego procesu wymagają ingerencji człowieka i nadal są realizowane ręcznie, np.:

  • Klasyfikacja błędów do naprawy (po stronie Globemy) (5)
  • Naprawa błędów (po stronie wykonawcy sieci) (6)
  • Przesłanie na serwer FTP raportu o naprawionych błędach (po stronie wykonawcy sieci) (7)

Proces walidacji danych, pobierania raportu o błędach i naprawy błędów jest wykonywany niezależnie dla każdego fragmentu sieci i jest powtarzany do momentu, aż wszystkie błędy w danym zestawie zostaną naprawione. Jeśli dokumentacja nie zawiera już żadnych błędów, otrzymujemy pliki gotowe do migracji do systemu paszportyzacji (punkt 8. na diagramie).

Raport walidacji danych

W toku procesu walidacji danych, dla każdego typu obiektu w formacie DWG powstaje raport określający rodzaj błędu oraz wartość oryginalną i poprawioną. Identyfikatory obiektów umożliwiają odnalezienie obiektów w danych źródłowych (tzn. danych sprzed weryfikacji i naprawy błędów). Użytkownik, który otrzymuje raport o błędach, wie, które dane należy poprawić oraz czy wymaga to sprawdzenia informacji w terenie lub wprowadzenia zmian w pliku.

Proces powtarzany jest do momentu uzyskania prawidłowej dokumentacji, wolnej od jakichkolwiek błędów​. Wówczas może zostać ona wprowadzona do systemu paszportyzacji. Proces działa praktycznie bez ingerencji użytkownika.

Raport walidacji danych w FME

Jak przebiega proces weryfikacji dokumentacji projektowej?

Do stworzenia procesu automatycznej weryfikacji danych i naprawy błędów wykorzystaliśmy: FME Server, system do zarządzania zadaniami Jira oraz katalogi danych na serwerze FTP:

schemat FME JIRA

1

Serwer FTP

To tutaj w odpowiednich katalogach umieszczane są dane źródłowe do dalszego przetworzenia. Na serwer FTP bezpośrednio z FME Server przesyłane są zweryfikowane, poprawione dane oraz raporty o błędach wymagających naprawy.

2

FME Server

Program w sposób automatyczny skanuje dane umieszczone na serwerze FTP w poszukiwaniu błędów i naprawia większość z nich. Część błędów nie może zostać naprawiona automatycznie, ponieważ konieczna może być np. weryfikacja stanu faktycznego sieci w terenie lub ręczna modyfikacja w pliku.

3

Jira

Wykorzystywany przez klienta system do zarządzania zadaniami automatycznie wykrywa zmiany na serwerze FTP (załadowane nowe pliki wsadowe dokumentacji o sieci, raporty o błędach do naprawy) i tworzy zadania do zrealizowania.

Po odpowiedniej konfiguracji stworzone narzędzie może być dalej udostępnianie innym użytkownikom, w tym wykonawcom sieci. Znacznie usprawnia to pracę, ponieważ Nexera nie musi pośredniczyć w ładowaniu plików źródłowych do systemu walidacji.

Sprawdź nasze inne rozwiązania do zarządzania danymi o sieci

Globema realizuje projekty pozyskania i utrzymania danych o sieci dla operatorów telekomunikacyjnych i sieciowych w oparciu o zestaw narzędzi i usług pod nazwą GlobIQ.

Rozwiązania Globemy nie tylko umożliwiają migrację ze źródeł cyfrowych, ale również pozyskanie danych z dokumentacji papierowej metodami AI/ML oraz zbieranie danych w terenie za pomocą specjalizowanych aplikacji mobilnych.

Poznaj platformę GlobIQ
Cyfrowy model sieci GlobIQ

Korzyści

Dzięki rozwiązaniu Globemy, Nexera znacznie przyspieszyła i usprawniła proces migracji danych o sieci telekomunikacyjnej do systemu paszportyzacji. Wykorzystanie FME pozwoliło na automatyczną kontrolę danych i naprawę błędów jeszcze przed rozpoczęciem migracji– zmniejszyła się tym samym liczba iteracji procesu ładowania danych, a jakość danych wsadowych wzrosła.

W konsekwencji:

Dane w systemie paszportyzacji są dostępne znacznie szybciej niż dotychczas.

Dzięki temu Nexera może sprawniej dostarczać swoje usługi klientom.

Spadły koszty wprowadzania danych

do systemu paszportyzacji

Zmniejszyły się koszty weryfikacji poprawności danych wejściowych

dostarczanych przez podwykonawców

Współpraca zespołu migrującego dane i projektantów sieci

stała się znacznie sprawniejsza
Dzięki zastosowaniu mechanizmu zbudowanego przez Globemę z wykorzystaniem FME, Nexera mogła szybciej przenieść dane o sieci do systemu paszportyzacji i szybciej zacząć dostarczać Internet wysokiej jakości do nowych odbiorców, a tym samym, między innymi, wywiązać się z założeń Programu Operacyjnego Polska Cyfrowa.
Jacek Wiśniewski, Chief Executive Officer, Nexera

Chcesz osiągnąć podobne rezultaty?

Przekonaj się, czy FME sprawdzi się w Twojej firmie. Wypełnij formularz, a nasz konsultant skontaktuje się z Tobą w celu omówienia Twoich potrzeb i umówienia się na pokaz systemu.

Możesz się z nami również skontaktować mailowo lub telefonicznie:

fme@globema.pl
+ 48 22 848 73 13

kontakt FME

    Imię i nazwisko (wymagane)

    Adres email (wymagane)

    Treść wiadomości

    Administratorem Państwa danych osobowych jest spółka Globema sp. z o.o. z siedzibą w Warszawie. Przysługuje Państwu prawo dostępu do danych osobowych, prawo ich sprostowania, prawo do ograniczenia ich przetwarzania, prawo do usunięcia danych, a także prawo do wniesienia sprzeciwu wobec przetwarzania Państwa danych osobowych. Szczegółowe zasady przetwarzania Państwa danych osobowych są zawarte w Polityce Prywatności.





    Poznaj inne historie klientów

    Grupa MTP

    Oszczędność czasu i pieniędzy dzięki integracji wielu systemów i źródeł danych

    Zobacz, jak Grupa MTP rozwiązała problemy w zakresie integracji systemów opartych na różnych technologiach bazodanowych dzięki FME.

    Visoro Group

    Automatyzacja manualnych procesów i przesyłania danych za pomocą jednego skryptu

    Dowiedz się, jak firma Visoro Group skróciła czas przetwarzania oraz ładowania danych adresowych aż o 750 razy.