Praca z danymi o sieci telekomunikacyjnej przy użyciu Platformy FME
O projekcie
Zobacz, jak rozwiązanie Globemy wykorzystujące FME – platformę do przetwarzania i integracji danych – pomogło firmie telekomunikacyjnej Nexera zautomatyzować proces walidacji danych pochodzących z projektowej oraz proces naprawy błędów i przyspieszyło migrację danych o sieci do systemu paszportyzacji.
Spis treści:
Działająca od 2017 roku Nexera to pierwszy w Polsce wyłącznie hurtowy operator telekomunikacyjny o dużej skali, rozwijający światłowodową sieć dostępową (NGA) o wysokiej przepustowości. Na bazie Programu Operacyjnego Polska Cyfrowa Nexera buduje sieć światłowodową w obszarze centralnej i północno-wschodniej Polski.
Wyzwanie
Jako nowoczesny operator, Nexera wdrożyła system paszportyzacji sieci (Cross), aby zarządzać swoimi procesami biznesowymi cyfrowo – z pomocą nowoczesnego rozwiązania IT. Krytycznym elementem wdrożenia systemu paszportyzacji było wprowadzenie danych o budowanej sieci na podstawie dokumentacji projektowej w formacie CAD.
Na początkowym etapie okazało się, że dane w dokumentacji projektowej były obarczone wieloma błędami (np. niedociągniętymi liniami do punktów, brakiem danych w atrybutach), co bardzo utrudniało proces migracji – każdy napotkany błąd oznaczał zatrzymanie całego procesu. Aby ponownie uruchomić ładowanie danych do systemu, konieczne było zidentyfikowanie. odnalezienie i naprawa nieprawidłowości. Wielokrotne powtarzanie tych czynności powodowało, że migracja danych okazała się zbyt praco- i czasochłonna.
Nexera potrzebowała rozwiązania, które pomogłoby w weryfikacji danych i ich naprawie, aby usprawnić i przyspieszyć proces migracji dokumentacji projektowej do swojego systemu paszportyzacji.
Skala projektu
15 500 km2
Powierzchnia opracowywanego obszaru
13 000 km
Łączna długość sieci światłowodowej
92 000
Liczba złączy światłowodowych
168 000
Liczba pozostałych obiektów (studnie, słupy)
6 200
Długość liniowej infrastruktury technicznej
Rozwiązanie
Nexera zwróciła się o wsparcie do Globemy, jedynego w Europie Środkowej i Wschodniej dystrybutora platformy FME. Oprogramowanie służy do przetwarzania, integracji i migracji danych. Oferuje najlepsze wsparcie dla danych geoprzestrzennych.
Zadaniem Globemy była pomoc w opracowaniu danych o prawie 13 000 km sieci światłowodowej i ponad 6 000 km liniowej infrastruktury technicznej, które miały być następnie załadowane do systemu paszportyzacji.
We współpracy z wykonawcą dokumentacji, Globema opracowała ustandaryzowany format plików wsadowych, czyli danych po przetworzeniu, gotowych do załadowania do systemu paszportyzacji. Firma stworzyła także mechanizm automatycznej weryfikacji danych i naprawy błędów w dokumentacji.
Po przejściu procesu walidacji pliki były ładowane do systemu paszportyzacji za pomocą skryptów FME.
Wykorzystanie Platformy FME umożliwiło wykrycie błędów i ich naprawę, zanim dane zostaną załadowane do systemu. Dzięki temu zmniejszyła się liczba iteracji ładowania migrowanych danych a cały proces został znacznie przyspieszony.
Analiza plików źródłowych – przygotowanie do walidacji
Przed rozpoczęciem właściwego procesu walidacji musieliśmy szczegółowo przeanalizować dane źródłowe:
- pliki DWG – zawierające informacje o architekturze technicznej sieci (np. słupy, studnie, kable, mufy optyczne, wykopy) i lokalizację punktów adresowych.
- pliki XLSX – stanowiące dopełnienie i uszczegółowienie danych o sieci, zawierają atrybuty punktów adresowych.
Następnie dane połączyliśmy w jeden zestaw plików wsadowych (plików przetworzonych tak, aby mogły być załadowane do systemu paszportyzacji Nexery). W kolejnym kroku usunęliśmy rozbieżności, które pojawiły się po zintegrowaniu danych. Wyczyszczone dane przekształciliśmy do jednego zdefiniowanego formatu CSV – w którym mogły być załadowane do systemu paszportyzacji.
Skrypt FME umożliwiający analizę plików wsadowych
Walidacja i migracja danych z pomocą FME
Na etapie walidacji sprawdzane są między innymi relacje przestrzenne pomiędzy obiektami, czyli wszelkiego rodzaju relacje pomiędzy obiektami liniowymi i obiektami punktowymi wchodzącymi w skład sieci (np. kablami, studniami, słupami, mufami itp.).
Analizie poddawane są również wartości atrybutów i sprawdzana jest ich zgodność z danymi słownikowymi. Weryfikowana jest także spójność sieci, m.in. poprzez znalezienie „ścieżki” pomiędzy dwoma dowolnie wybranymi węzłami.
W trakcie walidacji z wykorzystaniem Platformy FME zostały naprawione błędy oddzielnie dla geometrii i dla atrybutów:
- Błędy geometrii –niedociągnięcie linii do punktów, złe położenie obiektów, błędy topologiczne
- Błędy atrybutów – braki w atrybutach i ich wartościach oraz niedopasowanie do wartości słownikowych – sprawdzane nie tylko jeden do jednego, ale też przez analizę podobieństwa tekstu.
Błędy są wykrywane i naprawiane przez system FME automatycznie. O błędach, które wymagają ręcznej naprawy, FME generuje raport. Dzięki temu można podjąć odpowiednie kroki jeszcze przed załadowaniem danych do systemu paszportyzacji. Tym samym zmniejsza się liczba iteracji migracji danych.
Fragment skryptu FME do walidacji danych
Poszczególne kroki procesu walidacji to:
- Pobieranie danych z wejściowego repozytorium
- Identyfikacja błędów w oryginalnej dokumentacji
- Przetwarzanie wczytanych danych i automatyczna naprawa błędów
- Zapis plików raportu oraz generowanie statystyki całego procesu
Proces walidacji danych. Schemat pokazuje, które etapy procesu zostały zautomatyzowane z wykorzystaniem Platformy FME
Wykorzystanie FME w procesie pozwoliło na zautomatyzowanie niektórych procesów:
- Pobieranie danych z wejściowego repozytorium (1)
- Walidacja danych (2)
- Naprawa błędów, przygotowanie raportów o danych poprawionych oraz o pozostałych błędach, które wymagają dalszej, ręcznej naprawy (3)
- Przesłanie danych oraz raportów do repozytorium raportowego (4)
- Pobieranie z serwera FTP, przy pomocy FME informacji o naprawionych przez Platformę FME błędach (7)
- Walidacja i naprawa niektórych danych przy pomocy FME (8)
Niektóre z etapów całego procesu wymagają ingerencji człowieka i nadal są realizowane ręcznie, np.:
- Klasyfikacja błędów do naprawy (po stronie Globemy) (5)
- Naprawa błędów (po stronie wykonawcy sieci) (6)
- Przesłanie na serwer FTP raportu o naprawionych błędach (po stronie wykonawcy sieci) (7)
Proces walidacji danych, pobierania raportu o błędach i naprawy błędów jest wykonywany niezależnie dla każdego fragmentu sieci i jest powtarzany do momentu, aż wszystkie błędy w danym zestawie zostaną naprawione. Jeśli dokumentacja nie zawiera już żadnych błędów, otrzymujemy pliki gotowe do migracji do systemu paszportyzacji (punkt 8. na diagramie).
Raport walidacji danych
W toku procesu walidacji danych, dla każdego typu obiektu w formacie DWG powstaje raport określający rodzaj błędu oraz wartość oryginalną i poprawioną. Identyfikatory obiektów umożliwiają odnalezienie obiektów w danych źródłowych (tzn. danych sprzed weryfikacji i naprawy błędów). Użytkownik, który otrzymuje raport o błędach, wie, które dane należy poprawić oraz czy wymaga to sprawdzenia informacji w terenie lub wprowadzenia zmian w pliku.
Proces powtarzany jest do momentu uzyskania prawidłowej dokumentacji, wolnej od jakichkolwiek błędów. Wówczas może zostać ona wprowadzona do systemu paszportyzacji. Proces działa praktycznie bez ingerencji użytkownika.
Raport walidacji danych w FME
Jak przebiega proces weryfikacji dokumentacji projektowej?
Do stworzenia procesu automatycznej weryfikacji danych i naprawy błędów wykorzystaliśmy: FME Server, system do zarządzania zadaniami Jira oraz katalogi danych na serwerze FTP:
1
Serwer FTP
To tutaj w odpowiednich katalogach umieszczane są dane źródłowe do dalszego przetworzenia. Na serwer FTP bezpośrednio z FME Server przesyłane są zweryfikowane, poprawione dane oraz raporty o błędach wymagających naprawy.
2
FME Server
Program w sposób automatyczny skanuje dane umieszczone na serwerze FTP w poszukiwaniu błędów i naprawia większość z nich. Część błędów nie może zostać naprawiona automatycznie, ponieważ konieczna może być np. weryfikacja stanu faktycznego sieci w terenie lub ręczna modyfikacja w pliku.
3
Jira
Wykorzystywany przez klienta system do zarządzania zadaniami automatycznie wykrywa zmiany na serwerze FTP (załadowane nowe pliki wsadowe dokumentacji o sieci, raporty o błędach do naprawy) i tworzy zadania do zrealizowania.
Po odpowiedniej konfiguracji stworzone narzędzie może być dalej udostępnianie innym użytkownikom, w tym wykonawcom sieci. Znacznie usprawnia to pracę, ponieważ Nexera nie musi pośredniczyć w ładowaniu plików źródłowych do systemu walidacji.
Sprawdź nasze inne rozwiązania do zarządzania danymi o sieci
Globema realizuje projekty pozyskania i utrzymania danych o sieci dla operatorów telekomunikacyjnych i sieciowych w oparciu o zestaw narzędzi i usług pod nazwą GlobIQ.
Rozwiązania Globemy nie tylko umożliwiają migrację ze źródeł cyfrowych, ale również pozyskanie danych z dokumentacji papierowej metodami AI/ML oraz zbieranie danych w terenie za pomocą specjalizowanych aplikacji mobilnych.
Poznaj platformę GlobIQ
Korzyści
Dzięki rozwiązaniu Globemy, Nexera znacznie przyspieszyła i usprawniła proces migracji danych o sieci telekomunikacyjnej do systemu paszportyzacji. Wykorzystanie FME pozwoliło na automatyczną kontrolę danych i naprawę błędów jeszcze przed rozpoczęciem migracji– zmniejszyła się tym samym liczba iteracji procesu ładowania danych, a jakość danych wsadowych wzrosła.
W konsekwencji:
Dzięki zastosowaniu mechanizmu zbudowanego przez Globemę z wykorzystaniem FME, Nexera mogła szybciej przenieść dane o sieci do systemu paszportyzacji i szybciej zacząć dostarczać Internet wysokiej jakości do nowych odbiorców, a tym samym, między innymi, wywiązać się z założeń Programu Operacyjnego Polska Cyfrowa.
Jacek Wiśniewski, Chief Executive Officer, Nexera
Chcesz osiągnąć podobne rezultaty?
Przekonaj się, czy FME sprawdzi się w Twojej firmie. Wypełnij formularz, a nasz konsultant skontaktuje się z Tobą w celu omówienia Twoich potrzeb i umówienia się na pokaz systemu.
Możesz się z nami również skontaktować mailowo lub telefonicznie:
fme@globema.pl
+ 48 22 848 73 13
Poznaj inne historie klientów
Grupa MTP
Oszczędność czasu i pieniędzy dzięki integracji wielu systemów i źródeł danych
Zobacz, jak Grupa MTP rozwiązała problemy w zakresie integracji systemów opartych na różnych technologiach bazodanowych dzięki FME.
Visoro Group
Automatyzacja manualnych procesów i przesyłania danych za pomocą jednego skryptu
Dowiedz się, jak firma Visoro Group skróciła czas przetwarzania oraz ładowania danych adresowych aż o 750 razy.