PDF Basket
Ziemia jest pod stałą obserwacją setek satelitów. Ich celem jest gromadzenie danych na temat zmian klimatu, meteorologii, zasobów naturalnych, stanu oceanów czy klęsk żywiołowych. Będąca w posiadaniu UE flota satelitów obserwacyjnych, znanych jako satelity Sentinel systemu Copernicus, dostarcza każdego dnia wszystkim zainteresowanym ponad 20 000 gigabajtów nowych danych, a dzięki specjalnej polityce otwartych danych dostęp do nich jest bezpłatny.
Istnieje jednak pewien problem. Choć otwarte dane z obserwacji Ziemi są bezcennym źródłem informacji dla naukowców, to dostarczane są one w tak ogromnych ilościach, że coraz trudniej sobie z nimi radzić. „Obecnie mierzymy się z wyzwaniem przechowywania i przetwarzania dużych zbiorów danych z obserwacji Ziemi w skali petabajtowej (przyp. red: 1 petabajt odpowiada 1 milionowi gigabajtów)”, mówi Matthias Schramm, koordynator projektu openEO z ramienia Politechniki Wiedeńskiej. Jednym z rozwiązań jest przechowywanie i przetwarzanie danych w chmurze. Na rynku pojawiło się wiele nowych podmiotów oferujących różne rozwiązania dla coraz szerszego grona użytkowników z sektora naukowego, przemysłowego i rządowego. Stało się to bardzo szybko, być może nawet zbyt szybko.
„Tempo i rozmach rozwoju nowych platform chmurowych uniemożliwiły opracowanie powszechnie przyjętych i stosowanych norm. Ten brak porównywalnych punktów dostępu skutkuje problemami technicznymi dla użytkowników, którzy nie mogą łatwo zmieniać dostawców usług celem porównania wyników”, wyjaśnia Schramm.
W tym właśnie pomóc ma finansowany ze środków UE projekt openEO. Od października 2017 roku do listopada 2020 roku partnerzy projektu pracowali nad nowym interfejsem komunikacyjnym, który normalizuje dostęp do danych UE i możliwości ich przetwarzania za pomocą usług w chmurze różnych dostawców. Ten nowy interfejs działa w dwóch etapach. Najpierw biblioteki openEO na lokalnych komputerach użytkowników przygotowują swoje procesy działań do przesłania ich do wybranych dostawców usług. Tam te ujednolicone żądania przetwarzania są automatycznie przekładane na składnię zrozumiałą dla dostawcy.
Więcej niewykorzystanego potencjału
„Dysponujemy bibliotekami openEO dla takich języków programowania jak Python, R i JavaScript. Stworzyliśmy również wtyczkę do oprogramowania QGIS, edytor internetowy oraz aplikacje mobilne, które mają posłużyć za punkty dostępu. Do interfejsu openEO podłączono już różne europejskie platformy chmurowe w celu zapewnienia ujednoliconej komunikacji, a wszystkie aspekty interfejsu typu open-source zostały zaprojektowane tak, aby umożliwić połączenie z dodatkowymi platformami i językami programowania w przyszłości”, zauważa Schramm.
Aby zapewnić porównywalność wyników różnych dostawców usług w chmurze, zespół projektowy opracował pięć przypadków użycia dla użytkowników pilotażowych, testując procesy działań przy użyciu składni openEO na kilku platformach. Stwierdzili oni, że jedynym możliwym ograniczeniem dla zagwarantowania porównywalności usług w chmurze jest brak podobnych danych z obserwacji Ziemi (np. różne czujniki, rozdzielczość, częstotliwość próbkowania, zapewniany obszar, przetwarzanie wstępne). Poza tym różnice występują jedynie w skali dokładności obliczeniowej, co świadczy o tym, że interfejs działa wyjątkowo dobrze.
„Szereg dostawców platform chmurowych nie objętych projektem, a także użytkownicy danych z obserwacji Ziemi i przedstawiciele sektora badań klimatu wyrazili już zainteresowanie włączeniem interfejsu openEO do swoich nowych usług”, dodaje Schramm. „W tej chwili norma openEO stanowi teoretyczną możliwość uzyskiwania wspólnego dostępu do dostawców chmur i ich porównania. Ten wspólny dostęp wciąż jeszcze wymaga realizacji, na przykład poprzez rzeczywistą komunikację pomiędzy platformami chmurowymi przy użyciu naszego nowego wspólnego języka. Złożyliśmy kilka wniosków w sprawie rozpoczęcia projektów naukowych mających na celu wypełnienie tej luki, a niektóre z nich, jak projekt C-SCALE w ramach programu Horyzont 2020, otrzymały już finansowanie”.