Zlecenie 7208103 - Realizacja prac badawczych w projekcie Inteligenta platforma...

apytania jest opracowanie ekspertyz i studiów wykonalności poszczególnych komponentów prac badawczych, dotyczących analizy możliwości wykorzystania uczenia maszynowego, opracowanie dedykowanych metod rozwiązania problemów predykcji i wyszukiwania optymalnych rozwiązań aplikacji chmurowych (cloud native), ukierunkowanych na praktyczne zastosowanie w postaci platformy, wspomagającej procesy DevOps.

Prace badawcze będą ukierunkowane na opracowanie platformy typu AIOps. Specyfika problemu badawczego polega na tym, że aplikacje cloud monitoruje i skaluje się bezpośrednio na systemie produkcyjnym. Dopiero na tym poziomie możliwa jest ocena zachowania zaprojektowanej architektury, realizowany jest proces dodawania komponentów, a system jest skalowalny do wymaganego obciążenia. Błędy i nieodpowiednie decyzje oraz działanie podejmowane ad-hoc prowadzą do nieprawidłowego zachowania aplikacji oraz zwiększonych kosztów.

Zakres prac obejmie prowadzenie analiz metodami ML i wyciągania wniosków na podstawie danych z ciągłego monitorowania systemów, które oznacza wgląd w czasie rzeczywistym na wskaźniki działania i kondycję całego stosu aplikacji, począwszy od infrastruktury bazowej, na której uruchomiona jest aplikacja, po składniki oprogramowania wyższego poziomu. Zakres danych obejmie kolekcję danych telemetrii i metadanych (na podstawie metryk i dzienników). Telemetria obejmuje dane zdarzeń oraz dzienniki zbierane z różnych części systemu, które są przechowywane tam, gdzie mogą być analizowane i odpytywane. Problem dotyczy wyciągania wniosków (predykcja, detekcja anomalii)w oparciu o analizę dużej ilości danych i wnioski o charakterze predykcyjnym).

Zadaniem będzie też opracowanie modelu symulacyjnego, wykorzystującego komponenty ML, który zapewni dokładność odwzorowania złożonego systemu, działającego w rzeczywistym kontekście infrastruktury oraz w sytuacji dużej zmienności jeśli chodzi o obciążenie. Następnie w oparciu o stworzony model należy zbadać możliwości optymalizacji (wydajnościowej, kosztowej czy wykorzystania zasobów) oraz automatyzacji.

Prace będą prowadzone w oparciu o zaawansowane środowisko badawcze , które zostanie opracowane przez Zamawiającego, które zapewni bazową platformę monitorowania w bardzo szerokim zakresie, na wszystkich warstwach działania aplikacji. W ramach prac badawczych oczekiwane jest dokonanie identyfikacji, oceny i wyboru kluczowych wskaźników dla oceny działania aplikacji cloud, działających w publicznych chmurach, takich jak AWS, Azure czy Google Cloud. Należy dokonać klasyfikacji i analizy komponentów mikroserwisów, z wyróżnieniem typowych mechanizmów, jak np. load balancery, w celu opracowania odpowiednich komponentów ML, w celu zastosowania ich w symulatorze. Opracowany model powinien cechować się dużą wiarygodnością, względem zachowania rzeczywistych aplikacji. Opracowane modele powinny umożliwiać zasilanie aktualnymi danymi z podsystemu monitorowania, co pozwoli na bieżąco badać zachowanie komponentów, wspierając proces uczenia i utrzymująca aktualność modelu. W pracach należy przebadać możliwość automatyzacji i wspomagania decyzji w procesie utrzymania aplikacji w chmurze. Należy przewidzieć walidację opracowanych modeli oraz weryfikację dla środowisk referencyjnych, a następnie dla aplikacji reprezentujących warunki zbliżone do rzeczywistych.

W pracach należy mieć na uwadze, że w obszarze zainteresowania znajdują się w szczególności aplikacje odzwierciedlające potrzeby i specyfikę niewielkich podmiotów i start-upów. Ten kontekst będzie mieć wpływ na przyjmowane założenia co do złożoności systemów, zakresów analiz, wskaźników, optymalizacji i automatyzacji. Cel zamówienia Celem zamówienia jest wyłonienie wykonawcy do przeprowadzenia prac badawczych, mających na celu opracowanie modeli na potrzeby rozwiązania problemów predykcji, wykrywania anomalii i wyszukiwania optymalnych rozwiązań aplikacji chmurowych (cloud native) oraz wykonanie studium wykonalności ich praktycznego zastosowania w ramach platformy monitorowania i analizy danych.
Prace badawcze mają być podzielone na dwie grupy zadań. Pierwsza ma obejmować klasyfikację danych i opracowanie rozwiązań z obszaru uczenia maszynowego dla problemu wykrywania anomalii i predykcji, ukierunkowanych na praktyczne zastosowanie w systemie analizy danych aplikacji cloud-native. Druga ma obejmować odwzorowania kluczowych komponentów architektury aplikacji w postaci hybrydowego modelu symulacyjnego. W każdym przypadku oczekiwane jest jako rezultat prac opracowanie studium wykonalności opracowanych rozwiązań w systemie rzeczywistym.
Wyzwaniem technologicznym, z którym będą wiązać się prace będące przedmiotem zamówienia, będzie analiza danych systemu monitorowania, opracowanie modeli uczenia maszynowego (ML) wybranych podsystemów, scenariuszy i komponentów oraz opracowanie hybrydowych (obejmujących komponenty opracowane w oparciu o różne metody) modeli symulacyjnych aplikacji chmurowych. W założeniu pozwoli to na przewidywanie zachowania systemu chmurowego, określenie efektów skalowania infrastruktury oraz równoważenie obciążenia, ocenę skutków anomalii, wsparcie analiz on-line oraz optymalizację wybranych parametrów pracy systemu, a w konsekwencji na wsparcie działania zespołu DevOps.
Wyniki prac badawczych mają stanowić studium wykonalności, z przeznaczeniem na implementację w ramach rzeczywistego systemu i ich weryfikację w warunkach operacyjnych.
Warunkiem zawarcia wiążącej umowy jest otrzymanie dofinansowania na przedmiotowy projekt.

Sposób realizacji prac badawczych:
Wstępny harmonogram prac w projekcie zakłada, że wszelkie rezultaty badań powinny zostać opracowane i przekazane w ciągu około 24 miesięcy. Projekt zakłada stosowanie metodyki Scrum. Prace badawcze będą realizowane w bliskiej współpracy z Zamawiającym, obejmującej regularne, co tygodniowe spotkania (podsumowanie sprintów) w siedzibie Zamawiającego (lub częściowo metodami online). Dokładne terminy, czas trwania, miejsce i liczba spotkań zostaną ustalone między Zamawiającym i Wykonawcą w trybie roboczym. Przedmiotem spotkań będą poszczególne obszary tematyczne, objęte opisanymi wyżej zadaniami. W trakcie spotkań formułowane będą propozycje odpowiedzi i wyjaśnienia. Tematy kolejnego spotkania będą ustalane na spotkaniu poprzedzającym. Wykonawca przed spotkaniem przygotuje materiał wprowadzający do zagadnień poruszanych na spotkaniu (w postaci prezentacji lub 3-4-stronicowej notatki) i prześle Zamawiającemu mailowo co najmniej na 2 dni kalendarzowe przed planowanym spotkaniem.
Wykonawca ma obowiązek ścisłej współpracy z Zamawiającym na każdym etapie realizacji zamówienia. Wykonawca powinien uwzględniać wszelkie uwagi i stanowiska Zamawiającego, które doprecyzowują lub uzupełniają niniejsze zapisy i nie są z nimi sprzeczne. Każde z zadań wymienionych powyżej powinno wskazywać istniejące rozwiązania obrazujące aktualny stan technologii, scharakteryzować działanie oraz możliwości zastosowania określonych rozwiązań, a także wskazywać przykłady wykorzystania. Przekazywane rezultaty powinny także obejmować schematy algorytmów lub modułów a także zawierać opis w postaci studium wykonalności, stanowiący wytyczne dla implementacji poszczególnych modułów docelowego rozwiązania. Przedmiot zamówienia Przedmiotem niniejszego zapytania jest opracowanie ekspertyz i studiów wykonalności poszczególnych komponentów prac badawczych, dotyczących analizy możliwości wykorzystania uczenia maszynowego, opracowanie dedykowanych metod rozwiązania problemów predykcji i wyszukiwania optymalnych rozwiązań aplikacji chmurowych (cloud native), ukierunkowanych na praktyczne zastosowanie w postaci platformy, wspomagającej procesy DevOps.

Zgodnie z założeniem o wyodrębnieniu dwóch grup zadań (komponentów badawczych), z których pierwsza dotyczy klasyfikacji danych i opracowanie rozwiązań z obszaru uczenia maszynowego dla problemu wykrywania anomalii i predykcji, a druga odwzorowania kluczowych komponentów architektury aplikacji w postaci modułów hybrydowego modelu symulacyjnego.
Komponenty badawcze powiązane są odpowiednio z etapami ujętymi w Projekcie jako (1) „Klasyfikacja, analiza danych oraz opracowanie modeli ML i symulatora” i (2) Stworzenie mechanizmów automatyzacji i prototypu badawczego systemu.
Przedmiot zapytania obejmuje więc dwa komponenty badawcze, powiązane odpowiednio z pierwszą i drugą grupą zadań. Oba komponenty są ze sobą ściśle powiązane i zakłada się, że wykonanie komponentów modelu symulacyjnego wymaga uprzedniego opracowania rozwiązań z zakresu analizy danych i wstępnego przygotowania modeli ML.

W przypadku pierwszego komponentu (1) zakres zadań dotyczy ogólnie przygotowania, klasyfikacji i analizy danych oraz opracowania i walidacji modeli ML. Opracowanie tego komponentu obejmuje następujące zadania:

-Klasyfikacja komponentów aplikacji cloud-native z przyporządkowaniem źródeł danych i istotnych parametrów wydajności;
-Redukcja  ilości danych celem optymalizacji wykorzystania zasobów bez utraty jakości opracowanych modeli ML;
-Eksploracja danych, wstępna walidacja wybranych metod, ocena złożoności technicznej i istotności, eksploracja danych offline (dane historyczne z systemów referencyjnych, publicznych baz danych), eksploracja danych online i real-time;
-Klasyfikacja danych monitorowania i klasyfikacja komponentów systemu w celu przygotowania modeli ML;
-Ekstrakcja istotnych cech na postawie dostępnych danych pod kątem ich użyteczności w przygotowaniu rozwiązań opartych o ML;
-Opracowanie zbioru modeli ML obejmującego założone scenariusze wsparcia procesu DevOps;
-Zbadanie problemu złożoności obliczeniowych przyjętych modeli (dla określonych problemów i określonych struktur danych, w kontekście technicznej realizowalności);
-Przygotowanie i przeprowadzenie procesów uczenia maszynowego, walidacji modeli i ich wdrażania.

W przypadku drugiego komponentu (2) zakres zadań dotyczy ogólnie problemu opracowania hybrydowego symulatora z zastosowaniem modeli ML i jego weryfikacji, co obejmuje następujące zadania:

-Zdefiniowanie struktury modelu symulacyjnego aplikacji cloud-native umożliwiającego analizę działania rzeczywistych systemów za pomocą komponentów analitycznych opartych o modele uczenia maszynowego.
-Opracowanie meta-modelu komponentu symulatora opartego na modelu ML;
-Stworzenie i walidacja modeli komponentów ML, zgodnie z przeprowadzoną klasyfikacją;
-Stworzenie modelu symulacyjnego, składającego się z opracowanych wcześniej komponentów;
-Przeprowadzenie badań nad możliwościami automatyzacji tworzenia modeli symulacyjnych dla systemów referencyjnych;
-Walidacja względem danych referencyjnych systemów rzeczywistych;