Zlecenie 6831620 - Opracowanie systemu generowania korpusów językowych oraz...

badawczo-rozwojowej polegającej na opracowaniu systemu generowania korpusów językowych oraz modelu neuronowego przeznaczonego do analizy dokumentów tekstowych w języku polskim.
Finalnie opracowane rozwiązanie ma znajdować w zadanym dokumencie tekstowym relewantne fragmenty tekstów pasujące tematycznie do podanego wzorca. Cel zamówienia Wykonanie usługi badawczo-rozwojowej polegającej na opracowaniu systemu generowania korpusów językowych oraz modelu neuronowego przeznaczonego do analizy dokumentów tekstowych w języku polskim. Przedmiot zamówienia Typ 1: usługi w zakresie badań przemysłowych i/lub eksperymentalnych prac rozwojowych, dotyczące:
a) badań mających na celu zdobycie nowej wiedzy oraz umiejętności prowadzących do opracowania nowych produktów, procesów lub usług, lub też wprowadzenia znaczących ulepszeń do istniejących produktów, procesów lub usług;
b) opracowania prototypów, projektów demonstracyjnych lub pilotażowych,
testowanie i walidację nowych lub ulepszonych produktów, procesów lub usług w otoczeniu stanowiącym model warunków rzeczywistego funkcjonowania, których głównym celem jest dalsze udoskonalenie techniczne produktów, procesów lub usług, których ostateczny kształt zasadniczo nie jest jeszcze określony.

Wykonanie usługi badawczo-rozwojowej polegającej na opracowaniu systemu generowania korpusów językowych oraz modelu neuronowego przeznaczonego do analizy dokumentów tekstowych w języku polskim w szczególności dokumentów z obszaru prawa i finansów.

Opracowane rozwiązanie powinno realizować co najmniej następujące funkcje:
-Umożliwiać zautomatyzowane pobieranie i gromadzenie dokumentów tekstowych z podanych zasobów internetowych, ze szczególnym uwzględnieniem zbiorów aktów prawnych i dokumentów finansowo-bankowych.
-Dostarczać interfejsu API pozwalającego selektywnie pobierać dokumenty ze zbioru do dalszego przetwarzania.
-Umożliwiać budowanie wektorowej reprezentacji wyrazów w korpusie językowym.
-Umożliwiać przygotowanie zbiorów uczących i testowych do trenowania sieci neuronowych na podstawie zadanego dokumentu lub fragmentu tekstu.
-Pozwalać na zbudowanie i wytrenowanie sieci neuronowej przeznaczonej do wykrywania fragmentów pokrewnych tematycznie w dokumencie tekstowym.
-Umożliwiać przeprowadzenie predykcji stopnia zgodności tematycznej poszczególnych fragmentów zadanego dokumentu.

Zakres prac zawartych w usłudze powinien co najmniej obejmować:
-Opracowanie oryginalnej architektury systemu dopasowanej do specyfiki wymagań
-Dobór technologii adekwatnych do realizacji systemu
-Zaprojektowanie dedykowanych modeli neuronowych i nowych procedur ich uczenia
-Wykonanie oryginalnego oprogramowania w języku Python lub R zgodnie z wymaganymi funkcjonalnościami
-Opracowanie nowej metodyki statystycznej analizy trafności i jakości modeli neuronowych w tworzonym systemie
-Opracowanie co najmniej jednej dedykowanej techniki wizualizacji rezultatów analizy dokumentów tekstowych realizowanej przez system
-Wykazanie skuteczności tworzenia korpusów językowych poprzez zgromadzenie co najmniej 10.000 dokumentów tekstowych
-Weryfikacja skuteczności modeli wektorowej reprezentacji wyrazów poprzez wykonanie testów analogii ocenianych przez co najmniej 3 osoby na próbie co najmniej 50 wyrazów (Wykonawca jest zobowiązany do określenia minimalnych wymaganych wielkości)
-Przeprowadzenie serii testów empirycznych na co najmniej 100 dokumentach tekstowych z zakresu prawa lub finansów i optymalizacja hiperparametrów modeli neuronowych pod kątem zapobiegania przeuczeniu modeli
-Przeprowadzenie serii testów jakości predykcji z udziałem co najmniej 3 osób analizujących co najmniej 3 różne fragmenty w co najmniej 10 dokumentach (Wykonawca jest zobowiązany do określenia minimalnych wymaganych wielkości)
-Weryfikacja poprawności działania systemu i wprowadzenie koniecznych korekt i zmian