RysOCR to projekt badawczo-rozwojowy dotyczący automatycznego rozpoznawania polskich dokumentów historycznych, archiwalnych i rękopiśmiennych. Projekt odpowiada na ograniczenia uniwersalnych systemów OCR i HTR, które często słabo radzą sobie z polskimi znakami, dawnymi formami pisowni, nazwiskami, nazwami miejscowości, skrótami kancelaryjnymi, zmiennym charakterem pisma ręcznego oraz materiałami o niskiej jakości technicznej. Celem RysOCR jest przejście od prostego odczytania tekstu do rozpoznawania i walidacji informacji istotnych z punktu widzenia archiwistyki, historii i genealogii.

Problem badawczy

Uniwersalne systemy OCR są trenowane głównie na współczesnych, czystych i dobrze zeskanowanych dokumentach.

Polskie materiały historyczne mogą zawierać:

• ręczne wpisy i kursywę,
• zmienne style pisma,
• dawne formularze,
• pieczęcie i dopiski,
• tekst drukowany połączony z rękopisem,
• nazwy własne niewystępujące w słownikach,
• teksty w kilku językach,
• skróty charakterystyczne dla dokumentacji historycznej,
• niejednoznaczne daty i sygnatury.

Błąd w jednej literze może prowadzić do błędnego rozpoznania nazwiska, miejscowości, daty albo relacji między osobami.

Cel projektu

Celem jest opracowanie systemu, który:

• rozpoznaje tekst drukowany i rękopiśmienny,
• obsługuje polskie znaki i dawne formy językowe,
• identyfikuje nazwiska, daty, miejsca i instytucje,
• rozpoznaje skróty oraz oznaczenia kancelaryjne,
• wykrywa sygnatury i numery akt,
• wskazuje fragmenty niepewne,
• umożliwia walidację przez eksperta,
• uczy się na podstawie zatwierdzonych korekt.

Zakres prac badawczo-rozwojowych

• rozwój modelu OCR dla języka polskiego,
• badania nad rozpoznawaniem pisma ręcznego,
• przygotowanie datasetów dokumentów historycznych,
• opracowanie standardu anotacji,
• budowa słowników nazwisk, miejsc i skrótów,
• identyfikacja typów dokumentów,
• walidacja nazw własnych,
• rozpoznawanie dat i sygnatur,
• wykrywanie poziomu niepewności,
• rozwój panelu walidacyjnego,
• budowa benchmarku dla polskich archiwaliów,
• integracja z systemami instytucji.

Planowane zastosowania

• digitalizacja archiwów,
• opracowywanie ksiąg metrykalnych,
• indeksowanie dokumentów genealogicznych,
• przetwarzanie dawnych wykazów osobowych,
• analiza korespondencji,
• opracowywanie akt urzędowych,
• wyszukiwanie osób i miejsc,
• budowa baz danych historycznych,
• tworzenie grafów genealogicznych,
• przygotowanie datasetów dla projektów AI.

Pilotaż

Pierwszy pilotaż powinien zostać ograniczony do konkretnego typu dokumentów, na przykład ksiąg metrykalnych, wykazów osobowych, dokumentów miejskich, korespondencji lub protokołów. Zawężenie zakresu umożliwi przygotowanie spójnego datasetu, określenie metryk i wiarygodną ocenę jakości.

Oczekiwany rezultat

Rezultatem projektu będzie system obejmujący model OCR i HTR, dataset polskich dokumentów historycznych, mechanizm walidacji nazwisk, dat i miejsc, panel ekspercki, system oznaczania niepewności, benchmark jakości oraz API umożliwiające integrację z systemami archiwalnymi.

Poszukiwani partnerzy

GAIA poszukuje archiwów, bibliotek, muzeów, instytutów badawczych, organizacji genealogicznych oraz instytucji posiadających dokumenty historyczne i transkrypcje referencyjne.