AI Archival Evidence Mapper to projekt badawczo-rozwojowy platformy wspierającej analizę dużych zbiorów źródeł archiwalnych. System może przetwarzać zeznania, listy, wspomnienia, pamiętniki, protokoły, relacje świadków, notatki, dokumentację osobową, transkrypcje rozmów oraz inne dokumenty urzędowe i instytucjonalne. System nie ocenia, czy autor źródła mówi prawdę, nie przypisuje mu intencji i nie rozstrzyga automatycznie, która wersja zdarzenia jest poprawna. Jego zadaniem jest uporządkowanie materiału, wydobycie informacji oraz wskazanie miejsc wymagających dalszej analizy historycznej.

Problem

Digitalizacja dokumentów nie rozwiązuje problemu ich analizy treściowej. Po wykonaniu skanu, OCR lub transkrypcji badacz nadal musi ręcznie zidentyfikować osoby, warianty nazwisk, daty, miejsca, zdarzenia, relacje oraz różnice między poszczególnymi źródłami. Szczególnym wyzwaniem jest identyfikacja osób. Ta sama osoba może występować pod pełnym nazwiskiem, inicjałem, pseudonimem, stopniem, funkcją, określeniem rodzinnym albo opisem sytuacyjnym. Drugim problemem są sprzeczności między źródłami. Dokumenty mogą różnić się datą, miejscem, nazwiskiem uczestnika, kolejnością wydarzeń albo opisem roli konkretnej osoby.

Opis rozwiązania

AI Archival Evidence Mapper analizuje dokument lub gotową transkrypcję i rozbija treść na mniejsze jednostki informacyjne.

System identyfikuje:

• fakty i twierdzenia,
• obserwacje autora,
• interpretacje,
• relacje zasłyszane,
• późniejsze dopiski,
• osoby, daty i miejsca,
• wydarzenia,
• relacje rodzinne i instytucjonalne,
• informacje niepewne,
• elementy wymagające weryfikacji.

Każda informacja pozostaje powiązana z konkretnym dokumentem i fragmentem źródłowym.

Porównywanie źródeł

System porównuje informacje wydobyte z poszczególnych dokumentów i wskazuje:

• informacje powtarzające się w kilku źródłach,
• twierdzenia występujące tylko w jednym dokumencie,
• brakujące elementy chronologii,
• zgodne wersje wydarzeń,
• różnice w datach i miejscach,
• odmienne wskazania uczestników,
• rozbieżności dotyczące ról i relacji,
• potencjalne sprzeczności między dokumentami.

System nie wskazuje automatycznie, która wersja jest prawdziwa. Tworzy listę miejsc wymagających sprawdzenia przez badacza.

Kontekst osobowy

Moduł identyfikacji osób będzie analizował warianty nazwisk, dawne formy pisowni, pseudonimy, inicjały, stopnie, funkcje, relacje rodzinne, przynależność instytucjonalną oraz kontekst występowania danej osoby. Jeżeli system uzna, że dwa wpisy mogą dotyczyć tej samej osoby, zaproponuje ich połączenie. Decyzja o scaleniu rekordów pozostanie po stronie badacza.

Graf wiedzy

Wyniki analizy będą przedstawiane w formie grafu wiedzy łączącego osoby, dokumenty, miejsca, daty, wydarzenia, instytucje, relacje oraz twierdzenia. Każdy węzeł i relacja powinny być powiązane z fragmentem źródła, poziomem pewności i statusem walidacji.

Wykrywanie sprzeczności

Moduł będzie wskazywał sytuacje, w których:

• dwa dokumenty podają różne daty,
• relacje przypisują zdarzenie różnym miejscom,
• jedna osoba występuje w odmiennych rolach,
• wspomnienie nie zgadza się z korespondencją,
• kolejność zdarzeń różni się między źródłami,
• twierdzenie występuje tylko w jednym źródle,
• warianty nazwiska mogą prowadzić do błędnego utożsamienia osób.

Wynikiem będzie lista rozbieżności wraz z cytatami, źródłami i informacją o rodzaju wykrytej sprzeczności.

Panel badacza

Panel użytkownika powinien umożliwiać:

• przegląd dokumentów i transkrypcji,
• wyszukiwanie osób, miejsc i zdarzeń,
• zatwierdzanie lub odrzucanie propozycji połączenia rekordów,
• przegląd grafu wiedzy,
• filtrowanie informacji według źródła i poziomu pewności,
• przegląd potencjalnych sprzeczności,
• dodawanie komentarzy eksperckich,
• zmianę statusu walidacji,
• eksport danych i cytatów,
• powrót do oryginalnego fragmentu dokumentu.

Zakres MVP

Pierwsza wersja systemu powinna zostać ograniczona do jednego, dobrze określonego korpusu, na przykład korespondencji określonej grupy osób, wspomnień dotyczących jednego wydarzenia, zbioru zeznań albo dokumentacji konkretnej instytucji. W pierwszej fazie wskazane jest wykorzystanie transkrypcji dobrej jakości. Włączenie OCR/HTR rękopisów i słabych skanów powinno stanowić odrębny etap rozwoju.

Walidacja

Minimalny pilotaż powinien objąć od 5000 do 10 000 stron dokumentów albo odpowiadający im korpus transkrypcji.

Zakładane wskaźniki obejmują:

• minimum 85% trafności ekstrakcji podstawowych nazw osób, miejsc i dat,
• minimum 75% trafności propozycji łączenia wariantów tej samej osoby,
• minimum 80% zgodności z ekspertem przy oznaczaniu informacji wymagających weryfikacji,
• skrócenie czasu wstępnej analizy korpusu o minimum 40%.

Odbiorcy projektu

• archiwa państwowe i prywatne,
• muzea i biblioteki,
• instytuty badawcze i uczelnie,
• zespoły historii mówionej,
• fundacje dokumentujące świadectwa,
• badacze genealogii,
• redakcje źródeł historycznych,
• projekty biograficzne i prosopograficzne.

Oczekiwany rezultat

Rezultatem projektu będzie prototyp platformy obejmującej import dokumentów i transkrypcji, ekstrakcję informacji, moduł kontekstu osobowego, entity resolution, graf wiedzy, porównywanie źródeł, wykrywanie sprzeczności, cytowanie fragmentów źródłowych oraz panel walidacji badacza. System będzie narzędziem wspierającym analizę, a nie automatycznym autorem interpretacji historycznej.