Byłem ostatnio na targach AI i uderzyła mnie jedna kwestia: jak bardzo zmieniła się skala potrzebna do stworzenia produktu technologicznego, a zarazem jak wiele tych rozwiązań jest wtórnych. Przypomina mi to „Ziemię obiecaną”: ja nie mam nic, ty nie masz nic, on nie ma nic, razem mamy akurat tyle, żeby zrobić biznes. Jeszcze kilka lat temu system analizujący rozmowy, dokumenty albo dane pracowników wymagał całkiem dużego zespołu: programistów, administratorów, testerów, analityków i kogoś od bezpieczeństwa. Dzisiaj podobny produkt potrafią stworzyć trzy osoby z dostępem do API za kilkaset złotych. I to jest jedna z największych zalet AI. Bariera wejścia spadła dramatycznie, a rozwiązania, nad którymi duża firma zastanawiałaby się dziesięć razy, mały zespół może zrobić w kilka tygodni. Sam z AI korzystam, także do poprawiania i wygładzania tego tekstu. Korzystanie z AI nie jest problemem samym w sobie, a raczej to, że możliwość tworzenia takich produktów wyprzedziła kompetencje potrzebne do ich bezpiecznego używania, a koszty niekompetencji dla użytkowników mogą być znacznie większe niż słabo napisany artykuł na bloga.
Na targach dobrze było widać drugą stronę tego zjawiska. Małe firmy sprzedają AI innym małym i średnim firmom. Nie bankom z działem compliance, tylko piekarni, agencji HR, prywatnej przychodni, biuru księgowemu albo firmie szkoleniowej. Sprzedawca często nie wie, jakie ryzyko tworzy, a kupujący ma jeszcze mniejszą szansę to sprawdzić. Mnie interesowało głównie bezpieczeństwo, RODO i AI Act, więc pytałem, gdzie trafiają dane, co jest wysyłane do modelu, czy plik jest gdzieś zapisywany, czy powstają logi, kto jest dostawcą modelu i co dzieje się po zakończeniu operacji. Przy prezentacji funkcji produktu odpowiedzi były konkretne, przy danych robiło się znacznie bardziej mgliście.
Dobrym przykładem są systemy do transkrypcji. Firma może być przekonana, że „tylko transkrybuje” i nie przetwarza danych w istotny sposób, bo plik po chwili znika. Tyle że jeśli nagranie trafia na jej serwer, choćby na kilka minut, to zawarte w nim dane osobowe nadal są przetwarzane. Mogą tam być dane klientów, pracowników, informacje finansowe, zdrowotne czy objęte tajemnicą zawodową. Poinformowanie użytkownika też niewiele pomoże, jeśli systemu używa np. lekarz albo psycholog, a pacjent podczas rozmowy po prostu powie za dużo. Najciekawsze jest to, że wiele takich firm ma dokumentację prawną: politykę prywatności, regulamin, umowę powierzenia, czasem opinię kancelarii. Problem polega na tym, że prawnik może świetnie znać RODO i jednocześnie nie rozumieć, jak działa produkt. Jeśli nie wie, gdzie idzie plik, co jest logowane, co trafia do zewnętrznego API i co jest buforowane, to jego analiza będzie oparta na tym, co powiedział mu producent. A producent też nie musi kłamać. Programista może szczerze powiedzieć: „nie przechowujemy danych”, mając na myśli, że plik po operacji jest kasowany. Prawnik to zapisze i wszyscy będą zadowoleni.
Trochę przypomina to kontrolę samochodu wykonywaną wyłącznie na podstawie instrukcji obsługi. Można sprawdzić, co producent napisał o hamulcach i poduszkach powietrznych, ale nadal nie wiemy, czy przewód hamulcowy rzeczywiście jest podłączony. Ktoś musi zajrzeć pod maskę. Z AI jest tak samo. Dokumentacja prawna nie zastępuje technicznego sprawdzenia systemu, a klient z sektora MŚP praktycznie nie ma narzędzi, żeby to zrobić. Właściciel biura księgowego nie będzie analizował architektury systemu, retencji logów ani dokumentacji API, bo często nawet nie będzie wiedział, że powinien o to zapytać. Zobaczy napis „zgodne z RODO”, logo kancelarii i uzna sprawę za zamkniętą.
Podobnie wygląda sprawa z systemami HR. Producent pisze, że AI tylko „wspiera decyzję człowieka”. Tyle że jeśli kandydat dostał 37 punktów na 100, został oznaczony na czerwono i spadł na koniec listy, to człowiek raczej nie będzie analizował go całkowicie od nowa. Jeśli ma 150 CV, po to właśnie kupił system, żeby tego nie robić. Papier może mówić, że decyzję podejmuje człowiek, ale sposób zaprojektowania systemu może prowadzić faktycznie do automatycznego scoringu. Znając praktykę organizacji, prędzej powstanie notatka służbowa, że pracownik przez 20 godzin samodzielnie weryfikował wszystkie CV, niż ktoś naprawdę poświęci na to 20 godzin zamiast dwóch.
Powstał ekosystem małych firm sprzedających innym małym firmom narzędzia, których działania żadna ze stron nie potrafi w pełni ocenić. Dostawca zna produkt, ale często nie zna konsekwencji prawnych i bezpieczeństwa. Klient zna swój biznes, ale nie zna architektury AI. Prawnik zna przepisy, ale pracuje na opisie przygotowanym przez ludzi, którzy sami mogą nie wiedzieć, co jest istotne. Każdy zna swój kawałek i zakłada, że resztę sprawdził ktoś inny. To działa do momentu pierwszego większego wycieku, afery albo procesu. Wtedy dostawca pokaże regulamin, prawnik informacje otrzymane od dostawcy, a klient zapewnienie, że system jest zgodny z RODO. Wszyscy będą mieli papier.
I tu widzę największe zagrożenie dla MŚP. Technologia potaniała dramatycznie, ale bezpieczeństwo, audyt i kompetencje prawne nie potaniały razem z nią. Łatwo więc wydać kilka tysięcy na stworzenie produktu, a potem oszczędzić na wszystkim, co ma sprawdzić, czy ten produkt rzeczywiście jest bezpieczny. Samochody i samoloty też mogłyby być tańsze, gdyby zrezygnować z certyfikacji i testów. Tylko raczej nie chcielibyśmy latać samolotem ocenionym przez pana Zdzisława, emeryta, który kiedyś projektował parowozy i wydał opinię na podstawie czarno-białego zdjęcia. W AI dla MŚP nadal trochę jesteśmy właśnie na tym etapie i podejrzewam, że dopiero kilka kolejnych głośnych wycieków, procesów i bankructw sprawi, że zewnętrzne audyty i certyfikacja przestaną być traktowane jako niepotrzebny koszt. Na razie zostaje nam jednak dyskusja „czy AI osiągnie samoświadomość” i argument, że „AI ogłupia ludzi” oraz tłum „ekspertów”, którzy wczoraj robili szkolenia z marketingu i rozwoju osobistego, a dziś z cybersecurity.
Adam Karmański
Kierownik ds. Transferu Technologii, GAIA Institute
Przekazując nam 1,5% swojego podatku wspierasz rozwój badań, edukacji i innowacji na rzecz lepszej przyszłości. KRS: 0000883665. Fundacja GAIA