Wymagajmy od sztucznej inteligencji wyjaśnień jej decyzji

„W przypadku systemu COMPAS, wdrożonego w amerykańskich sądach, intencja była taka: badania wskazują, że sędziowie są stronniczy, więc zbudujemy algorytm pozbawiony tej stronniczości. W rzeczywistości algorytm był szkolony na historycznych danych stronniczych ludzkich decyzji, a więc nauczył się stronniczości! Dzisiaj coraz częściej oczekuje się, że złożone narzędzia sztucznej inteligencji muszą być do jakiegoś poziomu zrozumiałe. Na razie my, programiści, uczymy i ćwiczymy modele, których działania sami do końca nie znamy, to trzeba zmienić!” – mówi Przemysław Biecek, profesor Politechniki Warszawskiej, lider projektu tworzenia narzędzi wyjaśnialności sztucznej inteligencji DrWhy.ai.

Czy sztuczna inteligencja potrafi nam odpowiedzieć na pytanie: dlaczego? Wyjaśnić, skąd bierze się sugestia takiej, a nie innej decyzji?

To dwa osobne wątki. Jeden dotyczy tego, co maszyny potrafią nam powiedzieć. Drugi – czy jesteśmy z tej wypowiedzi zadowoleni. Powstaje coraz więcej narzędzi, które pomagają sztucznej inteligencji generować odpowiedź. Ale czy one faktycznie coś wyjaśniają, czy tylko pogłębiają nasze ślepe zaufanie w działanie czarnych skrzynek? Tego nie potrafimy jeszcze zbadać. Kilka lat temu nikt nie oczekiwał od AI wyjaśnień, więc ich nie było. Teraz sytuacja się powoli zmienia, ale musimy włożyć jeszcze dużo pracy w badania nad tym, jak sensownie człowiek powinien komunikować się ze sztuczną inteligencją.

Parę lat temu, kiedy na szerszą skalę zaczęto stosować zaawansowaną sztuczną inteligencję w postaci sieci neuronowych, sporo mówiono o tym, że to rodzaj przetwarzania danych, którego my, ludzie, nie będziemy potrafili zrozumieć. Czy to myślenie się zmieniło?

Tak. Przez kilka lat doświadczyliśmy paru bolesnych lekcji. Okazało się, że w różnych zastosowaniach czarne skrzynki, które na pierwszy rzut oka wyglądały na bardzo skuteczne, prowadziły do systematycznych błędów w krytycznych decyzjach lub do systematycznie niesprawiedliwych decyzji.

Te problemy nas zaskoczyły, ale też uwidoczniły, jak ważna jest kwestia weryfikacji i wyjaśnialności sztucznej inteligencji. Jeżeli algorytm jest z perspektywy użytkownika opakowany w formę czarnej skrzynki, to małe znacznie ma to, czy w środku znajduje się sieć neuronowa, czy jakiś bardzo prosty model. Oczywiście, zaawansowane metody mają więcej parametrów. Ale czy tych parametrów jest tysiąc lub milion, nie ma dla nas znaczenia. Pozostaje problem, czy ufamy temu algorytmowi. Czy zaufanie opiera się na tym, że jesteśmy w stanie sprawdzić, co wpłynęło na decyzję?

W projekcie DrWhy.ai zajmuje się Pan tworzeniem narzędzi do wyjaśnialności sztucznej inteligencji. Po co?

Akurat moja motywacja jest inna niż ta najczęściej przytaczana przez badaczy nauk społecznych. Oni oczekują tego, że sztuczna inteligencja będzie zrozumiała dla użytkowników końcowych, ja, że stanie się zrozumiała dla jej twórców. Może to brzmieć absurdalnie. Problem w tym, że dziś właśnie tak wygląda praktyka. My, programiści, uczymy i ćwiczymy modele, których działania do końca nie rozumiemy. A jeżeli czegoś nie rozumiemy, to nie możemy tego sensownie poprawić ani rozwinąć. Taki stan rzeczy generuje wiele problemów dla samych twórców, na przykład takich, które dotyczą kwestii etycznych. Jak mogę odpowiedzialnie oddać do użytku narzędzie, jeśli nie wiem, czy i kiedy przestanie działać.

Na chwilę pozostawmy użytkowników końcowych, o których trudniej mi się wypowiadać. Skupmy się na twórcach algorytmów. Cathy O’Neil napisała książkę: Broń matematycznej zagłady. Uważam ją za fantastyczną pozycję między innymi dlatego, że pokazała problem, który w środowisku data scientists niektórzy przeczuwali, ale nie mówiło się o nim głośno. Problemem jest to, że tworzone przez nas narzędzia są później bezkrytycznie stosowane, co może doprowadzić do bardzo krzywdzących decyzji.

Problem wiąże się z tym, że modele mogą powodować efekty uboczne, że działania ich algorytmów mogą niespodziewanie wyeskalować?

To, że działania mogą wyeskalować, już wiedzieliśmy. To, że się czasami mylą – też. Ale to, że ich decyzje będą przyjmowane przez użytkowników bez żadnego krytycyzmu, wcale nie było dla nas takie oczywiste. Osoby zajmujące się statystyką są przyzwyczajone, że automatyzacja zawsze odbywa się kosztem skuteczności. Dlatego tworzymy jakiś próg błędów. Możemy oczywiście go przesuwać lub dopasowywać, ale nie zmienia to faktu, że on zawsze istnieje. Tymczasem wielu użytkowników bezkrytycznie uznaje automatyczne decyzje za nieomylne, a ich wybory podejmowane przez nich samych za doskonale racjonalne i niekwestionowane.

Przyzwyczajamy się do tego, żeby polegać na maszynie. Jeżeli próg błędu wynosi 99% i w piętnastu kolejnych próbach algorytm pokaże dobry wynik, to zapewne za szesnastym razem nie będę go skrupulatnie sprawdzał. O to chodzi?

Właśnie tak. W pewnych zastosowaniach ten poziom błędów był akceptowalny, w innych już nie jest. W ogromnej liczbie przypadków nie było dyskusji o tym, na jaki próg błędu się zgadzamy. W branży reklamowej 95% poprawności jest w porządku. Przy automatyzacji diagnozy raka już chyba niekoniecznie. Wspomniana książka właśnie tę dyskusję prowokuje. Dlatego dla twórcy algorytmów jest kluczowe, żeby mieć narzędzia potrafiące stwierdzić, czy model działa tak, jak się tego spodziewali.

Jako dydaktyk przekazuję studentom wiedzę o uczeniu maszynowym. Jednak obecnie za bardzo musimy skupiać się na optymalizacji procesu, a rzadko mamy czas na to, by dyskutować o potencjalnie negatywnych konsekwencjach. Takie uproszczenie czasami pomija kluczowe szczegóły. Potrzebujemy dokładniejszych narzędzi do analizy różnych aspektów modeli, jak również konsekwencji ich błędnego użycia. Głębsza diagnostyka algorytmów jest potrzebna, a odpowiednich narzędzi diagnostycznych póki co nie ma. Dlatego kilka zespołów, między innymi nasz, takie narzędzia chce stworzyć.

W teorii, tworząc algorytm, ustalamy funkcje sukcesu i kosztów. Dzięki temu algorytm rozumie, że jeśli jesteśmy firmą udzielającą kredytów, to ważny jest nie tylko zysk (funkcja sukcesu), ale na przykład również koszt jego osiągnięcia i ryzyko (funkcja kosztów). Na czym ma więc polegać głębsza diagnostyka?

Funkcja kosztu oczywiście jest świetnym narzędziem, ale ma pewne założenia. Między innymi takie, że dane i kontekst się nie zmieniają. Te, które pojawiły się podczas uczenia, pozostaną takie same podczas działania. To często nieprawda, z różnych powodów. Na przykład mogliśmy operować niereprezentatywnymi danymi. Albo uczyliśmy algorytm na danych o kredytach z okresu zimowego, kiedy udziela się dużej liczby kredytów konsumpcyjnych ze względu na okres świąteczny. Struktura inaczej będzie wyglądała wiosną, gdy brane są kredyty finansujące zagraniczne wakacje. Model stworzony na innych danych, dotyczących zachowania konsumentów, może po prostu przestać działać.

Zły model kredytowy nie jest jeszcze katastrofą. Może ktoś nie dostanie pożyczki na wakacje albo nasza firma straci trochę pieniędzy. Gorzej, jeśli mówimy na przykład o systemach, które diagnozują choroby dorosłych i które nagle miałby zacząć rozpoznawać choroby dzieci. Często zdarza się tak, że narzędzia działające w jednym obszarze, zaczynają być stosowane w nowych miejscach lub sytuacjach. Niejednokrotnie po zmianie danych my, twórcy algorytmu, nie potrafimy stwierdzić, czy nadal będzie on działał dobrze.

Często mówi się, że do odpowiedzialnego uczenia algorytmów potrzebne są reprezentatywne dane. Rozumiem, że trudno jest określić, na czym ma polegać ta reprezentatywność.

To jest szalenie trudne. Powiedziałbym nawet więcej: poza wyjątkami, trywialnymi sytuacjami, nie można zagwarantować, że dane, których używamy, są reprezentatywne dla przyszłego użycia. Wymagałoby to olbrzymiej wyobraźni, kreatywności i zdolności wizjonerskich, żeby wymyślić każdy przypadek, w którym może się wydarzyć coś złego.

Problemy, które mogą się pojawić, są często zaskakujące. Przykładowo jeden z nich dotyczył dyspensera mydła, który nauczył się rozpoznawać dłonie białych osób, ale nie rozpoznawał dłoni osób o ciemnym kolorze skóry. Czarnoskóra osoba musiała użyć białej chusteczki nałożonej na rękę, aby otrzymać porcję mydła. Podobnie część algorytmów uczona do rozpoznawania twarzy na bazie zdjeć aktorów hollywoodzkich produkcji miała problem z wykrywaniem twarzy Azjatów. Ewidencjonowanie takich przykładów pozwala nam uczyć się pokory w przewidywaniu, jak różnorodny musi być zbiór danych do treningu modeli.

Niestety, często czynniki wywołujące błędy są bardziej subtelne i zdecydowanie trudniej uchwytne. W przypadku diagnozy medycznej nie jest jasne, czy musimy mieć w danych reprezentatywną strukturę wiekową, czy też zwrócić uwagę na obecność pacjentów mających jakieś specyficzne choroby utrudniające działanie algorytmu, a może szczególne cechy anatomiczne, widoczne na analizowanych zdjęciach. Wiele czynników może wpływać na skuteczność algorytmu, ale na pewno im mniej go rozumiemy, tym gorzej. Potrzebujemy również narzędzi do analizy post factum, aby po zorientowaniu się o błędzie móc przeanalizować, co dokładnie poszło nie tak.

Istnieją takie obszary ludzkiej działalności, w których trudno jest coś zrobić, ale łatwo sprawdzić, czy jest to zrobione dobrze. Taką aktywnością jest malarstwo. Malowanie to czasochłonne zajęcie i wymaga umiejętności, ale gdy zobaczymy obraz, zasadniczo wiemy, czy nam się podoba. Nie zawsze jednak ocena jakości jest taka prosta. Na przykład w budownictwie nie wystarczy powiedzieć, że dom jest ładny. Ktoś musi sprawdzić, czy się nie zawali, nie spłonie albo nie wycieka w nim gaz.

Dziś żyjemy w świecie, w którym każdy, niekoniecznie nawet umiejący programować, może wytrenować model predykcyjny, i bardzo dobrze. Łatwość tworzenia sztucznej inteligencji nie poszła jednak w parze z narzędziami diagnostyki. Mamy sytuację, w której łatwo zbudować dom, ale nikt nie posiada narzędzi do sprawdzenia, czy jest on bezpieczny. To ogromne ryzyko.

Czy w ciągu ostatnich lat odczuł pan, że temat diagnostyki algorytmów i pracy nad ich wyjaśnialnością stał się ważniejszy niż wcześniej?

Oczywiście. Z jednej strony mamy o wiele większą świadomość problemu, a to generuje zainteresowanie badawcze. Wyzwanie definiują też powstające programy badawcze. Najlepszym tego przykładem jest program amerykańskiej agencji DARPA, który finansuje badania na siedemnastu amerykańskich uczelniach. W Europie mamy program CHIST-ERA, w tym roku poświęcony zagadnieniu wyjaśnialności. Organizowane są warsztaty przy konferencjach, powstały nowe czasopisma poświęcone tej tematyce. Wyjaśnialność zaczyna się dynamicznie naukowo rozwijać. Jednocześnie kwestia ta została w pewien sposób oddzielona od problemu zaufania i stronniczości.

Technologia często jest traktowana jako jeden z czynników podważających szeroko pojęte zaufanie, sporo mówi się o jego kryzysie. Czy bez wyjaśnialności w ogóle możemy myśleć o sensownych podstawach zaufania do technologii?

Wyjaśnialność, skuteczność i zaufanie to tematy powiązane. Ale bez trudu możemy wyobrazić sobie system, który jest wyjaśnialny, lecz niesprawiedliwy, stronniczy. Zaufanie do algorytmu można też osiągnąć innymi technikami niż wyjaśnialnością. Są rozwiązania, które można certyfikować, potwierdzać, że są bezpieczne, pomimo iż mają naturę niewyjaśnianej czarnej skrzynki. Ale bardzo często narzędzia do wyjaśnialności algorytmów można i należy wykorzystać jako element weryfikacji sprawiedliwości lub stronniczości czarnych skrzynek.

W codziennym życiu łatwo znaleźć sytuacje, w których ufamy systemom, których nie rozumiemy. Na przykład nie wiem, jak działa sieć neuronowa w mózgu psa, ale bawiąc się z nim, wielokrotnie tworzę zaufanie do jego zachowania. Buduję w sobie przekonanie, że jeśli rzucę psu piłkę, to on ją złapie i przyniesie. Zaufanie bierze się tutaj z faktu, że od paru lat powtarzamy tą samą czynność, co stworzyło w mózgu psa – ale i moim – pewien model działania. Ja i pies wiemy, co się wydarzy.

W przypadku sztucznej inteligencji problem zaufania jest bardziej złożony. Zależy nam na tym, by system był godny zaufania. Ale nie chcemy, by zaufanie było samo w sobie jedynym kryterium. Mogłoby to doprowadzić do sytuacji, w której sztuczna inteligencja wprowadzałaby nas w błąd po to, by zwiększyć zaufanie do swoich (błędnych) decyzji.

Jak by to mogło wyglądać?

Bardzo lubię przykład eksperymentu, w którym lekarzom pokazywano wyniki automatycznej diagnozy złamania kości. Im więcej algorytm dostarczał szczegółów co do diagnozy i kolejnych kroków leczenia, tym bardziej lekarze ufali algorytmowi. A przecież im więcej szczegółów, tym większe prawdopodobieństwo, że coś się nie zgadza! Rozpoznać złamaną kość jest dosyć łatwo, ułożyć plan leczenia – o wiele trudniej. Skuteczność wykrywania złamań jest z pewnością wyższa niż skuteczność ich szczegółowego opisywania. Ludzkie zaufanie nie zawsze jest jednak racjonalne.

Bardziej ufamy systemom, które zdejmują z nas część odpowiedzialności, ale nie idzie to w parze ze skutecznością. To ona powinna być celem. Zaufanie jest pewnym narzędziem, które trzeba móc skutecznie weryfikować. Stąd potrzeba narzędzi do diagnozy.

Diagnoza może stanowić podstawę do zignorowania sugestii algorytmu czy odwołania się od jego decyzji?

W sytuacji pojedynczej decyzji, gdy dany człowiek analizuje jeden algorytm, pewnie i tak jesteśmy na straconej pozycji. Najczęściej nie mamy dobrego punktu odniesienia. Wolałbym, żeby w podejmowaniu ważnych decyzji człowiek miał do dyspozycji wyniki nie jednego, ale dwóch lub trzech konkurujących ze sobą modeli. Analizując, dlaczego diagnozy są różne, jakie dane są brane pod uwagę i które różnice są faktycznie istotne, człowiek będzie potrafił wykorzystać również swoją wiedzę i podjąć lepszą decyzję.

Często narzekamy na sztuczną inteligencję, że nie potrafi wytłumaczyć nam swojej decyzji, ale człowiek przecież też konstruuje wyjaśnienia swoich decyzji post factum. Psychologia pokazuje, że do publicznych wytłumaczeń dobieramy inne czynniki niż te, które nami faktycznie kierują. Czy więc algorytmy nie mają potencjału, aby uzdrowić sytuację? Czy jeśli uda nam się zadbać o ich wytłumaczalność, to przynajmniej będziemy znać prawdziwe czynniki warunkujące decyzję?

Nie wiem. W przypadku amerykańskiego systemu COMPASS, wdrożonego w sądach, właśnie taka była intencja: sędziowie są stronniczy, więc zbudujmy algorytm, który jest tej stronniczości pozbawiony. W rzeczywistości algorytm pracował na historycznych danych stronniczych ludzkich decyzji, a więc tej stronniczości siłą rzeczy się nauczył. Tego się jednak twórcy nie spodziewali. Musiała to dopiero odkryć fundacja ProPublika, analizująca działania systemu. Całkowicie zgadzam się z tym, że często nie wiemy, dlaczego podjęliśmy jedną konkretną decyzję. Ale nie jesteśmy bezsilni. Analiza dużej liczby decyzji pozwala na odkrycie reguł.

Nie jest prawdą, że nie wiemy, jak działa nasz mózg i on sam jest wielką czarną skrzynką. Od dziesiątek lat wiele badaczy pracuje nad lepszym zrozumieniu sposobu działania naszego mózgu i podejmowania decyzji. A jeśli decyzje człowieka lub prognozy algorytmu dotyczą spraw społecznie ważnych, to powinniśmy dążyć do lepszego zrozumienia ich przyczyn.