Trzeba przyznać, że dr hab. Michał Żrmihorski z Instytutu Biologii Ssaków PAN w Białowieży zachował się jak na rasowego naukowca przystało. Gdy wszyscy wokoło mówią, że SI szybko przebiją nas we wszystkim, zabiorą nam pracę i za chwilkę będą wykorzystywane dosłownie wszędzie, powiedział krótko: "sprawdzam". Wyniki swojej pracy opublikował na łamach naukowego czasopisma "Biological Conservation".
- Zapytałem Chata GPT (wersja 3.5) o względną liczebność 199 gatunków ptaków w Polsce, prosząc o nadanie każdemu z nich wskaźnika liczebności, od 0 (najrzadszy) - do 10, oraz o określenie swojej (czyli czata) pewności dotyczącej każdego z tych 199 szacunków – relacjonuje w rozmowie z Polską Agencją Prasową.
Odpowiedzi SI naukowiec porównał z danymi ogólnopolskiego Monitoringu Pospolitych Ptaków Lęgowych (MPPL), który prowadzony jest od przeszło 20 lat. Chat GPT swoją wiedzę czerpie z rozmaitych źródeł oraz od samych użytkowników rozmawiających z nim przez cały czas. Podobnie jak prezydent Andrzej Duda cały czas się czegoś uczy. Dzięki temu odpowiedzi Chat GPT potrafią zaskakiwać ostrością cienia mgły. Tym razem jednak zaskoczyły czymś wręcz przeciwnym.
- Korelacja prawdziwej liczebności i szacunków GPT jest pozytywna, ale dość słaba – opowiada dr hab. Żmichowski - GPT dość często się myli, szczególnie w odniesieniu do gatunków rzadkich; czasami popełnia ewidentne błędy. Co gorsze, te błędne estymacje czata są nie do odróżnienia od poprawnych, wynik zapytania zawsze wygląda podobnie, czat rzadko sygnalizuje niepewność, a zapytany o to, jak pewny jest swoich oszacowań - zawsze odpowiada, że raczej pewny lub bardzo pewny (certainty score odpowiedzi nigdy nie był mniejszy niż 5 na skali od 0 do 10).
Ciekawostką, którą zauważył naukowiec jest to, że Chat GPT pytany o swoje źródła odpowiada o dostępie do zweryfikowanych informacji naukowych, ale nie podaje konkrentych źródeł. Pozwala to mieć poważne wątpliwości do jakości tych źródeł. Kolejnym aspektem jest to, że SI korzysta z materiałów w znanych sobie jezykach. Dlatego siłą rzeczy, źródła w językach takich jak polski, białoruski albo z innej strony globu, jak choćby aafrikaas, będą w znacznej mniejszości, jeśli nie szczątkowe. To pozwala nabrać dystansu i przypomnieć sobie, że SI to wciąż narzędzia, nie partnerzy ludzkości, nie samoświadome cyfrowe istoty i mają wciąż wiele ograniczeń.
- Jeśli będziemy coraz częściej traktować różne modele sztucznej inteligencji jako źródło wiedzy, wspomaganie decyzji, podpowiedź w sytuacjach niepewności (a wszystko na to wskazuje, że będziemy, nawet już to robimy), to musimy dysponować lepszymi estymacjami niepewności informacji dostarczanych przez te narzędzia. Halucynacja – tak nazywa się ‘wymyślanie’ przez czata odpowiedzi w sytuacji, gdy jego dane treningowe w danym temacie nie są wystarczająco kompletne – jest szczególnie groźna, jeśli nie umiemy jej rozpoznać, a bezkrytyczne stosowanie AI może doprowadzić do rozpowszechniania fałszywych informacji i wielu błędnych decyzji – podsumowuje naukowiec, a każdy korzystający z SI, niezależnie od tego czy do pracy naukowej, czy też innej, powinien o tym pamiętać.
