REKLAMA

REKLAMA

Kategorie
Zaloguj się

Zarejestruj się

Proszę podać poprawny adres e-mail Hasło musi zawierać min. 3 znaki i max. 12 znaków
* - pole obowiązkowe
Przypomnij hasło
Witaj
Usuń konto
Aktualizacja danych
  Informacja
Twoje dane będą wykorzystywane do certyfikatów.

ChatGPT-4 zdał egzamin z radiologii ale wg naukowców lepiej mu nie wierzyć

ChatGPT-4 zdał egzamin z radiologii ale wg naukowców lepiej mu nie wierzyć
ChatGPT-4 zdał egzamin z radiologii ale wg naukowców lepiej mu nie wierzyć
Shutterstock

REKLAMA

REKLAMA

Najnowsza wersja ChatGPT potrafi interpretować wyniki medycznych badań obrazowych na tyle dobrze, że zdała egzamin na lekarza radiologa; ma jednak nadal pewne widoczne wady, ograniczające wiarygodność tak postawionych diagnoz – informuje pismo „Radiology”.

Czym jest ChatGPT?

ChatGPT to chatbot wykorzystujący sztuczną inteligencję (AI). Dzięki modelowi głębokiego uczenia się rozpoznaje wzorce i relacje między słowami w ogromnych zbiorach danych w celu generowania odpowiedzi podobnych do ludzkich. Bywa jednak, że jego odpowiedzi nie są zgodne ze stanem rzeczywistym.

„Wykorzystanie dużych modeli językowych, takich jak ChatGPT, rośnie i będzie rosło — powiedział główny autor, dr Rajesh Bhayana, radiolog z University Medical Imaging w Toronto (Kanada). - Nasze badania dają wgląd w możliwości ChatuGPT w kontekście radiologii, podkreślając niesamowity potencjał dużych modeli językowych, wraz z obecnymi ograniczeniami, które czynią go niewiarygodnym”.

Jak zaznaczył dr Bhayana, ChatGPT został niedawno uznany za najszybciej rozwijającą się aplikację konsumencką w historii, a podobne chatboty są włączane do popularnych wyszukiwarek, takich jak Google i Bing, których lekarze i pacjenci używają szukając informacji medycznych.

REKLAMA

ChatGPT 3.5 a egzamin z radiologii

Aby ocenić skuteczność AI w zdawaniu egzaminu na radiologa oraz zbadać mocne i słabe strony, dr Bhayana i współpracownicy najpierw przetestowali ChatGPT w oparciu o GPT-3.5, obecnie najczęściej używaną wersję, stosując treść i poziom trudności egzaminów Canadian Royal College i American Board of Radiology

Pytania nie zawierały obrazów i zostały tak pogrupowane, aby ocenić prostsze (przywoływanie wiedzy, podstawowe zrozumienie) i bardziej złożone czynności myślowe (zastosowanie, analiza, synteza). W przypadku tych bardziej złożonych oceniano z kolei opisywanie znalezionych cech obrazu, postepowanie kliniczne, klasyfikację oraz powiązania chorób.

Działanie ChatuGPT oceniono ogólnie oraz według rodzaju i tematu pytania.

Naukowcy odkryli, że ChatGPT oparty na GPT-3.5 odpowiedział poprawnie na 69 proc. pytań (104 ze 150), blisko pozytywnej oceny 70 proc. stosowanej przez Royal College w Kanadzie; miał jednak trudności z pytaniami dotyczącymi: myślenia wyższego rzędu (60 proc; 53 z 89), kalkulacji i klasyfikacji (25 proc., 2 z 8) oraz stosowania pojęć (30 proc., 3 z 10). Jego słabe wyniki w pytaniach dotyczących myślenia wyższego rzędu nie były zaskakujące biorąc pod uwagę brak wstępnego szkolenia w zakresie radiologii.

GPT-4 zdał egzamin

W kolejnym badaniu udostępniony w marcu 2023 jako płatna usługa GPT-4 odpowiedział poprawnie na 81 proc. (121 ze 150) tych samych pytań, przewyższając GPT-3.5 i przekraczając próg zaliczenia wynoszący 70 proc. GPT-4 działał znacznie lepiej niż GPT-3.5 w przypadku bardziej skomplikowanych intelektualnie czynności, zwłaszcza gdy chodziło o opisy wyników badań obrazowych (85 proc.) i stosowanie pojęć (90 proc.).

Wyniki sugerują, że ulepszone zaawansowane możliwości rozumowania GPT-4 przekładają się na lepszą wydajność w kontekście radiologicznym.

„Nasze badanie pokazuje imponującą poprawę wydajności ChatuGPT w radiologii w krótkim okresie, podkreślając rosnący potencjał dużych modeli językowych w tym kontekście” – powiedział dr Bhayana.

Ważne

GPT-4 nie wykazał poprawy w przypadku pytań dotyczących czynności umysłowych niższego rzędu (80 proc. vs 84 proc.) i odpowiedział niepoprawnie na 12 pytań, na które GPT-3.5 odpowiedział poprawnie, co rodzi pytania dotyczące jego wiarygodności w zakresie gromadzenia informacji.

Chat GPT potrafi konsekwentnie i pewnie udzielać błędnych odpowiedzi

„Początkowo byliśmy zaskoczeni dokładnymi i pewnymi odpowiedziami ChatuGPT na niektóre trudne pytania radiologiczne, ale potem równie zaskoczeni niektórymi bardzo nielogicznymi i niedokładnymi twierdzeniami” – powiedział dr Bhayana.

Co prawda niebezpieczna tendencja ChatuGPT do generowania niedokładnych odpowiedzi (zwanych „halucynacjami”) jest rzadsza w wersji GPT-4, nadal jednak ogranicza jego użyteczność w edukacji medycznej i praktyce klinicznej.

Oba badania wykazały, że ChatGPT konsekwentnie wypowiadał się w sposób wskazujący, że jest czegoś pewien, nawet jeśli nie miał racji.

"Dla mnie jest to jego największe ograniczenie. Obecnie ChatGPT najlepiej nadaje się do pobudzania pomysłów, pomagania w rozpoczęciu procesu pisania medycznego i podsumowywania danych. Jeśli jest używany do szybkiego przywoływania informacji, zawsze musi być zweryfikowany" – zaznaczył dr Bhajana.
(PAP)
Autor: Paweł Wernicki
pmw/ bar/

 

Źródło: PAP

Oceń jakość naszego artykułu

Dziękujemy za Twoją ocenę!

Twoja opinia jest dla nas bardzo ważna

Powiedz nam, jak możemy poprawić artykuł.
Zaznacz określenie, które dotyczy przeczytanej treści:
Autopromocja

REKLAMA

QR Code

REKLAMA

Prawo
Zapisz się na newsletter
Zobacz przykładowy newsletter
Zapisz się
Wpisz poprawny e-mail
Wykaz niedziel handlowych w 2025 r. W lutym i marcu 2025 r. nie ma żadnej. Najbliższa dopiero w połowie kwietnia

Przez cały luty i przez cały marzec 2025 r. nie ma żadnej niedzieli handlowej. Następna dopiero w połowie kwietnia 2025 r.

Neosędziowie - dwa projekty ustaw. Awanse będą anulowane, status młodych sędziów potwierdzony. Część wyroków może być podważona

Dokonane po 2017 r. powołania 1,5 tys. sędziów awansowanych do sądów wyższych szczebli lub wybranych spoza sądownictwa były wadliwe. To główne założenie dwóch projektów przygotowanych i przedłożonych 3 lutego 2025 r. jako rekomendacje dla Ministra Adama Bodnara przez działającą przy resorcie Komisję Kodyfikacyjną Ustroju Sądownictwa i Prokuratury. Według jednej koncepcji sędziowie ci traciliby stanowiska na mocy samej ustawy, według drugiej - na mocy uchwał nowej KRS. Jednocześnie - jak przewidziano - nie zmieni się status 1,7 tys. powołanych w latach 2018-2025 młodych sędziów, zaczynających swoją drogę zawodową. Ich nominacje mają zostać potwierdzone, co uniemożliwi kwestionowanie w przyszłości statusu tej grupy.

Renta wdowia 2025 r. Jak przygotować się do wizyty w ZUS?

Renta wdowia 2025 r. Jak przygotować się do wizyty w ZUS? Jakie dokumenty przygotować? Co należy zrobić przed złożeniem wniosku o rentę wdowią? Od 1 stycznia 2025 r. do ZUS wpłynęło ponad 298,3 tys. wniosków o rentę wdowią.

Renta rodzinna 2025 - dla kogo, ile wynosi jak uzyskać?

Przyznanie renty rodzinnej uzależnione jest od spełnienia określonych warunków, które dotyczą zarówno osoby zmarłej, jak i członków rodziny ubiegających się o to świadczenie. Kto może uzyskać rentę wdowią? Jak to zrobić?

REKLAMA

Niepełnosprawność niewidoczna. Co oznacza i jaka pomoc? [PRZYKŁADY]

Nie każda niepełnosprawność jest widoczna od razu. Często zdarza się, iż choroby i związane z nimi dolegliwości utrudniają chorym codzienne funkcjonowanie, chociaż nie jest to łatwe do zauważenia przez otoczenie na pierwszy rzut oka. Kiedy mamy do czynienia z niepełnosprawnością ukrytą?

Kto może skorzystać z ulgi na zakup telefonu i koszt abonamentu? Zbliża się czas zeznań podatkowych. Sprawdź, kto skorzysta rozliczając PIT

Zbliża się okres składania rocznych rozliczeń podatkowych, a podatnicy zadają sobie pytanie, z jakich ulg i zwolnień będą mogli skorzystać. W ramach ulgi rehabilitacyjnej można odliczyć określone wydatki. Kto ma prawo do odliczenia kosztów zakupu telefonu?

USA rozważają nałożenie dodatkowych ceł na import z UE. Co to oznacza dla gospodarki?

Wojna handlowa między USA a UE może przybrać nowy wymiar. Po kilku latach napięć związanych z subwencjami dla producentów samolotów, USA planują nałożyć dodatkowe cła na towary z Unii Europejskiej. Eksperci ostrzegają, że mogą one wpłynąć na ceny, łańcuchy dostaw i relacje handlowe. Czy nowa administracja Trumpa doprowadzi do zaostrzenia konfliktu?

Wniosek o rentę wdowią: jak przygotować się do wizyty w ZUS-ie? Jakie dokumenty wziąć ze sobą?

Wniosek o rentę wdowią można złożyć na specjalnym formularzu o symbolu ERWD. Można to zrobić także w każdej placówce ZUS przeznaczonej do obsługi interesantów. Jeżeli wdowa lub wdowiec będzie potrzebował wsparcia, pracownicy ZUS pomogą mu wypełnić wniosek. Jednak trzeba wiedzieć jak przygotować się do wizyty w ZUS-ie. Jakie informacje trzeba mieć i jakie dokumenty zabrać ze sobą?

REKLAMA

3510,92 zł na rękę. Pierwsze przelewy wpływają już na konta pracowników

Nowy rok przyniósł długo wyczekiwaną podwyżkę płacy minimalnej. Od stycznia 2025 roku wynosi ona 4666 zł brutto, co oznacza 3510,92 zł na rękę dla pracowników zatrudnionych na pełen etat. To jednak nie wszystko – wzrosła również minimalna stawka godzinowa, która wynosi teraz 30,50 zł brutto. Pierwsze wynagrodzenia w nowej wysokości już trafiają na konta!

4054,84 zł – tyle wynosi przeciętne świadczenie kompensacyjne. Wysokość swojego świadczenia można wyliczyć korzystając z kalkulatora ZUS

Nauczycielskie świadczenie kompensacyjne w grudniu 2024 r. pobierało 11,8 tys. osób. Przeciętna wysokość tego świadczenia wyniosła 4054,84 zł. Do wyliczenia świadczenia kompensacyjnego ZUS przygotował specjalny kalkulator.

REKLAMA