REKLAMA

REKLAMA

Kategorie
Zaloguj się

Zarejestruj się

Proszę podać poprawny adres e-mail Hasło musi zawierać min. 3 znaki i max. 12 znaków
* - pole obowiązkowe
Przypomnij hasło
Witaj
Usuń konto
Aktualizacja danych
  Informacja
Twoje dane będą wykorzystywane do certyfikatów.

ChatGPT-4 zdał egzamin z radiologii ale wg naukowców lepiej mu nie wierzyć

ChatGPT-4 zdał egzamin z radiologii ale wg naukowców lepiej mu nie wierzyć
ChatGPT-4 zdał egzamin z radiologii ale wg naukowców lepiej mu nie wierzyć
Shutterstock

REKLAMA

REKLAMA

Najnowsza wersja ChatGPT potrafi interpretować wyniki medycznych badań obrazowych na tyle dobrze, że zdała egzamin na lekarza radiologa; ma jednak nadal pewne widoczne wady, ograniczające wiarygodność tak postawionych diagnoz – informuje pismo „Radiology”.

Czym jest ChatGPT?

ChatGPT to chatbot wykorzystujący sztuczną inteligencję (AI). Dzięki modelowi głębokiego uczenia się rozpoznaje wzorce i relacje między słowami w ogromnych zbiorach danych w celu generowania odpowiedzi podobnych do ludzkich. Bywa jednak, że jego odpowiedzi nie są zgodne ze stanem rzeczywistym.

„Wykorzystanie dużych modeli językowych, takich jak ChatGPT, rośnie i będzie rosło — powiedział główny autor, dr Rajesh Bhayana, radiolog z University Medical Imaging w Toronto (Kanada). - Nasze badania dają wgląd w możliwości ChatuGPT w kontekście radiologii, podkreślając niesamowity potencjał dużych modeli językowych, wraz z obecnymi ograniczeniami, które czynią go niewiarygodnym”.

Jak zaznaczył dr Bhayana, ChatGPT został niedawno uznany za najszybciej rozwijającą się aplikację konsumencką w historii, a podobne chatboty są włączane do popularnych wyszukiwarek, takich jak Google i Bing, których lekarze i pacjenci używają szukając informacji medycznych.

REKLAMA

ChatGPT 3.5 a egzamin z radiologii

Aby ocenić skuteczność AI w zdawaniu egzaminu na radiologa oraz zbadać mocne i słabe strony, dr Bhayana i współpracownicy najpierw przetestowali ChatGPT w oparciu o GPT-3.5, obecnie najczęściej używaną wersję, stosując treść i poziom trudności egzaminów Canadian Royal College i American Board of Radiology

Pytania nie zawierały obrazów i zostały tak pogrupowane, aby ocenić prostsze (przywoływanie wiedzy, podstawowe zrozumienie) i bardziej złożone czynności myślowe (zastosowanie, analiza, synteza). W przypadku tych bardziej złożonych oceniano z kolei opisywanie znalezionych cech obrazu, postepowanie kliniczne, klasyfikację oraz powiązania chorób.

Działanie ChatuGPT oceniono ogólnie oraz według rodzaju i tematu pytania.

Naukowcy odkryli, że ChatGPT oparty na GPT-3.5 odpowiedział poprawnie na 69 proc. pytań (104 ze 150), blisko pozytywnej oceny 70 proc. stosowanej przez Royal College w Kanadzie; miał jednak trudności z pytaniami dotyczącymi: myślenia wyższego rzędu (60 proc; 53 z 89), kalkulacji i klasyfikacji (25 proc., 2 z 8) oraz stosowania pojęć (30 proc., 3 z 10). Jego słabe wyniki w pytaniach dotyczących myślenia wyższego rzędu nie były zaskakujące biorąc pod uwagę brak wstępnego szkolenia w zakresie radiologii.

GPT-4 zdał egzamin

W kolejnym badaniu udostępniony w marcu 2023 jako płatna usługa GPT-4 odpowiedział poprawnie na 81 proc. (121 ze 150) tych samych pytań, przewyższając GPT-3.5 i przekraczając próg zaliczenia wynoszący 70 proc. GPT-4 działał znacznie lepiej niż GPT-3.5 w przypadku bardziej skomplikowanych intelektualnie czynności, zwłaszcza gdy chodziło o opisy wyników badań obrazowych (85 proc.) i stosowanie pojęć (90 proc.).

Wyniki sugerują, że ulepszone zaawansowane możliwości rozumowania GPT-4 przekładają się na lepszą wydajność w kontekście radiologicznym.

„Nasze badanie pokazuje imponującą poprawę wydajności ChatuGPT w radiologii w krótkim okresie, podkreślając rosnący potencjał dużych modeli językowych w tym kontekście” – powiedział dr Bhayana.

Ważne

GPT-4 nie wykazał poprawy w przypadku pytań dotyczących czynności umysłowych niższego rzędu (80 proc. vs 84 proc.) i odpowiedział niepoprawnie na 12 pytań, na które GPT-3.5 odpowiedział poprawnie, co rodzi pytania dotyczące jego wiarygodności w zakresie gromadzenia informacji.

Chat GPT potrafi konsekwentnie i pewnie udzielać błędnych odpowiedzi

„Początkowo byliśmy zaskoczeni dokładnymi i pewnymi odpowiedziami ChatuGPT na niektóre trudne pytania radiologiczne, ale potem równie zaskoczeni niektórymi bardzo nielogicznymi i niedokładnymi twierdzeniami” – powiedział dr Bhayana.

Co prawda niebezpieczna tendencja ChatuGPT do generowania niedokładnych odpowiedzi (zwanych „halucynacjami”) jest rzadsza w wersji GPT-4, nadal jednak ogranicza jego użyteczność w edukacji medycznej i praktyce klinicznej.

Oba badania wykazały, że ChatGPT konsekwentnie wypowiadał się w sposób wskazujący, że jest czegoś pewien, nawet jeśli nie miał racji.

"Dla mnie jest to jego największe ograniczenie. Obecnie ChatGPT najlepiej nadaje się do pobudzania pomysłów, pomagania w rozpoczęciu procesu pisania medycznego i podsumowywania danych. Jeśli jest używany do szybkiego przywoływania informacji, zawsze musi być zweryfikowany" – zaznaczył dr Bhajana.
(PAP)
Autor: Paweł Wernicki
pmw/ bar/

 

Źródło: PAP

Oceń jakość naszego artykułu

Dziękujemy za Twoją ocenę!

Twoja opinia jest dla nas bardzo ważna

Powiedz nam, jak możemy poprawić artykuł.
Zaznacz określenie, które dotyczy przeczytanej treści:
Autopromocja

REKLAMA

QR Code

REKLAMA

Prawo
Zapisz się na newsletter
Zobacz przykładowy newsletter
Zapisz się
Wpisz poprawny e-mail
Członek komisji wyborczej 2025 [WYNAGRODZENIE]

W tym roku, dokładnie 18 maja 2025 r., odbywają się w Polsce wybory na Prezydenta RP. Na stronie internetowej pkw.gov.pl można uzyskać niezbędne informacje dotyczące tego, jak zostać członkiem komisji wyborczej w 2025 roku. Jakie wynagrodzenie otrzymuje członek komisji wyborczej?

Trzynastka dla kolejnej grupy zawodowej! Kiedy będą pierwsze wypłaty w kulturze? Na pewno szybciej niż podwyżki, na które nie ma co liczyć

Trzynastki trafiają na konta pracowników sfery budżetowej, co jednak nie oznacza, że na dodatkowy przelew może liczyć każdy z nich. Wszystko jednak wskazuje na to, że już niedługo nowa grupa zawodowa będzie mogła cieszyć się dodatkowym wynagrodzeniem roczny. Niestety na podwyżki nie ma co liczyć.

Poczta Polska: e-Doręczenia działają już prawidłowo. Nie będzie problemów gdy ten system wdrożą przedsiębiorcy i inne podmioty

Wszystkie usługi związane z e-Doręczeniami działają w tej chwili prawidłowo, a firma nie przewiduje problemów, gdy do systemu dołączą nowe podmioty - powiedział PAP wiceprezes Poczty Polskiej ds. cyfryzacji Dariusz Śpiewak. Jak dodał, przychody z e-Doręczeń nie pokrywają wydatków.

Krajowe przepisy prawa dotyczące obostrzenia przepisów unijnych związanych z wprowadzonymi sankcjami na Rosję na przywóz/wywóz towarów z terytorium UE

Ustawa o zmianie ustawy o szczególnych rozwiązaniach w zakresie przeciwdziałania wspieraniu agresji na Ukrainę oraz służących ochronie bezpieczeństwa narodowego oraz ustawy o Krajowej Administracji Skarbowej od kilku dni czeka na biurku prezydenta na podpis. Należy się spodziewać w każdej chwili informacji, że od momentu złożenia podpisu, ustawa wchodzi w życie w ciągu 14 dni.

REKLAMA

Siła wyższa 2025 r. Pracodawca ma obowiązek zwolnić Cię z pracy

Pracodawca ma obowiązek zwolnić Cię z pracy. Czym jest siła wyższa? Czy za zwolnienie od pracy z powodu działania siły wyższej należy się wynagrodzenie? Jeśli tak, to jakie? Ile dni przysługuje na zwolnienie od pracy z powodu działania siły wyższej? Jak poinformować pracodawcę?

Ulga hipoteczna. Rewolucyjny trik na zakup pierwszego mieszkania

Rosnące ceny nieruchomości i wysokie raty kredytowe paraliżują polski rynek mieszkaniowy. Proponowana "ulga hipoteczna" – umożliwiająca odliczenie wydatków na zakup pierwszej nieruchomości do 200 tys. zł – może stać się przełomowym wsparciem dla osób marzących o własnym kącie.

Sejm na żywo: 5 lutego [Transmisja online]

Posiedzenie Sejmu, dzień pierwszy. Dziś posłowie zajmą się m.in. rządowym projektem nowelizacji ustawy o podatku akcyzowym i ustawy o zdrowiu publicznym. Przewiduje on objęcie podatkiem akcyzowym nowych kategorii wyrobów: wielorazowych papierosów elektronicznych, podgrzewaczy, urządzeń wielofunkcyjnych i części do nich, saszetek nikotynowych oraz innych wyrobów nikotynowych.

Policja. Strażacy. Straż Graniczna. Z dodatkiem mieszkaniowym 900 zł - 1800 zł, ale bez prawa do protestów?

To informacja przekazana przez zastępcę przewodniczącego Komisji Krajowej NSZZ "Solidarność" Bartłomieja Mickiewicza. Upubliczniła ją Polska Agencja Prasowa. Dodatek mieszkaniowy 900 zł - 1800 zł mają otrzymać nie tylko policjanci, ale i strażacy oraz funkcjonariusze Straży Granicznej. To korzystna informacja. Pojawiła się jednak kwestia dodatkowa - rezygnacja z protestów służb mundurowych do końca 2029 r.

REKLAMA

5153 zł brutto minimalnego wynagrodzenia. Projekt trafił do opiniowania. Trwają prace nad wprowadzeniem zmian. Od kiedy będą obowiązywały?

Do opiniowania trafił projekt rozporządzenia zmieniający minimalne stawki wynagrodzenia zasadniczego nauczycieli. Jak z niego wynika, będą one wynosiły od 5153 zł do 6211 złotych brutto. Co to oznacza w praktyce i od kiedy będą obowiązywały zmiany?

TSUE: nie można systemowo karać uchodźcy za niezdany egzamin z integracji społecznej (w tym z języka). Grzywna tylko w wyjątkowych przypadkach

W dniu 4 lutego 2025 r. Trybunał Sprawiedliwości Unii Europejskiej w Luksemburgu orzekł w wyroku, że prawo UE nie sprzeciwia się (pod pewnymi warunkami), by beneficjenci ochrony międzynarodowej (w tym uchodźcy, azylanci) mieli obowiązek zdania egzaminu z integracji społecznej. Ale zdaniem TSUE niezdanie takiego egzaminu nie może być karane w sposób systemowy. Grzywnę można nałożyć jedynie w wyjątkowych przypadkach, takich jak przypadki świadczące o udowodnionym i uporczywym braku woli integracji

REKLAMA