Rak piersi: ChatGPT odpowiedział poprawnie na 88 proc. pytań dotyczących badań przesiewowych

Badanie przeprowadzone przez naukowców z University of Maryland School of Medicine (UMSOM) wykazało, że odpowiedzi generowane przez ChatGPT na 25 pytań związanych z profilaktyką i wczesnym wykrywaniem raka piersi były poprawne w 88 proc. przypadków. Jednak niektóre z nich były albo niedokładne, albo fikcyjne - wynika z badania opublikowanego w tym tygodniu w czasopiśmie “Radiology”.

W lutym 2023 r. badacze z UMSOM stworzyli zestaw 25 pytań dotyczących m.in. ryzyka zachorowania na raka piersi, częstości wykonywania mammografii, gęstości piersi czy skali BI-RADS. Każde z nich przesłali do ChatGPT trzy razy, aby sprawdzić, jakie odpowiedzi zostały wygenerowane.

Rak piersi: ChatGPT odpowiedział poprawnie na 88 proc. pytań dotyczących badań przesiewowych

Trzech radiologów specjalizujących się w wykonywaniu mammografii oceniło te odpowiedzi - stwierdzili, że 22 z 25 były poprawne.

– Odkryliśmy, że ChatGPT odpowiedział poprawnie na pytania w około 88 proc. przypadków, co jest dość niesamowite – powiedział autor badania dr Paul Yi z UMSOM oraz dyrektor UM Medical Intelligent Imaging Center (UM2ii).

ChatGPT poprawnie odpowiedział na pytania dotyczące objawów raka piersi, grup ryzyka oraz wieku i zaleceń dotyczących częstotliwości wykonywania mammografii.

Zastrzeżenia dotyczące ChatGPT

Autorzy badania mają jednak pewne zastrzeżenia do ChatGPT. Zwracają uwagę na niespójność odpowiedzi na dwa pytania - każde z nich przesłano 3 razy i za każdym razem otrzymano różne odpowiedzi. Pytania dotyczyły osobistego ryzyka zachorowania na raka piersi oraz miejsca, gdzie można wykonać mammografię.

Ponadto Chatbot udzielił jednej odpowiedzi, którą naukowcy uznali za nieprawidłową. Chatbot dostarczył bowiem przestarzałych informacji dotyczących planowania mammografii w związku ze szczepieniem przeciwko COVID-19. Zalecenie, aby opóźnić wykonanie mammografii od czterech do sześciu tygodni po szczepieniu przeciwko COVID-19, które podał ChatGPT, zostało zmienione w lutym 2022 r. Tymczasem Centers for Disease Control and Prevention (CDC) popiera wytyczne United States Preventive Services Task Force (USPSTF), które nie zalecają opóźnienia mammografii w związku z tym szczepieniem.

PRZECZYTAJ TAKŻE: ChatGPT, nowy system sztucznej inteligencji, zdał amerykański egzamin medyczny

Ponadto naukowcy zwrócili uwagę, że odpowiedzi udzielane przez ChatGPT nie zawsze są wyczerpujące:

– ChatGPT w swoich odpowiedziach dostarczył tylko jeden zestaw zaleceń dotyczących badań przesiewowych w kierunku raka piersi, wydany przez American Cancer Society, ale nie wspomniał o różnych zaleceniach wydanych przez CDC lub USPSTF - powiedziała główna autorka badania dr Hana Haver z University of Maryland Medical Center.

ChatGPT - "jako społeczność medyczna jesteśmy odpowiedzialni za ocenę tych technologii“

– Należy mieć świadomość, że są to nowe, niesprawdzone technologie i nadal powinniśmy polegać na swoim lekarzu, a nie na ChatGPT - podkreślił dr Paul Yi.

Dodał, że ​​ChatGPT czasami wymyśla fałszywe artykuły w czasopismach, aby poprzeć swoje twierdzenia.

Ekspert i pozostali naukowcy analizują teraz, w jaki sposób ChatGPT radzi sobie z zaleceniami dotyczącymi badań przesiewowych w kierunku raka płuca i szukają sposobów ulepszenia zaleceń wydawanych przez ChatGPT, aby były dokładniejsze i kompletne, a także zrozumiałe dla osób bez wysokiego poziomu wykształcenia.

– Wraz z szybką ewolucją ChatGPT i innych wielkich modeli językowych, jako społeczność medyczna jesteśmy odpowiedzialni za ocenę tych technologii i ochronę naszych pacjentów przed potencjalnymi szkodami, które mogą wynikać z nieprawidłowych zaleceń dotyczących badań przesiewowych lub przestarzałych strategii profilaktycznych – powiedział Mark T. Gladwin, MD, dziekan University of Maryland School of Medicine, wiceprezes ds. medycznych University of Maryland (Baltimore, USA).

Źródło: Inside Precision Medicine

PRZECZYTAJ TAKŻE: AI pomoże wykryć raka piersi. Technologię opracowali krakowscy specjaliści

Rak piersi - odkryto nowy gen ATRIP, którego mutacje zwiększają ryzyko rozwoju nowotworu