Η Τεχνητή Νοημοσύνη (ΤΝ) μπορεί να ανταποκρίνεται αποτελεσματικά σε ιατρικές εξετάσεις πολλαπλής επιλογής, αλλά εξακολουθεί να δυσκολεύεται όταν αντιμετωπίζει μεταβαλλόμενες κλινικές πληροφορίες. Σύμφωνα με έρευνα που δημοσιεύτηκε στο New England Journal of Medicine, τα μεγάλα γλωσσικά μοντέλα δεν μπορούν ακόμη να αντικαταστήσουν την κρίση ενός έμπειρου γιατρού σε πραγματικά περιστατικά.
Ο Liam McCoy, ειδικευόμενος νευρολόγος στο Πανεπιστήμιο της Αλμπέρτα, εξέτασε την ικανότητα των μοντέλων ΤΝ να εκτελούν κλινική συλλογιστική, δηλαδή την ικανότητα να ταξινομούν τα συμπτώματα, να παραγγέλνουν εξετάσεις, να αξιολογούν νέες πληροφορίες και να καταλήγουν σε σωστή διάγνωση. Τα αποτελέσματα έδειξαν ότι, ενώ τα μοντέλα μπορούν να αποδώσουν καλά σε εξετάσεις γνώσεων, δυσκολεύονται να προσαρμόσουν τη σκέψη τους σε νέες και αβέβαιες πληροφορίες και συχνά δεν αναγνωρίζουν άσχετα δεδομένα.
Περιορισμοί της Τεχνητής Νοημοσύνης στην Κλινική Σκέψη
Ο McCoy εξηγεί ότι οι πρόσφατες βελτιώσεις που σχεδιάστηκαν για να ενισχύσουν τη συλλογιστική της ΤΝ μπορεί να ενισχύουν την υπερβολική αυτοπεποίθηση των μοντέλων. «Τα μεγάλα γλωσσικά μοντέλα έχουν υπεράνθρωπη απόδοση σε ερωτήσεις πολλαπλής επιλογής, αλλά δεν βρισκόμαστε ακόμη σε ένα στάδιο όπου ένας ασθενής μπορεί με ασφάλεια να τα χρησιμοποιήσει κατά τη διάρκεια της επίσκεψής του», δηλώνει.
Η ΤΝ έχει εισχωρήσει έντονα στην ιατρική τα τελευταία πέντε χρόνια, από τη σύνταξη σημειώσεων γιατρών έως την ανάλυση μεγάλων δεδομένων ασθενειών και την παροχή συμβουλών σε διαγνωστικά θέματα. Ωστόσο, η τεχνολογία δεν μπορεί ακόμη να αντικαταστήσει την ανθρώπινη κρίση, ειδικά σε περιπτώσεις όπου η αξιολόγηση πληροφοριών απαιτεί ευελιξία και συνδυαστική σκέψη.
Το Benchmark Concor.dance
Ο McCoy και οι συνεργάτες του από το Χάρβαρντ και το MIT ανέπτυξαν ένα benchmark test, το concor.dance, για να αξιολογήσουν την ευελιξία της ΤΝ στην κλινική συλλογιστική. Βασίζεται σε δοκιμές συμφωνίας σεναρίων, μια μέθοδο που χρησιμοποιείται στην εκπαίδευση φοιτητών ιατρικής για να μετρηθεί πόσο καλά μπορούν να προσαρμόζουν τη σκέψη τους σε διαφορετικά σενάρια ασθενών.
Καθώς οι φοιτητές αποκτούν εμπειρία, τα διαγνωστικά τους «σενάρια» γίνονται πιο σύνθετα, επιτρέποντάς τους να ταξινομούν συμπτώματα και να καταλήγουν σε σωστές διαγνώσεις. Το concor.dance αξιολογεί την ικανότητα των μοντέλων να κάνουν το ίδιο, ενώ ταυτόχρονα αξιολογεί πώς αντιμετωπίζουν άσχετες ή παραπλανητικές πληροφορίες.
Δοκιμές Τεχνητής Νοημοσύνης σε Κλινικά Σενάρια
Ο McCoy δοκίμασε 10 από τα πιο δημοφιλή μοντέλα ΤΝ από εταιρείες όπως η Google, η OpenAI και η Anthropic. Τα μοντέλα γενικά τα πήγαν όπως οι πρωτοετείς ή δευτεροετείς φοιτητές ιατρικής, αλλά συχνά δεν κατάφερναν να φτάσουν το επίπεδο των τελειοφοίτων ή των έμπειρων γιατρών. Στις δοκιμές συμφωνίας σεναρίων, περίπου στο 30% των περιπτώσεων, τα νέα δεδομένα ήταν παραπλανητικά και δεν επηρέαζαν τη διάγνωση. Τα μοντέλα απέτυχαν να αναγνωρίσουν αυτά τα άσχετα στοιχεία και συχνά προσπαθούσαν να τα εντάξουν στη διάγνωση, με αποτέλεσμα λανθασμένα συμπεράσματα.
Η Πρόκληση της Πειστικότητας
Ένα από τα μεγαλύτερα προβλήματα των μοντέλων είναι ότι συχνά παρέχουν πολύ πειστικές απαντήσεις ακόμη και όταν κάνουν λάθος. Ο McCoy επισημαίνει ότι τα μοντέλα μπορούν να εξηγήσουν ένα λάθος με τρόπο που πείθει τον χρήστη να συμφωνήσει μαζί τους, γεγονός που μπορεί να οδηγήσει σε επικίνδυνες καταστάσεις στην ιατρική πρακτική.
Σύγκριση με την Ανθρώπινη Συλλογιστική
Η απόδοση στη συλλογιστική διαφέρει από αυτή στις εξετάσεις πολλαπλής επιλογής. Ένας φοιτητής που τα πηγαίνει καλά στις εξετάσεις γνώσεων μπορεί να μην είναι εξίσου αποτελεσματικός στη συμφωνία σεναρίων, καθώς πρόκειται για διαφορετική δεξιότητα. Ο McCoy τονίζει ότι η κλινική συλλογιστική είναι περίπλοκη και εξειδικευμένη.
Το Μέλλον της Τεχνητής Νοημοσύνης στην Ιατρική
Παρά τις αδυναμίες, η ΤΝ ήρθε για να μείνει. Ο McCoy σκοπεύει να συνεχίσει να δοκιμάζει συστήματα ΤΝ που θα βοηθούν τους γιατρούς στην κλινική πράξη, συνεργαζόμενος με εταιρείες όπως η Google και η Microsoft Research για τη βελτίωσή τους. Στόχος του είναι να εξασφαλίσει ότι η ΤΝ είναι αποτελεσματική, δίκαιη και ευθυγραμμισμένη με τις ανάγκες των ασθενών.
Όπως λέει ο ίδιος, η ιατρική δεν επιτρέπει τη φιλοσοφία «κινούμαστε γρήγορα και σπάμε τα πράγματα». Κάθε νέα τεχνολογία πρέπει να εφαρμόζεται με προσοχή, καθώς διακυβεύονται ανθρώπινες ζωές. Η ΤΝ μπορεί να γίνει εργαλείο κλινικής συλλογιστικής, αλλά μόνο εάν συνδυαστεί με την κατάλληλη εποπτεία και την ανθρώπινη κρίση.
