Μπορεί το AI να απαντήσει σε ιατρικές ερωτήσεις καλύτερα από τον γιατρό σας;

  Με την πρώτη ματιά, η ιδέα ότι ένα chatbot που χρησιμοποιεί τεχνητή νοημοσύνη μπορεί να είναι σε θέση να παράγει καλές απαντήσεις σε ερωτήσεις ασθενών δεν προκαλεί έκπληξη. Εξάλλου, το ChatGPT καυχιέται ότι πέρασε τελικές εξετάσεις για ένα Wharton MBA , έγραψε ένα βιβλίο σε λίγες ώρες και συνέθεσε πρωτότυπη μουσική .

  Αλλά δείχνει περισσότερη ενσυναίσθηση από τον γιατρό σου; Ωχ. Πριν αποδώσουμε τις τελικές τιμές για την ποιότητα και την ενσυναίσθηση σε κάθε πλευρά, ας ρίξουμε μια δεύτερη ματιά.

  Ήδη, ένας ταχέως αναπτυσσόμενος κατάλογος ιατρικών εφαρμογών της τεχνητής νοημοσύνης περιλαμβάνει τη σύνταξη σημειώσεων γιατρού, την πρόταση διαγνώσεων, τη βοήθεια στην ανάγνωση ακτινογραφιών και μαγνητικής τομογραφίας και παρακολούθηση δεδομένων υγείας σε πραγματικό χρόνο, όπως ο καρδιακός ρυθμός ή το επίπεδο οξυγόνου.

  Αλλά η ιδέα ότι οι απαντήσεις που δημιουργούνται από την τεχνητή νοημοσύνη μπορεί να είναι πιο ενσυναίσθητες από τους πραγματικούς γιατρούς μου φάνηκε καταπληκτική - και λυπηρή. Πώς θα μπορούσε ακόμη και το πιο προηγμένο μηχάνημα να ξεπεράσει έναν γιατρό στην επίδειξη αυτής της σημαντικής και ιδιαίτερα ανθρώπινης αρετής;

  Τώρα, φανταστείτε ένα διαφορετικό σενάριο: κάνετε την ερώτησή σας μέσω email ή κειμένου και μέσα σε λίγα λεπτά λαμβάνετε μια απάντηση που δημιουργείται από έναν υπολογιστή που χρησιμοποιεί AI. Πώς θα συγκρίνονται οι ιατρικές απαντήσεις σε αυτές τις δύο καταστάσεις όσον αφορά την ποιότητα; Και πώς θα μπορούσαν να συγκριθούν από την άποψη της ενσυναίσθησης;

  Για να απαντήσουν σε αυτά τα ερωτήματα, οι ερευνητές συνέλεξαν 195 ερωτήσεις και απαντήσεις από ανώνυμους χρήστες ενός διαδικτυακού ιστότοπου κοινωνικής δικτύωσης που τέθηκαν σε γιατρούς που προσφέρθηκαν να απαντήσουν εθελοντικά. Οι ερωτήσεις υποβλήθηκαν αργότερα στο ChatGPT και συλλέχθηκαν οι απαντήσεις του chatbot.

  Στη συνέχεια, μια ομάδα τριών γιατρών ή νοσοκόμων βαθμολόγησε και τα δύο σετ απαντήσεων ως προς την ποιότητα και την ενσυναίσθηση. Οι συμμετέχοντες στην επιτροπή ρωτήθηκαν "ποια απάντηση ήταν καλύτερη;" σε μια πεντάβαθμη κλίμακα. Οι επιλογές αξιολόγησης για την ποιότητα ήταν: πολύ κακή, κακή, αποδεκτή, καλή ή πολύ καλή. Οι επιλογές αξιολόγησης για την ενσυναίσθηση ήταν: μη ενσυναίσθηση, ελαφρώς ενσυναίσθηση, μέτρια ενσυναίσθηση, ενσυναίσθηση και πολύ ενσυναίσθηση.

  Τα αποτελέσματα δεν ήταν καν κοντά. Για σχεδόν το 80% των απαντήσεων, το ChatGPT θεωρήθηκε καλύτερο από τους γιατρούς.

  Καλής ή πολύ καλής ποιότητας απαντήσεις: Το ChatGPT έλαβε αυτές τις αξιολογήσεις για το 78% των απαντήσεων, ενώ οι γιατροί το έκαναν μόνο στο 22% των απαντήσεων.

Απαντήσεις με ενσυναίσθηση ή πολύ ενσυναίσθηση: Το ChatGPT σημείωσε 45% και οι γιατροί 4,6%.

Συγκεκριμένα, το μήκος των απαντήσεων ήταν πολύ μικρότερο για τους γιατρούς (μέσος όρος 52 λέξεων) από ότι για το ChatGPT (μέσος όρος 211 λέξεων).

Όπως είπα, ούτε καν κοντά. Λοιπόν, ήταν τελικά όλοι αυτοί οι τίτλοι που κόβουν την ανάσα;

Όχι τόσο γρήγορα: Σημαντικοί περιορισμοί αυτής της έρευνας AI

Η μελέτη δεν σχεδιάστηκε για να απαντήσει σε δύο βασικά ερωτήματα:

Οι απαντήσεις AI προσφέρουν ακριβείς ιατρικές πληροφορίες και βελτιώνουν την υγεία των ασθενών αποφεύγοντας τη σύγχυση ή τη βλάβη;

Θα αποδεχτούν οι ασθενείς την ιδέα ότι οι ερωτήσεις που θέτουν στον γιατρό τους μπορεί να απαντηθούν από ένα bot;

Και είχε κάποιους σοβαρούς περιορισμούς:

Αξιολόγηση και σύγκριση απαντήσεων: Οι αξιολογητές εφάρμοσαν μη δοκιμασμένα, υποκειμενικά κριτήρια ποιότητας και ενσυναίσθησης. Είναι σημαντικό ότι δεν αξιολόγησαν την πραγματική ακρίβεια των απαντήσεων. Ούτε οι απαντήσεις αξιολογήθηκαν ως προς την κατασκευή, ένα πρόβλημα που έχει σημειωθεί με το ChatGPT.

Η διαφορά στο μήκος των απαντήσεων: Οι πιο λεπτομερείς απαντήσεις μπορεί να φαίνεται ότι αντικατοπτρίζουν την υπομονή ή την ανησυχία. Έτσι, οι υψηλότερες βαθμολογίες για την ενσυναίσθηση μπορεί να σχετίζονται περισσότερο με τον αριθμό των λέξεων παρά με την αληθινή ενσυναίσθηση.

Ατελής τύφλωση: Για να ελαχιστοποιηθεί η μεροληψία, οι αξιολογητές δεν έπρεπε να γνωρίζουν εάν η απάντηση προερχόταν από γιατρό ή ChatGPT. Αυτή είναι μια κοινή ερευνητική τεχνική που ονομάζεται «τυφλοποίηση». Αλλά η επικοινωνία που δημιουργείται από την τεχνητή νοημοσύνη δεν ακούγεται πάντα ακριβώς σαν άνθρωπος και οι απαντήσεις της τεχνητής νοημοσύνης ήταν σημαντικά μεγαλύτερες. Έτσι, είναι πιθανό ότι τουλάχιστον για ορισμένες απαντήσεις, οι αξιολογητές δεν έμειναν τυφλοί.

  Θα μπορούσαν οι γιατροί να μάθουν κάτι για τις εκφράσεις ενσυναίσθησης από τις απαντήσεις που δημιουργούνται από την τεχνητή νοημοσύνη; Πιθανώς. Μπορεί η τεχνητή νοημοσύνη να λειτουργήσει καλά ως εργαλείο συνεργασίας, δημιουργώντας απαντήσεις που εξετάζει και αναθεωρεί ένας γιατρός; Στην πραγματικότητα, ορισμένα ιατρικά συστήματα χρησιμοποιούν ήδη την τεχνητή νοημοσύνη με αυτόν τον τρόπο.

  Ωστόσο, φαίνεται πρόωρο να βασιστούμε σε απαντήσεις τεχνητής νοημοσύνης σε ερωτήσεις ασθενών χωρίς ακλόνητη απόδειξη της ακρίβειάς τους και την πραγματική επίβλεψή τους από επαγγελματίες υγείας. Αυτή η μελέτη δεν σχεδιάστηκε για να παρέχει ούτε.

  Και παρεμπιπτόντως, το ChatGPT συμφωνεί: Το ρώτησα αν θα μπορούσε να απαντήσει σε ιατρικές ερωτήσεις καλύτερα από έναν γιατρό. Η απάντησή του ήταν όχι.

  Θα χρειαστούμε περισσότερη έρευνα για να μάθουμε πότε είναι ώρα να αφήσουμε το τζίνι AI ελεύθερο να απαντά στις ερωτήσεις των ασθενών. Μπορεί να μην είμαστε ακόμα εκεί — αλλά πλησιάζουμε.