Μια νέα μελέτη που δημοσιεύτηκε στο The BMJ αποκαλύπτει εκπληκτικά ευρήματα σχετικά με τις γνωστικές ικανότητες των κορυφαίων γλωσσικών μοντέλων μεγάλης κλίμακας (LLMs), ή “chatbots”. Οι ερευνητές ανακάλυψαν ότι αυτά τα συστήματα τεχνητής νοημοσύνης παρουσιάζουν σημάδια ήπιας γνωστικής εξασθένησης, παρόμοια με αυτά που παρατηρούνται στα πρώιμα στάδια της άνοιας στους ανθρώπους, όταν υποβάλλονται σε τυπικές γνωστικές δοκιμασίες. Αυτό αμφισβητεί τη ευρέως διαδεδομένη υπόθεση ότι η τεχνητή νοημοσύνη θα αντικαταστήσει σύντομα τους ανθρώπινους γιατρούς.
Η μελέτη χρησιμοποίησε τη δοκιμασία Montreal Cognitive Assessment (MoCA), ένα κοινό εργαλείο που χρησιμοποιείται για την ανίχνευση πρώιμων σημείων άνοιας σε ηλικιωμένους. Η MoCA αξιολογεί διάφορες γνωστικές λειτουργίες, όπως η προσοχή, η μνήμη, η γλώσσα, οι οπτικο-χωρικές δεξιότητες και οι εκτελεστικές λειτουργίες. Οι ερευνητές εξέτασαν αρκετά κορυφαία LLMs, συμπεριλαμβανομένων των ChatGPT (εκδόσεις 4 και 4o), Claude 3.5 και Gemini (εκδόσεις 1 και 1.5), χρησιμοποιώντας τις ίδιες οδηγίες που δίνονται σε ανθρώπινους ασθενείς. Ένας νευρολόγος βαθμολόγησε στη συνέχεια την απόδοση της τεχνητής νοημοσύνης σύμφωνα με τις επίσημες οδηγίες.
Ενώ ορισμένα chatbots, όπως το ChatGPT 4o, πέτυχαν σχετικά υψηλές βαθμολογίες, όλα τους παρουσίασαν σημαντικές αδυναμίες, ιδιαίτερα στις οπτικο-χωρικές δεξιότητες και τις εκτελεστικές λειτουργίες. Δοκιμασίες που περιελάμβαναν τη σύνδεση αριθμημένων και γραμμάτων σε κύκλους (δοκιμασία ιχνών), τη σχεδίαση ενός προσώπου ρολογιού και την ανάκληση μιας ακολουθίας λέξεων αποδείχθηκαν δύσκολες για την τεχνητή νοημοσύνη. Τα μοντέλα Gemini δυσκολεύτηκαν σημαντικά με την καθυστερημένη ανάκληση, ενώ όλα τα μοντέλα αντιμετώπισαν δυσκολία στην ερμηνεία σύνθετων οπτικών σκηνών και στην επίδειξη ενσυναίσθησης. Παρόλο που τα περισσότερα είχαν καλή απόδοση σε δοκιμασίες που αφορούσαν την ονομασία, την προσοχή, τη γλώσσα και την αφαίρεση, οι δυσκολίες τους με τις οπτικές και εκτελεστικές λειτουργίες ήταν σταθερές και αξιοσημείωτες.
Είναι ενδιαφέρον ότι η μελέτη διαπίστωσε επίσης ότι οι παλαιότερες εκδόσεις των chatbots είχαν χειρότερη απόδοση στις δοκιμασίες, αντικατοπτρίζοντας τη γνωστική παρακμή που παρατηρείται σε ηλικιωμένους ανθρώπους. Αυτή η παρατήρηση ενισχύει περαιτέρω τη σύγκριση με την ανθρώπινη γνωστική εξασθένηση.
Οι συγγραφείς της μελέτης αναγνωρίζουν τις θεμελιώδεις διαφορές μεταξύ του ανθρώπινου εγκεφάλου και των LLMs. Ωστόσο, τονίζουν ότι η σταθερή αποτυχία αυτών των συστημάτων τεχνητής νοημοσύνης σε δοκιμασίες που απαιτούν οπτική αφαίρεση και εκτελεστική λειτουργία υπογραμμίζει μια κρίσιμη αδυναμία που θα μπορούσε να εμποδίσει την πρακτική τους εφαρμογή σε κλινικές συνθήκες. Αυτά τα ευρήματα υποδηλώνουν ότι η αντικατάσταση των ανθρώπινων γιατρών από την τεχνητή νοημοσύνη δεν είναι επικείμενη. Αντίθετα, οι ερευνητές προτείνουν ένα πιο ενδιαφέρον σενάριο: οι γιατροί μπορεί σύντομα να βρεθούν να θεραπεύουν ένα νέο είδος ασθενούς – μοντέλα τεχνητής νοημοσύνης που παρουσιάζουν γνωστική εξασθένηση. Αυτό εγείρει συναρπαστικά ερωτήματα σχετικά με το μέλλον της τεχνητής νοημοσύνης στην ιατρική και την πιθανή ανάγκη για εξειδικευμένες διαγνωστικές και θεραπευτικές προσεγγίσεις για αυτά τα πολύπλοκα συστήματα. Η μελέτη καταλήγει στο συμπέρασμα ότι οι νευρολόγοι είναι απίθανο να αντικατασταθούν από LLMs σύντομα, και μπορεί ακόμη και να βρεθούν να θεραπεύουν αυτούς τους ψηφιακούς “ασθενείς” στο μέλλον.
