Μελέτη της Google Health αποκαλύπτει ότι ακόμη και τα πιο σύγχρονα εργαλεία μπορούν στην πραγματική ζωή να κάνουν τα πράγματα χειρότερα
Η πανδημία του κορονοϊού έφερε στα όρια τους (ή και τα ξεπέρασε σε αρκετές περιπτώσεις) τα συστήματα υγείας σε πολλές χώρες παγκοσμίως. Πολλοί ελπίζουν ότι η τεχνητή νοημοσύνη θα μπορούσε να βοηθήσει να επιταχυνθεί η φροντίδα και ο έλεγχος των ασθενών και να μειωθεί έτσι η πίεση στους γιατρούς και τους νοσηλευτές.
Μια μελέτη όμως από τη Google Health - η πρώτη που προσπάθησε να δει τις επιδόσεις ενός εργαλείου βαθιάς μάθησης σε πραγματικές συνθήκες - αποκάλυψε ότι ακόμη και τα πιο σύγχρονα εργαλεία μπορούν στην πραγματική ζωή να κάνουν τα πράγματα χειρότερα αν δεν είναι πλήρως προσαρμοσμένα στα κλινικά περιβάλλοντα που θα λειτουργήσουν. Αυτό συμβαίνει γιατί τα υφιστάμενα κριτήρια για την ανάπτυξη της τεχνητής νοημοσύνης σε νοσοκομεία εστιάζουν κυρίως στην ακρίβεια της διάγνωσης. Δεν υπάρχουν ρητές απαιτήσεις όσον αφορά το πως «δένουν» με τους ασθενείς και τους επαγγελματίες της υγείας, στο τέλος της ημέρας πρέπει να διαχειριστούν και να συνεργαστούν με ανθρώπους.
Η πρώτη ευκαιρία της Google να δοκιμάσει το εργαλείο της σε πραγματικές συνθήκες προήλθε από την Ταϊλάνδη. Το υπουργείο Υγείας της χώρας έχει ως ετήσιο στόχο τον έλεγχο του 60% των ατόμων με διαβήτη για διαβητική αμφιβληστροειδοπάθεια, μια ασθένεια που μπορεί να προκαλέσει τύφλωση εάν δεν διαγνωστεί νωρίς. Αλλά με περίπου 4,5 εκατομμύρια ασθενείς και μόνο 200 ειδικούς για ασθένειες του αμφιβληστροειδούς τα νοσοκομεία δίνουν πολύ σκληρό αγώνα για να πετύχουν το στόχο. Για να γίνει αυτό οι νοσηλευτές τραβούν φωτογραφίες των ματιών των ασθενών κατά τη διάρκεια των εξετάσεων και τις στέλνουν για διάγνωση σε ειδικό που τις περισσότερες φορές βρίσκεται σε άλλο νοσοκομείο - μια διαδικασία που μπορεί να κρατήσει έως και 10 εβδομάδες.
Η Google διέθεσε σε 11 κλινικές της χώρας ένα σύστημα βαθιάς μάθησης που εκπαιδεύτηκε για να εντοπίζει σημάδια οφθαλμικών παθήσεων σε ασθενείς με διαβήτη. Η τεχνητή νοημοσύνη που αναπτύχθηκε από την Google Health μπορεί να εντοπίσει σημάδια διαβητικής αμφιβληστροειδοπάθειας με ακρίβεια άνω του 90% - ακρίβεια επιπέδου «ανθρώπινου ειδικού» όπως αποκαλείται. Το σύστημα ψάχνει τις φωτογραφίες των ματιών για ενδεικτικά σημεία της ασθένειας όπως είναι τα μπλοκαρισμένα αιμοφόρα αγγεία και δίνει το αποτέλεσμα σε λιγότερο από 10 λεπτά.
Ακούγεται πολύ εντυπωσιακό αλλά η πραγματικότητα έδειξε άλλα. Είναι άλλες οι εργαστηριακές συνθήκες που δοκιμάστηκε το σύστημα και άλλο το χάος ενός πραγματικού περιβάλλοντος, και αυτό ήταν ακριβώς που ήθελε να μάθει η ομάδα της Google. Για αρκετούς μήνες παρατήρησαν νοσηλευτές να χρησιμοποιούν την τεχνητή νοημοσύνη και μετά τους πήραν συνέντευξη για τις εμπειρίες τους από τη χρήση του νέου συστήματος. Τα σχόλια δεν ήταν μόνο θετικά.
Όταν λειτούργησε καλά, το σύστημα επιτάχυνε τα πράγματα. Αλλά μερικές φορές απέτυχε να δώσει κανένα αποτέλεσμα. Όπως τα περισσότερα συστήματα αναγνώρισης εικόνας, το μοντέλο βαθιάς μάθησης είχε εκπαιδευτεί σε εικόνες υψηλής ποιότητας. Για να διασφαλιστεί η ακρίβεια, είχε σχεδιαστεί για να απορρίπτει εικόνες που είναι κάτω από ένα ορισμένο όριο ποιότητας. Με τους νοσηλευτές να φροντίζουν δεκάδες ασθενείς την ώρα και να τραβούν συχνά τις φωτογραφίες σε κακές συνθήκες φωτισμού, περισσότερο από το 20% των εικόνων απορρίφθηκαν. Στους ασθενείς των οποίων οι εικόνες δεν έγιναν δεκτές από το σύστημα τους έλεγαν ότι θα έπρεπε να επισκεφθούν έναν ειδικό σε άλλη κλινική μια άλλη ημέρα. Οι νοσηλευτές ένιωθαν απογοήτευση ειδικά όταν πίστευαν ότι οι εικόνες που απορρίπτονταν δεν είχαν σημάδια ασθένειας και ότι τα νέα ραντεβού δεν ήταν απαραίτητα. Αρκετές φορές σπατάλησαν χρόνο προσπαθώντας να ξαναφωτογραφίσουν ή να επεξεργαστούν μια εικόνα που είχε απορρίψει η τεχνητή νοημοσύνη. Τέλος, επειδή το σύστημα έπρεπε να ανεβάζει τις εικόνες στο cloud για να γίνει η διάγνωση, οι κακής ποιότητας συνδέσεις στο διαδίκτυο σε πολλές κλινικές προκάλεσαν καθυστερήσεις.
Συμπερασματικά, η σύγκριση των εργαλείων τεχνητής νοημοσύνης με τους γιατρούς μόνο σε ότι αφορά την ακρίβεια της διάγνωσης δεν είναι πανάκεια. Φυσικά και δεν θέλουμε ένα σύστημα να κάνει μια λάθος διάγνωση αλλά οι γιατροί διαφωνούν συχνά για μια διάγνωση, και αυτό είναι διαχειρίσιμο γιατί ακολουθεί συζήτηση και διαβούλευση. Ένα σύστημα τεχνητής νοημοσύνης πρέπει να ενταχθεί σε μια διαδικασία που θα συζητούνται τα αποτελέσματα με διάφορα επίπεδα αβεβαιότητας και όχι απλώς να απορρίπτονται αυτά που είναι κάτω από ένα κατώφλι σιγουριάς. Αν το κάνουμε σωστά, τα οφέλη από τις νέες τεχνολογίες θα μπορούσαν να είναι τεράστια. Όταν λειτούργησε καλά το σύστημα της Google, έκανε τους ανθρώπους που ήταν καλοί στη δουλειά τους ακόμη καλύτερoυς. Η ομάδα της Google Health συνεργάζεται τώρα με τοπικό ιατρικό προσωπικό για το σχεδιασμό νέων ροών εργασίας. Για παράδειγμα, οι νοσηλευτές θα μπορούσαν να εκπαιδευτούν να χρησιμοποιούν τη δική τους κρίση σε οριακές περιπτώσεις. Το ίδιο το μοντέλο θα μπορούσε επίσης να τροποποιηθεί για να χειρίζεται καλύτερα τις φωτογραφίες που δεν είναι τέλειες.
22°
