Μπορούμε να εμπιστευτούμε την επιστήμη; Το σταδιακό χτίσιμο της επιστημονικής εγκυρότητας και η αντιμετώπιση των προκαταλήψεων
Γράφει ο Δρ. Clément Guichet, συν-συγγραφέας άρθρου από τη σαυλλογή δημοσιεύσεων του προγράμματος SCORE (Systematizing Confidence in Open Research and Evidence).
Η πρόοδος της επιστήμης είναι άρρηκτα συνδεδεμένη με την αξιοπιστία των ευρημάτων της· προχωράμε μπροστά μόνο όταν πατάμε σε στέρεο έδαφος. Αυτό αποκτά ακόμα μεγαλύτερη σημασία στις κοινωνικές επιστήμες και τις επιστήμες συμπεριφοράς, εκεί όπου η έρευνα μεταφράζεται άμεσα σε δημόσια πολιτική, οδηγίες για την υγεία και, τελικά, στον τρόπο που αντιλαμβανόμαστε την ίδια την ανθρώπινη φύση. Ωστόσο, το μεγάλο ερώτημα παραμένει: με ποιο εργαλείο μπορούμε να μετρήσουμε με ακρίβεια την ισχύ των αποδείξεων που συνοδεύουν έναν επιστημονικό ισχυρισμό;
Εξέτασε εξονυχιστικά 3.900 ισχυρισμούς από μελέτες που είδαν το φως της δημοσιότητας μεταξύ 2009 και 2018, καλύπτοντας ένα ευρύτατο φάσμα: από την ψυχολογία και τα οικονομικά μέχρι τις πολιτικές επιστήμες και την κοινωνιολογία.
Τα τρία κριτήρια της επιστημονικής αξιοπιστίας
Η ανθεκτικότητα κάθε ερευνητικού ευρήματος μπορεί να μετρηθεί με βάση ένα συγκεκριμένο πλαίσιο, γνωστό και ως «τα τρία R». Όταν οι επιστήμονες καλούνται να κρίνουν αν ένας ισχυρισμός στέκει στην πραγματικότητα, αναζητούν έρευνες που χαρακτηρίζονται από:
• Αναπαραγωγιμότητα (Reproducibility): Αν εφαρμόσουμε την ίδια ακριβώς ανάλυση στα αρχικά δεδομένα, προκύπτει το ίδιο αποτέλεσμα;
• Επαναληψιμότητα (Replicability): Αν τρέξουμε ένα εντελώς νέο πείραμα για να συλλέξουμε φρέσκα δεδομένα, θα καταλήξουμε στο ίδιο συμπέρασμα;
• Σταθερότητα (Robustness): Αν χρησιμοποιήσουμε εναλλακτικές, αλλά εξίσου έγκυρες μεθόδους ανάλυσης στα αρχικά δεδομένα, το γενικό συμπέρασμα παραμένει το ίδιο;
Για να δοκιμάσει αυτά τα κριτήρια στην πράξη, η ομάδα του SCORE επιχείρησε να επαληθεύσει εκατοντάδες ήδη δημοσιευμένους ισχυρισμούς.
Αναπαραγωγιμότητα: Το εμπόδιο των «χαμένων» δεδομένων
Η πιο θεμελιώδης δοκιμασία για μια επιστημονική εργασία είναι η αναπαραγωγιμότητά της. Η λογική είναι απλή: αν ένας ερευνητής μοιραστεί τα δεδομένα και τη μεθοδολογία του, οποιοσδήποτε άλλος επιστήμονας θα έπρεπε να είναι σε θέση να επαναλάβει τους υπολογισμούς και να καταλήξει στο ίδιο ακριβώς αποτέλεσμα. Είναι, αν θέλετε, το «πιστοποιητικό διαφάνειας» κάθε σοβαρής μελέτης.
Δυστυχώς, το έργο SCORE διαπίστωσε ότι η απλή πρόσβαση στα δεδομένα παραμένει ένα τεράστιο εμπόδιο. Από τις 600 εργασίες που επιλέχθηκαν για δοκιμές αναπαραγωγιμότητας, το 72% δεν διαμοιράστηκε ούτε τα δεδομένα ούτε τον κώδικα προγραμματισμού του. Οι ερευνητές μπορούσαν να επιχειρήσουν την αναπαραγωγή μόνο του 30% των εργασιών, όπου τα δεδομένα είτε διαμοιράστηκαν άμεσα είτε μπορούσαν να ανακατασκευαστούν από τις αρχικές πηγές.
Ακόμα όμως και στις περιπτώσεις που τα δεδομένα ήταν διαθέσιμα, η εικόνα παρέμενε θολή. Από το σύνολο των ισχυρισμών που αξιολογήθηκαν, μόλις το 54% αναπαράχθηκε με απόλυτη ακρίβεια, ενώ περίπου τα τρία τέταρτα κατάφεραν μια «κατά προσέγγιση» αναπαραγωγή. Το συμπέρασμα είναι ένα κρίσιμο μάθημα για την επιστημονική κοινότητα: η υποχρέωση των ερευνητών να μοιράζονται τον κώδικα και τα δεδομένα τους δεν είναι απλώς μια τυπική διαδικασία, αλλά μια αναγκαιότητα που αποδίδει καρπούς. Τα επιστημονικά περιοδικά οφείλουν πλέον να δώσουν προτεραιότητα σε εξειδικευμένους επιμελητές δεδομένων (data editors), επιβάλλοντας έναν πραγματικά αυστηρό ποιοτικό έλεγχο.
Επαναληψιμότητα: το χάσμα μεταξύ αρχικών ευρημάτων και επιβεβαίωσης
Η επαναληψιμότητα θέτει ένα ακόμα πιο δύσκολο ερώτημα: αν επαναλάβουμε το πείραμα από το μηδέν, με νέα δεδομένα, θα καταλήξουμε στο ίδιο αποτέλεσμα; Οι ερευνητές του SCORE επιχείρησαν να αναπαράγουν 164 μελέτες. Τα αποτελέσματα έφεραν στο φως ένα σημαντικό χάσμα ανάμεσα στα αρχικά ευρήματα και την ανεξάρτητη επιβεβαίωσή τους. Μόλις το 49% των ισχυρισμών κατάφερε να αγγίξει τα καθιερωμένα όρια στατιστικής σημαντικότητας προς την ίδια κατεύθυνση με τα αρχικά ευρήματα. Το πιο εντυπωσιακό;
Ακόμα και στις περιπτώσεις που το αποτέλεσμα επιβεβαιώθηκε, η ισχύς του είχε «συρρικνωθεί» σημαντικά σε σχέση με την αρχική δημοσίευση.
Σταθερότητα: Η ανάγκη για διαφανείς τρόπους ανάλυσης
Ακόμα και όταν οι ερευνητές έχουν στα χέρια τους τα ίδια ακριβώς δεδομένα, οι δρόμοι που επιλέγουν για την ανάλυσή τους συχνά διίστανται. Για να ελεγχθεί η σταθερότητα των ερευνών, ανεξάρτητες ομάδες ανέλυσαν εκ νέου δεδομένα από 100 μελέτες, θέλοντας να δουν αν μια διαφορετική μεθοδολογική προσέγγιση θα ανέτρεπε τα τελικά συμπεράσματα. Η μελέτη αυτή αποκάλυψε πως ακόμα και λογικές, αλλά διαφορετικές αναλυτικές επιλογές, μπορούν να μεταβάλουν σημαντικά το αποτέλεσμα. Ενώ το 74% των περιπτώσεων κατέληξε στο ίδιο στατιστικό συμπέρασμα, το υπόλοιπο 25% παρουσίασε αποκλίσεις στο ίδιο ακριβώς ερώτημα: το 24% δεν παρατήρησε καμία επίδραση, ενώ ένα 2% κατέληξε σε... εκ διαμέτρου αντίθετα συμπεράσματα. Η επιλογή μεθόδου ανάλυσης από τον εκάστοτε ερευνητή αποδεικνύει ότι τα δεδομένα μπορούν μερικές φορές να παραμορφωθούν, είτε σκόπιμα είτε ασυνείδητα, προς την κατεύθυνση που επιθυμεί ο ερευνητής.
Αν δούμε τους αριθμούς ως την τελική ετυμηγορία για την επιστήμη, το γεγονός ότι μόνο το 50% των ερευνών επαληθεύεται μπορεί να ακούγεται τρομακτικό. Ωστόσο, για τον Brian Nosek, επικεφαλής του έργου και διευθυντή του Center for Open Science, αυτή η «μετα-έρευνα» είναι μόνο η αρχή μιας μεγάλης συζήτησης.
Το βασικό συμπέρασμα; Η αξιοπιστία δεν είναι ένα στατικό χαρακτηριστικό, ούτε διασφαλίζεται απλώς με τη σφραγίδα του «δημοσιευμένου». Το παραδοσιακό σύστημα αξιολόγησης (peer review) είναι συχνά αποσπασματικό, αδιαφανές και περιορίζεται στην καταγραφή των δεδομένων μιας συγκεκριμένης χρονικής στιγμής. Η πραγματική επιστημονική εγκυρότητα χτίζεται μέρα με τη μέρα, μέσα από τη διαφάνεια, τον αυστηρό έλεγχο των προκαταλήψεων και, κυρίως, την τόλμη να εκτίθενται τα ευρήματα σε συνεχείς, ανεξάρτητους ελέγχους.
Ο κοινωνικός ψυχολόγος Ράβι Άιερ εξηγεί στην ATHENS VOICE γιατί θεωρεί αναγκαίο τον περιορισμό της πρόσβασης ανηλίκων στα social media και γιατί οι γονείς δεν μπορούν να δώσουν μόνοι τους τη μάχη
17°
