Al: Η επιτυχία της αναπαραγωγής της επιστημονικής έρευνας συνδέεται με τις ερευνητικές μεθόδους, τον αντίκτυπο των αναφορών και την κάλυψη στα μέσα κοινωνικής δικτύωσης -αλλά όχι με το κύρος των πανεπιστημίων ή τον αριθμό των αναφορών– σύμφωνα με μια νέα μελέτη στην οποία συμμετέχουν ερευνητές του Πανεπιστημίου της Καλιφόρνια στο Λος Άντζελες UCL. Η μελέτη που δημοσιεύεται στο περιοδικό ‘Πρακτικά της Εθνικής Ακαδημίας Επιστημών’ Proceedings of the National Academy of Sciences (PNAS), διερευνά την ικανότητα ενός επικυρωμένου μοντέλου μηχανικής μάθησης βασισμένου σε κείμενο να προβλέπει την πιθανότητα επιτυχούς αναπαραγωγής για περισσότερα από 14.100 ερευνητικά άρθρα ψυχολογίας που έχουν δημοσιευτεί από το 2000 σε έξι κορυφαία περιοδικά.
Σε συνεργασία με το Πανεπιστήμιο Notre Dame της Γαλλίας και το Πανεπιστήμιο Northwestern των ΗΠΑ, η μελέτη εντοπίζει διάφορους παράγοντες που αυξάνουν την πιθανότητα αναπαραγωγής της έρευνας – δηλαδή την πιθανότητα ότι αν μια μελέτη διεξαχθεί για δεύτερη φορά με τις ίδιες μεθόδους, τα αποτελέσματα θα είναι τα ίδια. Συνολικά, οι συγγραφείς διαπίστωσαν ότι οι πειραματικές μελέτες ήταν σημαντικά λιγότερο αναπαραγώγιμες από τις μη πειραματικές μελέτες σε όλα τα υποπεδία της ψυχολογίας. Οι συγγραφείς διαπίστωσαν ότι οι μέσες βαθμολογίες αναπαραγωγής – η σχετική πιθανότητα επιτυχούς αναπαραγωγής – ήταν 0,50 για τις μη πειραματικές εργασίες, σε σύγκριση με 0,39 για τις πειραματικές εργασίες, πράγμα που σημαίνει ότι οι μη πειραματικές εργασίες είναι περίπου 1,3 φορές πιο πιθανό να είναι αναπαραγώγιμες. Οι συγγραφείς λένε ότι το εύρημα αυτό είναι ανησυχητικό, δεδομένου ότι η ισχυρή επιστημονική φήμη της ψυχολογίας βασίζεται τουλάχιστον εν μέρει στην ικανότητά της με τα πειράματα.
Η μελέτη δείχνει επίσης ότι ο αθροιστικός αριθμός δημοσιεύσεων ενός συγγραφέα και ο αντίκτυπος των αναφορών σχετίζονταν θετικά με την επιτυχία της αναπαραγωγής. Ωστόσο, βρέθηκε ότι άλλοι δείκτες της ποιότητας και της αυστηρότητας της έρευνας, όπως το κύρος του πανεπιστημίου ενός συγγραφέα και οι αναφορές μιας εργασίας, δεν σχετίζονται με την αναπαραγωγιμότητα.
Διαπιστώθηκε επίσης ότι τα προβλεπόμενα ποσοστά αναπαραγωγής διαφέρουν μεταξύ των επιμέρους τομέων της ψυχολογίας (κλινική ψυχολογία, γνωστική ψυχολογία, αναπτυξιακή ψυχολογία, οργανωτική ψυχολογία, ψυχολογία της προσωπικότητας και κοινωνική ψυχολογία). Οι συγγραφείς καταλήγουν στο συμπέρασμα ότι λόγω αυτής της ποικιλομορφίας εντός της ψυχολογίας, και εντός των υποπεδίων της, η χρήση μιας μόνο μετρικής για τον χαρακτηρισμό της αναπαραγωγιμότητας ολόκληρου του πεδίου είναι μάλλον ανεπαρκής.
Η μελέτη εντόπισε, επίσης, παράγοντες που συσχετίζονται αρνητικά με την πιθανότητα αναπαραγωγής, με την προσοχή των μέσων ενημέρωσης να σχετίζεται αρνητικά με την επιτυχία της αναπαραγωγής. Οι συγγραφείς εικάζουν ότι αυτό πιθανόν να οφείλεται στο γεγονός ότι τα μέσα μαζικής ενημέρωσης είναι πιο πιθανό να αναφέρουν ασυνήθιστα ή απροσδόκητα ευρήματα. Οι συγγραφείς λένε ότι η μελέτη θα μπορούσε να συμβάλει στην αντιμετώπιση των ευρέως διαδεδομένων ανησυχιών σχετικά με την αδύναμη αναπαραγωγιμότητα στις κοινωνικές επιστήμες, ιδίως στην ψυχολογία, και να ενισχύσει το πεδίο στο σύνολό του. Ο συν-συγγραφέας της μελέτης Dr. Youyou Wu (IOE, UCL’s Faculty of Education & Society) δήλωσε: “Η αναπαραγωγιμότητα είναι ένα πρόβλημα που αντιμετωπίζουν όλες οι κοινωνικές επιστήμες, και ειδικότερα η ψυχολογία – και ο αριθμός των χειροκίνητα αναπαραγόμενων μελετών υπολείπεται κατά πολύ της αφθονίας των σημαντικών μελετών που η επιστημονική κοινότητα θα ήθελε να δει να αναπαράγονται, δεδομένων των περιορισμών χρόνου και πόρων. “Τα αποτελέσματά μας θα μπορούσαν να βοηθήσουν στην ανάπτυξη νέων στρατηγικών για τον έλεγχο της συνολικής αναπαραγωγιμότητας μιας επιστημονικής βιβλιογραφίας, την αυτοαξιολόγηση των ερευνών πριν από την υποβολή τους σε περιοδικά – καθώς και την εκπαίδευση των κριτών.”