Στην ιατρική επιστήμη, όπως και σε όλους τους τομείς της ζωής πολλές φορές εντυπωσιαζόμαστε, με δραματικές όμως συνέπειες. Αν μια νέα θεραπεία φαίνεται πολύ καλύτερη από μια παλιά αρχικά, συχνά υπάρχει ανυπομονησία πως θα μπορέσει να εφαρμοστεί και οι άνθρωποι διερωτώνται γιατί κάποιος θα θελήσει να διεξαγάγει επίσημες δοκιμές.
Οι γιατροί που αισθάνονται ενθουσιασμό για αυτό που βλέπουν ως μια σημαντική ανακάλυψη, συχνά υποστηρίζουν ότι δεν είναι ηθικό να κάνει κάποιος μια τυχαιοποιημένη δοκιμή με μια συναρπαστική νέα θεραπεία, επειδή τα οφέλη φαίνονται τόσο προφανή. Φυσικά οι ανακαλύψεις μερικές φορές αποδεικνύονται άστοχες αλλά η ιδέα ότι κάτι θα μπορούσε να είναι τόσο προφανώς καλύτερο από ό, τι έχουμε τώρα χρειάζεται μια τυχαιοποιημένη μελέτη, η οποία είναι αρκετά διαδεδομένη στην Ιατρική. Οι ερευνητές αποφάσισαν να εξετάσουν αυτό το θέμα, προσπαθώντας να βρουν όλες τις δημοσιευμένες τυχαιοποιημένες μελέτες, όπου η νέα θεραπεία έχει αναφερθεί ότι είναι πέντε φορές καλύτερη από την προηγούμενη θεραπεία. Νόμιζαν ότι αυτό το «πέντε φορές καλύτερη» θα μπορούσε να είναι ένας χρήσιμος απαράβατος κανόνας για την ιατρική επιστήμη. Αν μια αναλογία κινδύνου των πέντε (δηλαδή η νέα θεραπεία είναι πέντε φορές καλύτερη) σχεδόν πάντα προβλέπει σωστά ότι οι επόμενες δοκιμές θα αναφέρουν πάντοτε σημαντικά οφέλη, τότε θα μπορούσαμε να χρησιμοποιήσουμε αυτό ως μια φόρμουλα για το σημείο όπου δεν χρειάζονται περαιτέρω στοιχεία. Δυστυχώς όμως αυτό αποδείχθηκε ότι δεν είναι αλήθεια.
Μελετήθηκαν όλες τις δοκιμές στη βάση δεδομένων Cochrane Collaboration (πάνω από 80.000) και διαπιστώθηκε ότι υπήρχαν πολύ λίγες περιπτώσεις όπου υπήρξαν δύο δοκιμές με μια δραματική επίδραση όπως αυτή και μια επακόλουθη δοκιμή. Επεξεργάστηκαν αυτά που βρήκανε και δυστυχώς ο κανόνας «πέντε φορές καλύτερα» ήταν λάθος σε πάνω από το 1/3 των περιπτώσεων. Με άλλα λόγια, ακόμη και αν μια προηγούμενη μελέτη έδειχνε ότι η νέα θεραπεία και πέντε φορές καλύτερη, στην επόμενη αποδεικνυόταν ότι δεν ήταν σημαντικά καλύτερη σε όλα. Προσπάθησαν να βρουν έναν κανόνα που συνδυάζει την αύξηση του δείκτη επικινδυνότητας ή τη σημασία των αποτελεσμάτων. Σε ότι βρήκαν έπρεπε να αυξηθεί η αναλογία κινδύνου προς 20 (δηλαδή η νέα θεραπεία είναι 20 φορές καλύτερη από την παλιά θεραπεία) πριν ο κανόνας γίνει 100% αξιόπιστος.
Γιατί, λοιπόν, δεν λειτουργεί αυτός ο κανόνας;
Το κύριο πρόβλημα είναι ένα φαινόμενο γνωστό ως «οπισθοδρόμηση προς τη μέση». Οι περισσότερες από τις μελέτες που δείχνουν δραματικές επιπτώσεις είναι μικρές μελέτες, και γνωρίζουμε ότι μια μικρή δοκιμή έχει περισσότερες πιθανότητες να βγάλει ένα αρνητικό αποτέλεσμα από μια μεγάλη μελέτη. Επίσης, μικρότερες τυχαιοποιημένες μελέτες τείνουν να είναι χαμηλότερης ποιότητας από τις μεγαλύτερες και, συνεπώς, να έχουν μεγαλύτερο βαθμό μεροληψίας. Οι επιπτώσεις, ιδιαίτερα για τη χειρουργική επέμβαση, είναι αρκετά ενδιαφέρουσες. Είναι γνωστό ότι είναι πολύ πιο δύσκολο να εκτελεστούν μεγάλες τυχαιοποιημένες μελέτες σε χειρουργική επέμβαση από ό, τι είναι όταν μελετάται ένα φάρμακο.
Ωστόσο, η μελέτη αυτή προσθέτει στην βιβλιογραφία δείχνοντας ότι οι μικρές τυχαιοποιημένες μελέτες είναι αρκετά αναξιόπιστες. Και τίθεται το ερώτημα: Κατά πόσον για τους χειρουργούς θα μπορούσε να είναι καλύτερο να κάνουν ένα άλλο είδος μελέτης σε περιπτώσεις όπου ξέρουν ότι δεν θα είναι αρκετά μεγάλη η τυχαιοποιημένη μελέτη για να αποφευχθούν οι αρνητικές επιδράσεις; Πάντα θα υπάρχουν εξαιρέσεις σε αυτόν τον κανόνα, ιδιαίτερα για τις σπάνιες νόσους, αλλά τα ευρήματά αυτά θα μπορούσαν να χρησιμοποιηθούν για να υποστηρίξουμε την ιδέα ότι σε μια χειρουργική επέμβαση μπορεί να είναι χρήσιμο μερικές φορές να γίνεται μια μεγάλη μη-τυχαιοποιημένη προοπτική μελέτη πριν από τη δέσμευση μιας μεγάλης υψηλής ποιότητας τυχαιοποιημένης μελέτης.