«Στατιστικά σημαντικό» δεν σημαίνει απαραίτητα μεγάλο ή χρήσιμο αποτέλεσμα. Η φράση αφορά το πώς αξιολογούνται τα δεδομένα μέσα σε ένα συγκεκριμένο στατιστικό μοντέλο. Για να καταλάβουμε τι αξίζει ένα εύρημα, χρειαζόμαστε και το μέγεθος της διαφοράς, την αβεβαιότητα, τη μέθοδο και το πλαίσιο της μελέτης.
Τι μας λέει το p-value;
Το p-value περιγράφει πόσο ασύμβατα είναι τα δεδομένα με ένα στατιστικό μοντέλο, εφόσον ισχύουν οι παραδοχές του. Δεν είναι η πιθανότητα να είναι σωστή η ερευνητική υπόθεση. Ούτε μας λέει, από μόνο του, πόσο πιθανό είναι ένα εύρημα να οφείλεται αποκλειστικά στην τύχη. Η Αμερικανική Στατιστική Εταιρεία επισημαίνει ρητά αυτές τις συχνές παρανοήσεις.
Το γνωστό όριο 0,05 χρησιμοποιείται συχνά για να χαρακτηριστεί ένα αποτέλεσμα «σημαντικό». Δεν είναι όμως μια φυσική γραμμή που χωρίζει την αλήθεια από το λάθος. Δύο σχεδόν ίδιες εκτιμήσεις μπορεί να βρεθούν εκατέρωθεν αυτού του ορίου. Αν κρατήσουμε μόνο την ετικέτα, χάνουμε την ουσία της σύγκρισης.
Πόση είναι η διαφορά στην πράξη;
Ας πάρουμε ένα υποθετικό παράδειγμα εκτός ιατρικής: σε πολύ μεγάλο δείγμα, δύο τρόποι οργάνωσης ενός γραφείου διαφέρουν κατά μισό δευτερόλεπτο στον χρόνο μιας εργασίας. Η διαφορά μπορεί να είναι στατιστικά ανιχνεύσιμη, αλλά το αν αξίζει να αλλάξει όλο το γραφείο είναι άλλη ερώτηση. Το μέγεθος του αποτελέσματος και η σημασία του για την απόφαση παραμένουν απαραίτητα.
Αντίστροφα, μια μελέτη με λίγα δεδομένα μπορεί να μην καταλήγει σε σαφές αποτέλεσμα. Αυτό δεν αποδεικνύει ότι οι επιλογές είναι ισοδύναμες. Μπορεί απλώς η εκτίμηση να είναι πολύ αβέβαιη. Διάβασε περισσότερα για το μέγεθος και τους περιορισμούς ενός δείγματος.
Γιατί χρειάζεται το διάστημα εμπιστοσύνης;
Το διάστημα εμπιστοσύνης μάς βοηθά να δούμε την ακρίβεια της εκτίμησης. Ένα ευρύ διάστημα αφήνει μεγαλύτερο περιθώριο για διαφορετικά μεγέθη αποτελέσματος. Δεν είναι προσωπική πρόβλεψη για έναν αναγνώστη και δεν καλύπτει κάθε πιθανό σφάλμα της έρευνας. Για παράδειγμα, μια προβληματική επιλογή συμμετεχόντων δεν διορθώνεται επειδή ένας πίνακας εμφανίζει πολλούς δεκαδικούς.
Τι να αναζητάς πριν κρατήσεις το συμπέρασμα
- Ποια ήταν η διαφορά, σε κατανοητές μονάδες και με ποιο διάστημα αβεβαιότητας;
- Ποιο ήταν το αρχικό ερευνητικό ερώτημα και πώς οργανώθηκε η σύγκριση;
- Ποιοι περιορισμοί αναφέρονται και πόσο σταθερό είναι το εύρημα στην υπόλοιπη έρευνα;
Η τυχαιοποίηση αφορά τον σχεδιασμό της σύγκρισης, ενώ το p-value αφορά ένα μέρος της ανάλυσης. Κανένα από τα δύο δεν αντικαθιστά τη συνολική αξιολόγηση. Γι’ αυτό και μία μόνο μελέτη δεν αλλάζει αυτομάτως μια οδηγία.
Πηγές
- American Statistical Association — Statement on statistical significance and p-values
- Cochrane Handbook, κεφάλαιο 15 — Ερμηνεία αποτελεσμάτων
- National Library of Medicine — Confidence intervals
Εκπαιδευτικό άρθρο για την ανάγνωση της έρευνας.
