Ο David Friedman θέτει το ακόλουθο ερώτημα/δίλημμα (το παρουσιάζω σε σχετικά ελεύθερη μετάφραση):
Ένας επιστήμονας διεξάγει 10 πειράματα. Παρατηρεί τα αποτελέσματα και δημιουργεί μια θεωρία Χ που συμφωνούν με τα αποτελέσματα του πειράματος. Χρησιμοποιεί την θεωρία Χ για να προβλέψει τα αποτελέσματα των επόμενων δέκα πειραμάτων. Διεξάγει τα δέκα νέα πειράματα και τα αποτελέσματα ταιριάζουν με τις προβλέψεις της θεωρίας Χ. Ένας άλλος επιστήμονας δημιουργεί μια θεωρία Ψ που είναι σύμφωνη με τα αποτελέσματα και των 20 πειραμάτων.
Οι δύο θεωρίες δίνουν διαφορετικές προβλέψεις για το επόμενο (21ο) πείραμα. Ποια από τις δύο θα πιστέψουμε; Γιατί;
Περισσότερα στο ποστ του Friedman και στο Overcoming Bias.
Κάποιοι ισχυρίζονται πως μιας και η θεωρία Ψ δεν έχει δείξει δείγματα επιτυχίας ακόμη, πρέπει να πιστέψουμε την θεωρία Χ. Από την άλλη μεριά, το Occam’s Razor μας συστήνει να επιλέψουμε την πιο απλή – αυτή που έχει τις λιγότερο περιοριστικές υποθέσεις. Από όλες τις συζητήσεις στα ανωτέρω blog οι λέξεις κλειδιά για την απάντηση – που χρειάζονται προσδιορισμό – είναι το “δημιουργεί”, το “συμφωνούν” και το “πιστέψουμε”. Επίσης, πως δημιουργεί κάποιος ενα πείραμα χωρίς θεωρία; Η δική μου άποψη είναι πως – τουλάχιστον στις κοινωνικές επιστήμες – δεν υπάρχει “η καλύτερη θεωρία” αλλά πολλές καλές από τις οποίες πρέπει να βγάλουμε τον μέσο όρο, διεξάγοντας το λεγόμενο model/theory averaging, εφαρμόζοντας “βάρη” μέσω (ψευδο)Μπεϋζιανών μεθόδων.
Υπάρχουν άλλα προβλήματα προς επίλυση ή κριτήρια τα οποία μπορούν να μας βοηθήσουν στην απόφασή μας;
α ρε μαικωλ, πρεπει να γραψεις μια παραγραφο για καθε ορο που χρησιμοποιεις :-)
ας πουμε ουτε γω δεν ειμαι σιγουρος πως θα φτιαξεις τα βαρη με τις μπευζιανες μθοδους…
Αλλα τεσπα, μου φαινεται οτι πρεπει να διαλεξεις την πρωτη θεωρια για τον απλο λογο οτι μπορεσε να προβλεψει μερος του sample χωρις να το χρησιμοποιησει για να φτιαξει το μοντελο (ουσιαστικα out of sample prediction δεν ειναι αυτο?)
Έλα ρε, σιγά, ένα πραγματάκι είναι advanced σε όλα αυτά :)
Η ουσία αυτού που είπα είναι απλή. Κοιτάμε τον “μέσο όρο” των προβλέψεων των δύο θεωριών τοποθετώντας κάποιο βάρος σύμφωνα με κάποια πληροφορία που έχουμε για τις θεωρίας (σε αυτή την περίπτωση, τις πρότερες επιτυχίες σε προβλέψεις). Αυτή η απάντηση δεν επιλύει και το πρόβλημα του αν κάποια από τις δύο θεωρίες εξηγεί τον κόσμο μας καλύτερα – είναι δηλαδή απάντηση περί πρόβλεψης και όχι επεξήγησης.
(Το 21ο πείραμα είναι out-of-sample prediction.)
Μα απο την στιγμη που και οι δυο εξηγουν τα δεδομενα το βαρος πρεπει να ειναι 1/2?
Και δεν ειπες οτι το πρωτο μοντελο εκανε προβλεψη των τελευταιων 10 δεδομενων χωρις να τα επεξεργαστει για την δημιουργια του μοντελου? Αυτο δεν ειναι out of sample?
Ναι, σωστά… η πρώτη έχει και άλλα δέκα out-of-sample predictions στο τσεπάκι… αυτό είναι το ερώτημα… είναι αυτή πληροφορία που πρέπει να ενσωματώσουμε δίνοντας περισσότερο βάρος στη μια θεωρία ή στην άλλη;
Στις περισσότερες εφαρμοσμένες (applied) επιστήμες η πρώτη προσέγγιση θα ήταν η πιο σωστή. Η πειραματική διάταξη και επαλήθευση προσθέτει insights που συμπληρώνουν την οποιαδήποτε θεωρία. Και κάνουν πιο εύκολη και τη διόρθωση/βελτίωσή της. Θεωρητικά (σόρρυ για το λεξιπαίγνιο) η δεύτερη θεωρία θα μπορούσε να είναι απλά μια τρομακτική σύμπτωση.
(ενδιαφέρον κείμενο, σαν το δίλημμα του Πάρι και του Ραδάμανθυ, μόνο πολύ πιο… ρεαλιστικό!)
—
maikwl, θέλω να σε ρωτήσω κάτι για το «ξυράφι του Όκκαμ». Πιστεύεις ότι έχει καθολική αξία ή μόνο σε πιο απλές αναλογίες; πχ εγώ στην Ιατρική (είτε διάγνωση είτε παθοφυσιολογία) έχω πετύχει περιπτώσεις που η απλούστερη εξήγηση δεν ήταν η πιο καλή.
Μην ξεχνάμε επίσης δύο άλλες απόψεις: (1) αυτή του Άινσταιν που έλεγε “make everything as simple as possible, but not simpler” και (2) τη λατινική έννοια της lectio difficilior που, αν και δεν είναι γι’αυτήν τη συγκεκριμένη περίπτωση, δίνει μια διαφορετική σκέψη για τις απλές ερμηνείες.
Ποιά είναι η γνώμη σου;
Όπως το διαβάζω εγώ το δίλημμα, η δύο θεωρίες δεν συνδέονται απαραίτητα (π.χ. η μία μπορεί να έρχεται από τα οικονομικά και η άλλη από την ψυχολογία). Σύμπτωση ίσως να μην είναι αλλά ένδειξη πως ακόμα δεν γνωρίζουμε πάρα πολλά πράγματα για τις διεργασίες που οδηγούν στα εμπειρικά δεδομένα που λαμβάνουμε. Για παράδειγμα, δεν ξέρω αν έχεις ακουστά το λεγόμενο Zipf’s Law – την σταθερή σχέση μεταξύ μεγέθους και βαθμίδας πόλεων σε αστικά συστήματα του κόσμου. Αυτή η σχέση μπορεί να προβλεφθεί μέσω χίλιων δύο θεωριών αλλά αποτελεί περίπτωση όπου η πρόβλεψη δεν μας λέει και πολλά για το ποια από τις θεωρίας πρέπει να πιστέψουμε.
Περί Occam’s Razor… προσωπικά δεν συμφωνώ πως αποτελεί σχετικό κριτήριο για το δίλλημα. Ιδιαίτερα όταν ψάχνουμε για θεωρία με την μεγαλύτερη ικανότητα προβλεψης – και όχι επεξήγησης. Αν περισσότερες μεταβλητές προβλέπουν καλύτερα, τότε χρησιμοποιούμε αυτή την θεωρία. Η προσωπική μου άποψη στο θέμα της επεξήγησης είναι πως η πραγματική γνώση – υπό την έννοια της αιτιακής γνώσης – δεν προκύπτει από μια και μόνο οπτική γωνία και είναι πολύ δύσκολο να επιτευχθεί (τουλάχιστον στα κοινωνικο-οικολογικά συστήματα που εξετάζω εγώ) λόγω πολυπλοκότητας αυτών των συστημάτων. Βλέπω τον ρόλο της θεωρίας (και των μοντέλων περισσότερο) ως εργαλείο πολιτικής.
Εξαιρετικά ενδιαφέρον ερώτημα. Η πρώτη αντιμετώπιση είναι και αυτή που συνήθως ακολουθείται όταν έχουμε ένα πεπερασμένο δείγμα (machine learning). Η δεύτερη ενδεχομένως υποφέρει από extreme fit to the data. Για παράδειγμα ας υποθέσουμε ότι ψάχνω για μια συνάρτηση που κάνει fit την ακόλουθη χρονοσειρά: x1=1, x2=4, x3=7. Εφευρίσκω την συνάρτηση που ορίζεται ως εξής
f(x)=
1 (για x =x1),
4 (για x =x2),
7 (για x =x3),
και ούτω καθεξής. Αυτή η συνάρτηση αναπαράγει με τέλειο τρόπο τα δεδομένα αλλά δεν έχει καμιά προβλεπτική ικανότητα.
Το παράδειγμα αυτό είναι ακραίο, αλλά είναι πάντοτε παρόν, σε μικρότερο βαθμό ανάλογα με τη μέθοδο που χρησιμοποιούμε.
Πέρα από το πρακτικό σκέλος βέβαια, σε πιο αφαιρετικό επίπεδο, η δεύτερη μέθοδος παρέχει περισσότερη πληροφορία (φτιάχνουμε το μοντέλο μας με 20 και όχι μόνο με 10 παρατηρήσεις). Στην πραγματικότητα κανένα μοντέλο δεν μπορεί να αναπαράγει τέλεια τα δεδομένα καθώς αυτά είναι προϊόν ασαφών μετρήσεων για τις οποίες ίσως μπορούμε να υποθέσουμε μια γνωστή κατανομή αλλά και αυτό παραμένει μια υπόθεση βασισμένη σε ανακριβείς και πεπερασμένες μετρήσεις.
Άρα στο πιο πραγματικό setting που είναι δυνατόν να φανταστούμε, έχουμε παρατηρήσεις την ποιότητα των οποίων δεν γνωρίζουμε, προσπαθώντας να προβλέψουμε ένα μικρό κομμάτι του συνολικού συστήματος – το οποίο το θεωρούμε αποκομμένο από τον υπόλοιπο κόσμο γιατί μας βολεύει – υποθέτωντας πάντα ότι ο κόσμος είναι αυστηρά αιτιοκρατικός. Και όλα αυτά υποθέτωντας ότι διαβάσαμε σωστά τις μετρήσεις, δεν είχε bug ο κώδικας μας, δεν είμαστε τρελοί (έτσι λένε οι άλλοι τουλάχιστον), γνωρίζουμε όλες τις άπειρες μεθόδους για να κάνουμε fit το the data και έχουμε άπειρη επεξεργαστική ισχύ σε πεπερασμένο χρόνο.
Η πιο σωστή απάντηση τελικά είναι trial and error, και οι δύο μέθοδοι μπορούν να λειτουργήσουν ανάλογα με το πρόβλημα.
Λοιπόν, νομίζω μόνο ο SG και ο Kensai έχουν απαντήσει στο δίλλημα με επιλογή μόνο μιας θεωριάς. Ο JL και εγώ απαντήσαμε με μίξη. Φαντάζομαι αν μας διάβαζε ο Friedman θα έλεγε, “αν είχατε μόνο μία επιλογή, και η ζωή σας εξαρτώταν από την επιλογή σας, ποια θεωρία θα διαλέγατε και γιατί;”
Μιας και είμαι οπαδός του out-of-sample prediction, εφαρμόζοντάς το στην δική μου δουλειά, μάλλον θα επελέγα την πρώτη θεωρία… αλλά με βαριά καρδιά :)