Ερώτηση 9

Ερώτηση: Τι είναι η μέθοδος ελαχίστων τετραγώνων;

Απάντηση

Είναι μια μέθοδος που χρησιμοποιείται για την εκτίμηση παραμέτρων γραμμικών μοντέλων. Στην πιο απλή περίπτωση που έχουμε δύο μεταβλητές Χ και Υ και θέλουμε να διερευνήσουμε την μεταξύ τους γραμμική σχέση, κάθε παρατήρηση του δείγματος θα είναι μια δυάδα αριθμών, δηλαδή ένα σημείο στο διάγραμμα της Χ με την Υ. Η εξίσωση του γραμμικού μοντέλου που θέλουμε να βρούμε, θα συμβολίζεται στο διάγραμμα ως η ευθεία γραμμή* που θα είναι η πιο κοντινή στα σημεία που έχουν προκύψει από τις παρατηρήσεις του δείγματος.

*Θυμίζουμε: Μια εξίσωση γραμμικής παλινδρόμησης έχει τη μορφή Υ = α + β*Χ, η οποία στην αναλυτική γεωμετρία συμβολίζει μια ευθεία γραμμή.

Πώς λοιπόν βρίσκουμε τους συντελεστές της ευθείας αυτής; Προσθέτοντας τις αποστάσεις όλων των σημείων από την ευθεία και ελαχιστοποιώντας το άθροισμα που προκύπτει. Αν όμως προσθέσουμε απλά τις αποστάσεις το άθροισμα θα είναι 0, αφού τα μισά σημεία θα είναι πάνω από την ευθεία και τα άλλα μισά κάτω από την ευθεία. Έτσι αντί να ελαχιστοποιήσουμε το άθροισμα των αποστάσεων, ελαχιστοποιούμε το άθροισμα των τετραγώνων των αποστάσεων. Κάνοντας αυτό βρίσκουμε του συντελεστές α και β της ευθείας, δηλαδή τους συντελεστές α και β του γραμμικού μοντέλου.

Για την περίπτωση που δεν έχουμε 2 μεταβλητές αλλά περισσότερες, π.χ. Υ και Χ1, Χ2, Χ3, …., τότε η μέθοδος είναι ακριβώς η ίδια μόνο που χρησιμοποιείται γεωμετρία περισσοτέρων διαστάσεων.

Ερώτηση 8

Ερώτηση:Τι είναι η μέθοδος μέγιστης πιθανοφάνειας;

Απάντηση

Είναι μια μέθοδος που χρησιμοποιείται για την εκτίμηση παραμέτρων γραμμικών και μη γραμμικών μοντέλων. Η εκτίμηση μίας παραμέτρου (π.χ. μέσος όρος, διακύμανση) με τη μέθοδο μέγιστης πιθανοφάνειας βασίζεται στη μεγιστοποίηση της πιθανότητας P(E; θ) να παρατηρηθεί μια τιμή Ε της παραμέτρου δεδομένου ότι η εκτιμήτρια της παραμέτρου έχει την τιμή θ. Δηλαδή στην πιθανότητα να παρατηρηθεί μία απάντηση δεδομένου ότι ισχύει το μοντέλο που έχουμε υποθέσει. Έτσι, ακολουθώντας τη μέθοδο της μέγιστης πιθανοφάνειας η εκτιμούμενη τιμή μιας μεταβλητής είναι αυτή για την οποία μεγιστοποιείται η πιθανότητα να προκύψουν οι παρατηρήσεις που έχουμε συλλέξει στο δείγμα μας.

Για παράδειγμα, ας υποθέσουμε ότι έχουμε ένα μοντέλο παλινδρόμησης Υ = α + β*Χ και θέλουμε να εκτιμήσουμε τις παραμέτρους α και β με βάση ένα δείγμα 100 συνδυασμών Υ και Χ (π.χ. τις απαντήσεις σε 2 ερωτήσεις ενός ερωτηματολογίου). Ακολουθώντας τη μέθοδο μέγιστης πιθανοφάνειας οι παράμετροι α και β είναι αυτές που μεγιστοποιούν την πιθανότητα να εμφανιστούν οι 100 αυτοί συνδυασμοί, αν υποτεθεί ότι το μοντέλο Υ = α + β*Χ που επιλέξαμε είναι σωστό.