Các công thức ước lượng khoảng cho các hệ số hồi quy tổng thể.
|
Các giả định về sai số hồi quy như sau đảm bảo cho các ước lượng hệ số hàm hồi quy tổng thể dựa trên mẫu theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không chệch tốt nhất(BLUE). Giá trị kỳ vọng bằng 0:  Phương sai không đổi: Không tự tương quan: Không tương quan với X: Có phân phối chuẩn: Ở chương 5 chúng ta sẽ khảo sát hậu quả khi các giả thiết trên bị vi phạm.
Ý tưởng của phương pháp bình phương tối thiểu là tìm βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} sao cho tổng bình phương phần dư có giá trị nhỏ nhất. Từ hàm hồi quy (3.5) Vậy Điều kiện để (3.6) đạt cực trị là: Từ (3.7) và (3.8) chúng ta rút ra
Các phương trình (3.9) và (3.10) được gọi là các phương trình chuẩn. Giải hệ phương trình chuẩn ta được Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có Đặt xi=Xi−Xˉ size 12{x rSub { size 8{i} } =X rSub { size 8{i} } - { bar {X}}} {} và yi=Yi−Yˉ size 12{y rSub { size 8{i} } =Y rSub { size 8{i} } - { bar {Y}}} {} ta nhận được
Tính chất của tham số ước lượng βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} là duy nhất ứng với một mẫu xác định gồm n quan sát (Xi,Yi). βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} là các ước lượng điểm của βˆ size 12{ { hat {β}}} {}1 và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} . Giá trị của βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} thay đổi theo mẫu dùng để ước lượng. Tính chất của hàm hồi quy mẫu Hàm hồi quy mẫu đi qua giá trị trung bình của dữ liệu Thật vậy, từ (3.11) ta có Yˉ=βˆ1−βˆ2Xˉ size 12{ { bar {Y}}= { hat {β}} rSub { size 8{1} } - { hat {β}} rSub { size 8{2} } { bar {X}}} {}
Thu nhập X (XD) Hình 3.4. Đường hồi quy mẫu đi qua giá trị trung bình của dữ liệu Giá trị trung bình của ước lượng bằng giá trị trung bình của quan sát đối với biến phụ thuộc: EYˆ=Yˉ size 12{E left ( { hat {Y}} right )= { bar {Y}}} {}. Giá trị trung bình của phần dư bằng 0: Eei=0 size 12{E left (e rSub { size 8{i} } right )=0} {} Các phần dư ei và Yi không tương quan với nhau: Các phần dư ei và Xi không tương quan với nhau: Phân phối của βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} Ước lượng βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {}βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} Kỳ vọng Eβˆ1=β1 size 12{E left ( { hat {β}} rSub { size 8{1} } right )=β rSub { size 8{1} } } {}Eβˆ2=β2 size 12{E left ( { hat {β}} rSub { size 8{2} } right )=β rSub { size 8{2} } } {} Phương sai Sai số chuẩn Phân phối Hiệp phương sai của hai hệ số ước lượng Trong các biểu thức trên σ2=varεi size 12{σ rSup { size 8{2} } ="var" left (ε rSub { size 8{i} } right )} {} với giả định εi~N(0,σ2) size 12{ε rSub { size 8{i} } "~" N \( 0,σ rSup { size 8{2} } \) } {}
Thực sự chúng ta không biết σ2 size 12{σ rSup { size 8{2} } } {} nên ta dùng ước lượng không chệch của nó là Sai số chuẩn của hệ số hồi quy cho độ dốc Từ Từ tính chất của phương sai mẫu ta có Từ (3.14) và (3.15) Ta xây dựng trị thống kê Biến đổi vế trái chúng ta được Thay vào (3.16) ta được Chứng minh tương tự ta có Ước lượng khoảng cho hệ số hồi quy với mức ý nghĩa α size 12{α} {} như sau
Chúng ta quan tâm nhiều đến ý nghĩa thống kê độ dốc ( β size 12{β} {}2) của phương trình hồi quy hơn là tung độ gốc ( β size 12{β} {}1). Cho nên từ đây đến cuối chương chủ yếu chúng ta kiểm định giả thiết thống kê về độ dốc. Giả thiết Phát biểu mệnh đề xác suất Quy tắc quyết định Nếu Nếu Quy tắc thực hành-Trị thống kê t trong các phần mềm kinh tế lượng Trong thực tế chúng ta thường xét xem biến độc lập X có tác động lên biến phụ thuộc Y hay không. Vậy khi thực hiện hồi quy chúng ta kỳ vọng β2≠ size 12{β rSub { size 8{2} } <> } {}0. Mức ý nghĩa hay được dùng trong phân tích hồi quy là β size 12{β} {}=5%. Giả thiết
Trị thống kê trở thành Quy tắc quyết định Nếu thì bác bỏ H0. Nếu thì không thể bác bỏ H0. Tra bảng phân phối Student chúng ta thấy khi bậc tự do n trên 20 thì trị thống kê t97,5% thì xấp xỉ 2. Quy tắc thực hành Nếu /t-stat/ > 2 thì bác bỏ giả thiết β size 12{β} {}2 = 0. Nếu /t-stat/≤ 2 thì ta không thể bác bỏ giả thiết β size 12{β} {}2=0. Trong các phần mềm bảng tính có tính toán hồi quy, người ta mặc định mức ý nghĩa α=5% và giả thiết H0: β size 12{β} {}i=0. Thủ tục tính toán hồi quy của Excel cung cấp cho ta các hệ số hồi quy, trị thống kê t, ước lượng khoảng của hệ số hồi quy và giá trị p.Sau đây là kết quả hồi quy được tính toán bằng thủ tục hồi quy của một vài phần mềm thông dụng. Excel Kết quả Regresstion cho dữ liệu của ví dụ 3.1. (Chỉ trích phần hệ số hồi quy) Intercept: Tung độ gốc Coefficients : Hệ số hồi quy Standard Error : Sai số chuẩn của ước lượng hệ số t Stat : Trị thống kê t(n-2) P-value : Giá trị p Lower95%: Giá trị tới hạn dưới của khoảng ước lượng với độ tin cậy 95%. Upper95% : Giá trị tới hạn trên của khoảng ước lượng với độ tin cậy 95%. Bác bỏ H0 khi /t-stat/ > 2 hoặc p-value < 0,05 hoặc khoảng (Lower;Upper) không chứa 0. Eviews Thủ tục Make Equation cho kết quả như sau(chỉ trích phần hệ số hồi quy): C : Tung độ gốc Coefficient : Hệ số hồi quy Std. Error : Sai số chuẩn của ước lượng hệ số t – Statistic : Trị thống kê t(n-2) Prob: Giá trị p.Bác bỏ H0 khi /t-Statistic/ > 2 hoặc Prob < 0,05. SPSS Thủ tục Regression->Linear. (Chỉ trích phần hệ số hồi quy). Constant: Tung độ gốc Unstandardized Coefficients: Các hệ số hồi quy Standardized Coefficients: Các hệ số hồi quy chuẩn hoá. t: t-StatSig: Giá trị p. Bác bỏ H0 khi /t/ >2 hoặc Sig < 0,05 Định lý Gauss-Markov Với các giả định của mô hình hồi quy tuyến tính cổ điển, hàm hồi quy tuyến tính theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không thiên lệch tốt nhất. Chúng ta sẽ không chứng minh đinh lý này. Độ thích hợp của hàm hồi quy – R 2 Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R2. Để có cái nhìn trực quan về R2, chúng ta xem xét đồ thị sau Hình 3.5. Phân tích độ thích hợp của hồi quy Yi−Yˉ size 12{Y rSub { size 8{i} } - { bar {Y}}} {}: biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với giá trị trung bình Yˉ. size 12{ { bar {Y}} "." } {} Yˆi−Yˉ size 12{ { hat {Y}} rSub { size 8{i} } - { bar {Y}}} {}: biến thiên của Y được giải thích bởi hàm hồi quy ei=Yi−Yˆi size 12{e rSub { size 8{i} } =Y rSub { size 8{i} } - { hat {Y}} rSub { size 8{i} } } {}: biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số hồi quy. Trên mỗi Xi chúng ta kỳ vọng ei nhỏ nhất, hay phần lớn biến thiên của biến phụ thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất. Ta có
Với yi=Yi−Yˉ size 12{y rSub { size 8{i} } =Y"" lSub { size 8{i} } - { bar {Y}}} {} và yˆi=Yˆ−Yˉ size 12{ { hat {y}} rSub { size 8{i} } = { hat {Y}} - { bar {Y}}} {} Vậy Số hạng cuối cùng của (3.21) bằng 0. Vậy Đặt TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y. ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích được bằng hàm hồi quy của Y. RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có: TSS = ESS + RSS Đặt Mặt khác ta có Vậy đối với hồi quy hai biến R2 là bình phương của hệ số tương quan. Tính chất của R2 0≤ R2 ≤1. Với R2=0 thể hiện X và Y độc lập thống kê. R2 =1 thể hiện X và Y phụ thuộc tuyến tính hoàn hảo. R2 không xét đến quan hệ nhân quả. Dự báo bằng mô hình hồi quy hai biến Dựa trên X0 xác định chúng ta dự báo Y0. Ước lượng điểm cho Y0 là : Để ước lượng khoảng chúng ta phải tìm phân phối xác suất của Yˆi size 12{ { hat {Y}} rSub { size 8{i} } } {}. Dự báo giá trị trung bình Từ Suy ra Thay biểu thức của ở mục 3.3.4 vào (3.23) và rút gọn Dự báo giá trị cụ thể của Y0 Từ Ta có và Số hạng cuối cùng Sai số chuẩn của dự báo Cho giá trị của Y0 Khoảng tin cậy cho dự báo Y ˆ o ± t ( n − 2,1 − α / 2 ) se ( Y ˆ o ) size 12{ { hat {Y}} rSub { size 8{o} } +- t"" lSub { size 8{ \( n - 2,1 - α/2 \) } } ital "se" \( { hat {Y}} rSub { size 8{o} } \) } {} Nhận xét: X 0 càng lệch ra khỏi giá trị trung bình thì dự sai số của dự báo càng lớn. Chúng ta sẽ thấy rõ điều này qua đồ thị sau. Ước lượng khoảng cho Y0 trung bìnhY trung bìnhƯớc lượng khoảng cho Y0X trung bình Hình 3.6. Ước lượng khoảng cho Y0. |
