Các giả định về sai số hồi quy như sau đảm bảo cho các ước lượng hệ số hàm hồi quy tổng thể dựa trên mẫu theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không chệch tốt nhất[BLUE].
Giá trị kỳ vọng bằng 0:
Phương sai không đổi:
Không tự tương quan:
Không tương quan với X:
Có phân phối chuẩn:
Ở chương 5 chúng ta sẽ khảo sát hậu quả khi các giả thiết trên bị vi phạm.
Ý tưởng của phương pháp bình phương tối thiểu là tìm βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} sao cho tổng bình phương phần dư có giá trị nhỏ nhất.
Từ hàm hồi quy [3.5]
Vậy
Điều kiện để [3.6] đạt cực trị là:
Từ [3.7] và [3.8] chúng ta rút ra
Các phương trình [3.9] và [3.10] được gọi là các phương trình chuẩn. Giải hệ phương trình chuẩn ta được
Thay [3.9] vào [3.8] và biến đổi đại số chúng ta có
Đặt xi=Xi−Xˉ size 12{x rSub { size 8{i} } =X rSub { size 8{i} } - { bar {X}}} {} và yi=Yi−Yˉ size 12{y rSub { size 8{i} } =Y rSub { size 8{i} } - { bar {Y}}} {} ta nhận được
Tính chất của tham số ước lượng
βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} là duy nhất ứng với một mẫu xác định gồm n quan sát [Xi,Yi].
βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} là các ước lượng điểm của βˆ size 12{ { hat {β}}} {}1 và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} . Giá trị của βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {} thay đổi theo mẫu dùng để ước lượng.
Tính chất của hàm hồi quy mẫu
Hàm hồi quy mẫu đi qua giá trị trung bình của dữ liệu
Thật vậy, từ [3.11] ta có Yˉ=βˆ1−βˆ2Xˉ size 12{ { bar {Y}}= { hat {β}} rSub { size 8{1} } - { hat {β}} rSub { size 8{2} } { bar {X}}} {}
Thu nhập X [XD]
Hình 3.4. Đường hồi quy mẫu đi qua giá trị trung bình của dữ liệu
Giá trị trung bình của ước lượng bằng giá trị trung bình của quan sát đối với biến phụ thuộc: EYˆ=Yˉ size 12{E left [ { hat {Y}} right ]= { bar {Y}}} {}.
Giá trị trung bình của phần dư bằng 0: Eei=0 size 12{E left [e rSub { size 8{i} } right ]=0} {}
Các phần dư ei và Yi không tương quan với nhau:
Các phần dư ei và Xi không tương quan với nhau:
Phân phối của βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {} và βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {}
Ước lượng βˆ1 size 12{ { hat {β}} rSub { size 8{1} } } {}βˆ2 size 12{ { hat {β}} rSub { size 8{2} } } {}
Kỳ vọng Eβˆ1=β1 size 12{E left [ { hat {β}} rSub { size 8{1} } right ]=β rSub { size 8{1} } } {}Eβˆ2=β2 size 12{E left [ { hat {β}} rSub { size 8{2} } right ]=β rSub { size 8{2} } } {}
Phương sai
Sai số chuẩn
Phân phối
Hiệp phương sai của hai hệ số ước lượng
Trong các biểu thức trên σ2=varεi size 12{σ rSup { size 8{2} } ="var" left [ε rSub { size 8{i} } right ]} {} với giả định εi~N[0,σ2] size 12{ε rSub { size 8{i} } "~" N \[ 0,σ rSup { size 8{2} } \] } {}
Thực sự chúng ta không biết σ2 size 12{σ rSup { size 8{2} } } {} nên ta dùng ước lượng không chệch của nó là
Sai số chuẩn của hệ số hồi quy cho độ dốc
Từ
Từ tính chất của phương sai mẫu ta có
Từ [3.14] và [3.15] Ta xây dựng trị thống kê
Biến đổi vế trái chúng ta được
Thay vào [3.16] ta được
Chứng minh tương tự ta có
Ước lượng khoảng cho hệ số hồi quy với mức ý nghĩa α size 12{α} {} như sau
Chúng ta quan tâm nhiều đến ý nghĩa thống kê độ dốc [ β size 12{β} {}2] của phương trình hồi quy hơn là tung độ gốc [ β size 12{β} {}1]. Cho nên từ đây đến cuối chương chủ yếu chúng ta kiểm định giả thiết thống kê về độ dốc.
Giả thiết
Phát biểu mệnh đề xác suất
Quy tắc quyết định
Nếu
Nếu
Quy tắc thực hành-Trị thống kê t trong các phần mềm kinh tế lượng
Trong thực tế chúng ta thường xét xem biến độc lập X có tác động lên biến phụ thuộc Y hay không. Vậy khi thực hiện hồi quy chúng ta kỳ vọng β2≠ size 12{β rSub { size 8{2} } } {}0. Mức ý nghĩa hay được dùng trong phân tích hồi quy là β size 12{β} {}=5%.
Giả thiết
Trị thống kê trở thành
Quy tắc quyết định
Nếu
thì bác bỏ H0.
Nếu
thì không thể bác bỏ H0.
Tra bảng phân phối Student chúng ta thấy khi bậc tự do n trên 20 thì trị thống kê t97,5% thì xấp xỉ 2.
Quy tắc thực hành
Nếu /t-stat/ > 2 thì bác bỏ giả thiết β size 12{β} {}2 = 0.
Nếu /t-stat/≤ 2 thì ta không thể bác bỏ giả thiết β size 12{β} {}2=0.
Trong các phần mềm bảng tính có tính toán hồi quy, người ta mặc định mức ý nghĩa α=5% và giả thiết H0: β size 12{β} {}i=0. Thủ tục tính toán hồi quy của Excel cung cấp cho ta các hệ số hồi quy, trị thống kê t, ước lượng khoảng của hệ số hồi quy và giá trị p.Sau đây là kết quả hồi quy được tính toán bằng thủ tục hồi quy của một vài phần mềm thông dụng.
Excel
Kết quả Regresstion cho dữ liệu của ví dụ 3.1. [Chỉ trích phần hệ số hồi quy]
Intercept: Tung độ gốc
Coefficients : Hệ số hồi quy
Standard Error : Sai số chuẩn của ước lượng hệ số
t Stat : Trị thống kê t[n-2]
P-value : Giá trị p
Lower95%: Giá trị tới hạn dưới của khoảng ước lượng với độ tin cậy 95%.
Upper95% : Giá trị tới hạn trên của khoảng ước lượng với độ tin cậy 95%.
Bác bỏ H0 khi /t-stat/ > 2 hoặc p-value < 0,05 hoặc khoảng [Lower;Upper] không chứa 0.
Eviews
Thủ tục Make Equation cho kết quả như sau[chỉ trích phần hệ số hồi quy]:
C : Tung độ gốc
Coefficient : Hệ số hồi quy
Std. Error : Sai số chuẩn của ước lượng hệ số
t – Statistic : Trị thống kê t[n-2]
Prob: Giá trị p.Bác bỏ H0 khi /t-Statistic/ > 2 hoặc Prob < 0,05.
SPSS
Thủ tục Regression->Linear. [Chỉ trích phần hệ số hồi quy].
Constant: Tung độ gốc
Unstandardized Coefficients: Các hệ số hồi quy
Standardized Coefficients: Các hệ số hồi quy chuẩn hoá.
t: t-StatSig: Giá trị p.
Bác bỏ H0 khi /t/ >2 hoặc Sig < 0,05
Định lý Gauss-Markov
Với các giả định của mô hình hồi quy tuyến tính cổ điển, hàm hồi quy tuyến tính theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không thiên lệch tốt nhất.
Chúng ta sẽ không chứng minh đinh lý này.
Độ thích hợp của hàm hồi quy – R 2
Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R2. Để có cái nhìn trực quan về R2, chúng ta xem xét đồ thị sau
Hình 3.5. Phân tích độ thích hợp của hồi quy
Yi−Yˉ size 12{Y rSub { size 8{i} } - { bar {Y}}} {}: biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với giá trị trung bình Yˉ. size 12{ { bar {Y}} "." } {}
Yˆi−Yˉ size 12{ { hat {Y}} rSub { size 8{i} } - { bar {Y}}} {}: biến thiên của Y được giải thích bởi hàm hồi quy
ei=Yi−Yˆi size 12{e rSub { size 8{i} } =Y rSub { size 8{i} } - { hat {Y}} rSub { size 8{i} } } {}: biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số hồi quy.
Trên mỗi Xi chúng ta kỳ vọng ei nhỏ nhất, hay phần lớn biến thiên của biến phụ thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất.
Ta có
Với yi=Yi−Yˉ size 12{y rSub { size 8{i} } =Y"" lSub { size 8{i} } - { bar {Y}}} {} và yˆi=Yˆ−Yˉ size 12{ { hat {y}} rSub { size 8{i} } = { hat {Y}} - { bar {Y}}} {}
Vậy
Số hạng cuối cùng của [3.21] bằng 0.
Vậy
Đặt
TSS[Total Sum of Squares]: Tổng bình phương biến thiên của Y.
ESS[Explained Sum of Squares]: Tổng bình phương phần biến thiên giải thích được bằng hàm hồi quy của Y.
RSS[Residual Sum of Squares] : Tổng bình phương phần biến thiên không giải thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có:
TSS = ESS + RSS
Đặt
Mặt khác ta có
Vậy đối với hồi quy hai biến R2 là bình phương của hệ số tương quan.
Tính chất của R2
0≤ R2 ≤1. Với R2=0 thể hiện X và Y độc lập thống kê. R2 =1 thể hiện X và Y phụ thuộc tuyến tính hoàn hảo.
R2 không xét đến quan hệ nhân quả.
Dự báo bằng mô hình hồi quy hai biến
Dựa trên X0 xác định chúng ta dự báo Y0.
Ước lượng điểm cho Y0 là :
Để ước lượng khoảng chúng ta phải tìm phân phối xác suất của Yˆi size 12{ { hat {Y}} rSub { size 8{i} } } {}.
Dự báo giá trị trung bình
Từ
Suy ra
Thay biểu thức của
ở mục 3.3.4 vào [3.23] và rút gọn
Dự báo giá trị cụ thể của Y0
Từ
Ta có
và
Số hạng cuối cùng
Sai số chuẩn của dự báo
Cho giá trị của Y0
Khoảng tin cậy cho dự báo
Y ˆ o ± t [ n − 2,1 − α / 2 ] se [ Y ˆ o ] size 12{ { hat {Y}} rSub { size 8{o} } +- t"" lSub { size 8{ \[ n - 2,1 - α/2 \] } } ital "se" \[ { hat {Y}} rSub { size 8{o} } \] } {}
Nhận xét: X 0 càng lệch ra khỏi giá trị trung bình thì dự sai số của dự báo càng lớn. Chúng ta sẽ thấy rõ điều này qua đồ thị sau.
Ước lượng khoảng cho Y0 trung bìnhY trung bìnhƯớc lượng khoảng cho Y0X trung bình
Hình 3.6. Ước lượng khoảng cho Y0.