#----------------------------------------------------------# #--- TD4 : regressions sur donnees reelles, biais de ------# #--- variable omise, tests ------# #----------------------------------------------------------# library(haven) # read_dta : lire les fichiers Stata (.dta) library(estimatr) # lm_robust : regression + se robustes library(car) # linearHypothesis : tests de Wald library(lmtest) # coeftest : test sur un coefficient library(ggplot2) # graphiques # Parametres ---- dossier <- "td4/" # dossier des fichiers .dta (a adapter) se_type <- "HC0" # se robuste du cours ; "stata" = HC1, # chiffres du corrige commun #----------------------------------------------------------# #--- Exercice 1 : le sommeil et le tennis -----------------# #----------------------------------------------------------# tennis <- read_dta(file.path(dossier, "Tennis-Sleep.dta")) # ---------- Q1 : statistiques descriptives ---------------- # (la colonne Date est du texte : on la retire) summary(tennis[, -1]) # P1 contre P2 : jeux gagnes, sommeil, alcool (moyennes) data.frame(joueur = c("P1", "P2"), jeux = c(mean(tennis$GamesP1), mean(tennis$GamesP2)), sommeil = c(mean(tennis$SleepP1), mean(tennis$SleepP2)), alcool = c(mean(tennis$AlcoholP1), mean(tennis$AlcoholP2))) # ---------- Q2 : DifgamesP1P2 sur SleepP1 ----------------- reg1 <- lm_robust(DifgamesP1P2 ~ SleepP1, data = tennis, se_type = se_type) summary(reg1) # Memes tests avec la loi normale du cours # (summary affiche des p-valeurs de Student : meme conclusion) coeftest(reg1, df = Inf) # ---------- Q3 : signe du biais de variable omise --------- # Cours (chap. 1, prop. 4) : beta_court = beta_long + lambda * beta_G # lambda = coef. de SleepP1 dans la regression de AlcoholP1 sur SleepP1 lambda <- coef(lm(AlcoholP1 ~ SleepP1, data = tennis))["SleepP1"] c(correlation = cor(tennis$SleepP1, tennis$AlcoholP1), lambda = unname(lambda)) # ---------- Q4 : on ajoute AlcoholP1 ---------------------- reg2 <- lm_robust(DifgamesP1P2 ~ SleepP1 + AlcoholP1, data = tennis, se_type = se_type) summary(reg2) # La formule du cours est exacte sur l'echantillon biais <- lambda * coef(reg2)["AlcoholP1"] c(beta_court = unname(coef(reg1)["SleepP1"]), beta_long = unname(coef(reg2)["SleepP1"]), biais = unname(biais)) # ---------- Q5 : SleepP2 et AlcoholP2 --------------------- # Peu correlees avec SleepP1 et AlcoholP1 : pas de biais round(cor(tennis[, c("SleepP1", "AlcoholP1", "SleepP2", "AlcoholP2")]), 2) # ---------- Q6 : regression complete ---------------------- reg3 <- lm_robust(DifgamesP1P2 ~ SleepP1 + AlcoholP1 + SleepP2 + AlcoholP2, data = tennis, se_type = se_type) summary(reg3) coeftest(reg3, df = Inf) # Test de significativite globale : les 4 coefficients sont nuls linearHypothesis(reg3, c("SleepP1 = 0", "AlcoholP1 = 0", "SleepP2 = 0", "AlcoholP2 = 0"), test = "Chisq") # Le coefficient de SleepP1 selon les variables incluses modeles <- list("SleepP1 seul" = reg1, "+ AlcoholP1" = reg2, "+ SleepP2, AlcoholP2" = reg3) coef_sleep <- data.frame( modele = factor(names(modeles), levels = rev(names(modeles))), coef = sapply(modeles, function(m) coef(m)["SleepP1"]), se = sapply(modeles, function(m) m$std.error["SleepP1"])) ggplot(coef_sleep, aes(x = coef, y = modele)) + geom_vline(xintercept = 0, linetype = "dashed") + geom_pointrange(aes(xmin = coef - 1.96 * se, xmax = coef + 1.96 * se)) + labs(title = expression("Coefficient de " * SleepP1 * " et intervalle de confiance a 95 %"), x = "Effet d'une heure de sommeil de P1 (en jeux)", y = NULL) + theme_minimal() # ---------- Q7 : meme effet du sommeil pour les deux ------ # H0 : beta1 = - beta3, soit R beta0 = 0 avec R = (0, 1, 0, 1, 0) R <- c(0, 1, 0, 1, 0) b <- 0 linearHypothesis(reg3, hypothesis.matrix = R, rhs = b, test = "Chisq") # Autre methode : theta = beta1 + beta3 devient un coefficient # y = b0 + theta x1 + b2 x2 + g (x1 - x3) + b4 x4, avec g = - beta3 tennis$DifsleepP1P2 <- tennis$SleepP1 - tennis$SleepP2 reg3_bis <- lm_robust(DifgamesP1P2 ~ SleepP1 + DifsleepP1P2 + AlcoholP1 + AlcoholP2, data = tennis, se_type = se_type) summary(reg3_bis) # Le test de H0 : theta = 0 est le test de SleepP1 (loi normale) coeftest(reg3_bis, df = Inf)["SleepP1", ] #----------------------------------------------------------# #--- Exercice 2 : les prix des logements ------------------# #----------------------------------------------------------# hprice <- read_dta(file.path(dossier, "hprice1.dta")) # ---------- Q0 : statistiques descriptives ---------------- # price et assess en milliers de $, sqrft et lotsize en pieds carres summary(hprice[, c("price", "assess", "bdrms", "lotsize", "sqrft")]) # ---------- Q1-Q2 : l'evaluation est-elle rationnelle ? --- # price = b0 + b1 assess + u ; H0 : b0 = 0 et b1 = 1 reg_prix <- lm_robust(price ~ assess, data = hprice, se_type = se_type) summary(reg_prix) # Test joint : R = I2, b = (0, 1)' R <- diag(2) b <- c(0, 1) linearHypothesis(reg_prix, hypothesis.matrix = R, rhs = b, test = "Chisq") # Tests simples (pour une egalite : Chisq = z^2) linearHypothesis(reg_prix, "(Intercept) = 0", test = "Chisq") linearHypothesis(reg_prix, "assess = 1", test = "Chisq") # Pourquoi la difference ? Les deux estimateurs sont tres correles V <- vcov(reg_prix) V[1, 2] / sqrt(V[1, 1] * V[2, 2]) # Ellipse de confiance a 95 % pour (b0, b1) et rectangle forme # par les deux intervalles a 95 % pris separement centre <- coef(reg_prix) t <- seq(0, 2 * pi, length.out = 200) cercle <- cbind(cos(t), sin(t)) * sqrt(qchisq(0.95, df = 2)) ellipse <- as.data.frame(sweep(cercle %*% chol(V), 2, centre, "+")) names(ellipse) <- c("b0", "b1") se <- sqrt(diag(V)) ggplot(ellipse, aes(x = b0, y = b1)) + annotate("rect", fill = "grey85", xmin = centre[1] - 1.96 * se[1], xmax = centre[1] + 1.96 * se[1], ymin = centre[2] - 1.96 * se[2], ymax = centre[2] + 1.96 * se[2]) + geom_path(linewidth = 1) + annotate("point", x = centre[1], y = centre[2], size = 2) + annotate("point", x = 0, y = 1, size = 3, colour = "red") + annotate("text", x = 0, y = 1.03, colour = "red", label = "H0 : (0, 1)") + labs(title = expression("Region de confiance a 95 % pour (" * beta[0] * ", " * beta[1] * ")"), x = expression(beta[0]), y = expression(beta[1])) + theme_minimal() # Ecart moyen evaluation - prix : la droite estimee passe par # (assess moyen ; price moyen), l'evaluation est trop elevee lm_robust(I(assess - price) ~ 1, data = hprice, se_type = se_type) # ---------- Q3 : effet d'une chambre de 150 pieds carres -- reg_log <- lm_robust(lprice ~ sqrft + bdrms, data = hprice, se_type = se_type) summary(reg_log) # Effet = 150 * b_sqrft + b_bdrms (modele log-niveau) effet <- sum(c(0, 150, 1) * coef(reg_log)) c(effet_en_log = effet, effet_en_pct = 100 * (exp(effet) - 1)) # ---------- Q4 : regression qui donne directement l'effet - # theta = 150 b1 + b2 donc b2 = theta - 150 b1 : # lprice = b0 + b1 (sqrft - 150 bdrms) + theta bdrms + u hprice$sqrft150b <- hprice$sqrft - 150 * hprice$bdrms reg_theta <- lm_robust(lprice ~ sqrft150b + bdrms, data = hprice, se_type = se_type) summary(reg_theta) # Intervalle de confiance a 95 % (loi normale du cours) theta_hat <- coef(reg_theta)["bdrms"] se_theta <- reg_theta$std.error["bdrms"] c(borne_basse = unname(theta_hat - 1.96 * se_theta), borne_haute = unname(theta_hat + 1.96 * se_theta))