Quiz mémoire1

Qu’est-ce qu’une probabilité ? C’est la fréquence de l’apparition d’un evt

Une variable aléatoire prend uniquement les 3 valeurs suivantes (4.12, 3.08, 0.05). Donner la bonne affirmation. C’est une variable discrète

Soit un dé équilibré, avec autant de chances d’obtenir chacune des valeurs suivantes 1, 2, 3, 4, 5 ou 6 : quelle est la probabilité de l’événement “obtenir un nombre pair” ? 0,5

Une distribution normale a une forme de “cloche”. OUI

Importer des données et positionner le répertoire de travail

Avant tout, il faut importer les données:

# Positionnement du répertoire par défaut
#setwd("~/Projets/r-mooc-fun")
#setwd("~/Documents/mooc-fun")
#chargement du fichier
smp<-read.csv2("smp2.csv")

#vérificaiton du contenu du fichier en affichant la struture du data.frame smp
str(smp)

## 'data.frame':    799 obs. of  26 variables:
##  $ age         : int  31 49 50 47 23 34 24 52 42 45 ...
##  $ prof        : Factor w/ 8 levels "agriculteur",..: 3 NA 7 6 8 6 3 2 6 6 ...
##  $ duree       : int  4 NA 5 NA 4 NA NA 5 4 NA ...
##  $ discip      : int  0 0 0 0 1 0 0 0 1 0 ...
##  $ n.enfant    : int  2 7 2 0 1 3 5 2 1 2 ...
##  $ n.fratrie   : int  4 3 2 6 6 2 3 9 12 5 ...
##  $ ecole       : int  1 2 2 1 1 2 1 2 1 2 ...
##  $ separation  : int  0 1 0 1 1 0 1 0 1 0 ...
##  $ juge.enfant : int  0 0 0 0 NA 0 1 0 1 0 ...
##  $ place       : int  0 0 0 1 1 0 1 0 0 0 ...
##  $ abus        : int  0 0 0 0 0 0 0 0 1 1 ...
##  $ grav.cons   : int  1 2 2 1 2 1 5 1 5 5 ...
##  $ dep.cons    : int  0 0 0 0 1 0 1 0 1 0 ...
##  $ ago.cons    : int  1 0 0 0 0 0 0 0 0 0 ...
##  $ ptsd.cons   : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ alc.cons    : int  0 0 0 0 0 0 0 0 1 1 ...
##  $ subst.cons  : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ scz.cons    : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ char        : int  1 1 1 1 1 1 1 1 4 1 ...
##  $ rs          : int  2 2 2 2 2 1 3 2 3 2 ...
##  $ ed          : int  1 2 3 2 2 2 3 2 3 2 ...
##  $ dr          : int  1 1 2 2 2 1 2 2 1 2 ...
##  $ suicide.s   : int  0 0 0 1 0 0 3 0 4 0 ...
##  $ suicide.hr  : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ suicide.past: int  0 0 0 0 1 0 1 0 1 0 ...
##  $ dur.interv  : int  NA 70 NA 105 NA NA 105 84 78 60 ...

A ce stade, on observe dans R, dans l’onglet Environnement le dataframe smp que l’on peux manipuler.

Diagramme baton (bar)

Le but est de représenter la distribution d’une variable: Par exemple: le nombre de détenus par métier

#Tout d'abord, on va générer une table afin d'isoler la variable métier
tablemetier<-table(smp$prof)

#Ensuite, on peux générer le barplot
barplot(tablemetier)

Diagramme camembert (pie)

pie(tablemetier)

histogramme

C’est le grand classique pour représenter la distribution d’une variable aléatoire quantitative continue

hist(smp$age, col = "red", main = "Distribution de l'age des détenus", xlab = "Age", ylab = "Fréquence")

boite à moustache (boxplot)

Utile pour les variables quantitatives

boxplot(smp$age, xlab="Age")

• à l’intérieur de la boîte, on a 50 % des données,
• on a ensuite une moustache supérieure,
• et entre le bord supérieur de la boîte et la moustache supérieure, on a 25 % des données,
• et entre le bord inférieur de la boîte et la moustache inférieure, on a aussi 25% des données.

Ce n’est pas exactement cela car on peux voir des modalités au dessus de la moustache supérieure. La moustache supérieur n’est pas égale au max des modalités mais : min(max des données, 1,5 X écart-types au dessus du bord supérieur de la boîte).

L’intéret de boxplot est de représenter la distrib d’une var quanti en fonction de sous groupes. Par exemple quelle est la distrib de l’age par rapport à la consommation de substance:

boxplot(smp$age~smp$subst.cons, ylab="Age", xlab="Consommation de substance", main="Distribution de l'age par rapport à la consommation de substance") # subst.cons prend comme valeur 0 si pas de consommation et 1 si consommation

On remarque que les jeunes consomment plus que les vieux

Graphique x/y (plot)

plot(smp$age, smp$n.enfant)

On remarque que en moyenne, plus un détenu est agé, plus son nombre d’enfant est elevé

Les modalités identiques se superposent et ne sont pas visibles. Si on veux voir toutes les modalités même les doublons, on peux décaler visuellement les valeurs identiques avec jitter

plot(jitter(smp$age, factor = 5), jitter(smp$n.enfant, factor = 5))

Données temporelles

## 'data.frame':    1053 obs. of  3 variables:
##  $ NUMERO: int  96 96 96 96 96 96 96 96 157 157 ...
##  $ VISIT : int  0 4 7 14 21 28 42 56 0 4 ...
##  $ HDRS  : int  34 26 12 7 5 1 1 1 27 19 ...

On utilise la fonction plotmeans pour représenter l’évolution d’une variable dans le temps

## 
## Attaching package: 'gplots'

## The following object is masked from 'package:stats':
## 
##     lowess

Ensuite on utilise plotmeans

plotmeans(repdat$HDRS~repdat$VISIT, barcol="orange")

## Warning in arrows(x, li, x, pmax(y - gap, li), col = barcol, lwd = lwd, :
## zero-length arrow is of indeterminate angle and so skipped

## Warning in arrows(x, li, x, pmax(y - gap, li), col = barcol, lwd = lwd, :
## zero-length arrow is of indeterminate angle and so skipped

## Warning in arrows(x, ui, x, pmin(y + gap, ui), col = barcol, lwd = lwd, :
## zero-length arrow is of indeterminate angle and so skipped

## Warning in arrows(x, ui, x, pmin(y + gap, ui), col = barcol, lwd = lwd, :
## zero-length arrow is of indeterminate angle and so skipped

On constate que l’état de santé des patients évolue eu fur et à mesure du temps

Si on veux représenter l’évolution de l’état pour chaque patient sur une seule courbe, on utilise interaction.plot. Cette fonction prend 3 paramétres: le temps (VISIT), la variable qui indique chaque sujet (NUMERO), la variable à représenter (HDRS)

interaction.plot(repdat$VISIT, repdat$NUMERO, repdat$HDRS,legend=FALSE)

legend=FALSE permet d’éviter de faire déborder la légende sur le graphique

Quiz mémoire2

Quelle commande faut-il utiliser pour représenter graphiquement la distribution de la taille de 100 individus ?

hist(data)

Quelle commande R permet de tracer graphiquement la distribution du nombre d’enfants en fonction de l’âge ?

plot(age,n.enfant)

Quelle instruction permet d’insérer un titre à un graphique dans R ?

main=“super clean !!”

Position

médiane = 50% des obs sont au dessus et 50% au dessous ==> intuitif et robuste (les valeurs extremes ne modifient pas la médiane puisqu’on coupe l’échantillon en 2) moyenne = centre de gravité ==> simple à calculer contrairement à la médiane, propriété mathématique du barycentre, intérêt comptable pour le calcul de KI

Distribution

les quartiles découpent le jeu d’observation en 4 parties égales. Par exemple pour 20 observations, on aura:

• Entre 0 et Q1: 25% des sujets dont les observations sont inférieures au 1er quartile
• \([Q1;Median]\) et \([Median;Q3]\): 50% des sujets dont les obs se regroupe autour de la médiane
• Après Q3: 25% des sujets dont les observations sont supérieures au 3éme quartiles

obs<-c(1,2,3,4,5,8,12,34)
boxplot(obs)

L’écart type est la racine carré de la variance: \(et= \sqrt{variance}\)

La variance est la moyenne des carrés des écarts à la moyenne: \(variance = (\sum_{i=1}^n (x_i-m)^2)/n\)

L’écart type correspond à une inertie et a de bonnes propriétés mathématiques. L’écart-type au carré = variance = moyenne des carrées moins la moyenne au carré: \(et^2=var=(\sum_{i=1}^n x^2_i)/n-(\sum_{i=1}^n x_i)/n)^2\)

ET n’a pas beaucoup de sens , sauf quand la variable a une distribution normale. Dans ce cas, \([m - et ; et + m]\) représente 2/3 des données (le gros de la troupe)

Quiz mémoire 3

On relève la taille de 10 personnes en mètre : 1.71 m, 1.70 m, 1.65 m, 1.54 m, 1.70 m, 1.63 m, 1.81 m, 400 m, 1.81 m, 1.64 m. On remarque la présence d’une valeur aberrante dans cet échantillon (il est impossible qu’une personne mesure 400 mètres). Quel indice de position est-il préférable d’utiliser pour bien estimer la taille des individus de la population ?

La médiane

#Création du data.frame
taille<-c(1.71,1.70,1.65,1.54,1.70,1.63,1.81,400,1.81,1.64)

#Calcul d'une moyenne qui est polluée par le fat finger du data.frame
mean(taille)

## [1] 41.519

#Calcul de la variance qui est incompréhensible
sd(taille)

## [1] 125.9574

#Calcul de la médiane qui n'est pas perturbée par le fat finger
median(taille)

## [1] 1.7

#Obtention de la médiane avec la commande describe
library(prettyR)
describe(taille)

## Description of structure(list(x = c(1.71, 1.7, 1.65, 1.54, 1.7, 1.63, 1.81,  400, 1.81, 1.64)), .Names = "x", row.names = c(NA, -10L), class = "data.frame")

## 
##  Numeric 
##    mean median      var     sd valid.n
## x 41.52    1.7 15865.27 125.96      10

Nous disposons d’un échantillon issu d’une variable aléatoire gaussienne (autrement dit, qui suit une loi normale). La moyenne de l’échantillon vaut environ 1.7 et son écart-type vaut environ 0.1. Quelle est la part des données comprises entre 1.6 et 1.8 ?

la variable suit une loi normale. Dans ce cas, [m - et ; et + m] (cad [1.6;1.8]) représente 2/3 des données (le gros de la troupe).

Pour une distribution symétrique :

La moyenne est égale à la médiane

Dans quel cas utilisons-nous un écart-type ?

Pour calculer un intervalle de confiance

L’intervalle inter-quartile entre le premier et le troisième quartile

Regroupe la moitié de l’échantillon

Commande R pour les mesures de position et de dispertion d’un dataframe

summary(smp)

##       age                       prof         duree           discip     
##  Min.   :19.0   ouvrier           :227   Min.   :1.000   Min.   :0.000  
##  1st Qu.:28.0   sans emploi       :222   1st Qu.:4.000   1st Qu.:0.000  
##  Median :37.0   employe           :135   Median :5.000   Median :0.000  
##  Mean   :38.9   artisan           : 90   Mean   :4.302   Mean   :0.232  
##  3rd Qu.:48.0   prof.intermediaire: 58   3rd Qu.:5.000   3rd Qu.:0.000  
##  Max.   :83.0   (Other)           : 61   Max.   :5.000   Max.   :1.000  
##  NA's   :2      NA's              :  6   NA's   :223     NA's   :6      
##     n.enfant        n.fratrie          ecole         separation    
##  Min.   : 0.000   Min.   : 0.000   Min.   :1.000   Min.   :0.0000  
##  1st Qu.: 0.000   1st Qu.: 2.000   1st Qu.:1.000   1st Qu.:0.0000  
##  Median : 1.000   Median : 3.000   Median :2.000   Median :0.0000  
##  Mean   : 1.755   Mean   : 4.287   Mean   :1.866   Mean   :0.4226  
##  3rd Qu.: 3.000   3rd Qu.: 6.000   3rd Qu.:2.000   3rd Qu.:1.0000  
##  Max.   :13.000   Max.   :21.000   Max.   :5.000   Max.   :1.0000  
##  NA's   :26                        NA's   :5       NA's   :11      
##   juge.enfant         place             abus          grav.cons    
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :1.000  
##  1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:2.000  
##  Median :0.0000   Median :0.0000   Median :0.0000   Median :4.000  
##  Mean   :0.2771   Mean   :0.2285   Mean   :0.2778   Mean   :3.643  
##  3rd Qu.:1.0000   3rd Qu.:0.0000   3rd Qu.:1.0000   3rd Qu.:5.000  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :7.000  
##  NA's   :5        NA's   :7        NA's   :7        NA's   :4      
##     dep.cons         ago.cons        ptsd.cons         alc.cons     
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.0000   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3967   Mean   :0.1665   Mean   :0.2165   Mean   :0.1865  
##  3rd Qu.:1.0000   3rd Qu.:0.0000   3rd Qu.:0.0000   3rd Qu.:0.0000  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##                                                                     
##    subst.cons        scz.cons           char             rs       
##  Min.   :0.0000   Min.   :0.0000   Min.   :1.000   Min.   :1.000  
##  1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:1.000   1st Qu.:1.000  
##  Median :0.0000   Median :0.0000   Median :1.000   Median :2.000  
##  Mean   :0.2653   Mean   :0.0826   Mean   :1.512   Mean   :2.057  
##  3rd Qu.:1.0000   3rd Qu.:0.0000   3rd Qu.:2.000   3rd Qu.:3.000  
##  Max.   :1.0000   Max.   :1.0000   Max.   :4.000   Max.   :3.000  
##                                    NA's   :96      NA's   :103    
##        ed              dr          suicide.s        suicide.hr    
##  Min.   :1.000   Min.   :1.000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:1.000   1st Qu.:1.000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :2.000   Median :2.000   Median :0.0000   Median :0.0000  
##  Mean   :1.866   Mean   :2.153   Mean   :0.7942   Mean   :0.2013  
##  3rd Qu.:3.000   3rd Qu.:3.000   3rd Qu.:1.0000   3rd Qu.:0.0000  
##  Max.   :3.000   Max.   :3.000   Max.   :5.0000   Max.   :1.0000  
##  NA's   :107     NA's   :111     NA's   :41       NA's   :39      
##   suicide.past      dur.interv    
##  Min.   :0.0000   Min.   :  0.00  
##  1st Qu.:0.0000   1st Qu.: 48.00  
##  Median :0.0000   Median : 60.00  
##  Mean   :0.2841   Mean   : 61.89  
##  3rd Qu.:1.0000   3rd Qu.: 75.00  
##  Max.   :1.0000   Max.   :120.00  
##  NA's   :14       NA's   :50

On peux observer: * pour les var quanti: le min, le max, les quartiles, la médiane, la moyenne, le nb de données manquantes * pour les var cat: le nb de sujet pour chaque modalité et le nb de données manquantes

Summary n’est pas très pratique quand le nb de variables est important. Pour éviter cela on utilise describe (package de prettyR)

#install.packages("prettyR")
library(prettyR)
describe(smp)

## Description of smp

## 
##  Numeric 
##               mean median    var    sd valid.n
## age          38.90     37 176.38 13.28     797
## duree         4.30      5   0.75  0.87     576
## discip        0.23      0   0.18  0.42     793
## n.enfant      1.76      1   3.36  1.83     773
## n.fratrie     4.29      3  11.84  3.44     799
## ecole         1.87      2   0.96  0.98     794
## separation    0.42      0   0.24  0.49     788
## juge.enfant   0.28      0   0.20  0.45     794
## place         0.23      0   0.18  0.42     792
## abus          0.28      0   0.20  0.45     792
## grav.cons     3.64      4   2.73  1.65     795
## dep.cons      0.40      0   0.24  0.49     799
## ago.cons      0.17      0   0.14  0.37     799
## ptsd.cons     0.22      0   0.17  0.41     799
## alc.cons      0.19      0   0.15  0.39     799
## subst.cons    0.27      0   0.20  0.44     799
## scz.cons      0.08      0   0.08  0.28     799
## char          1.51      1   0.73  0.85     703
## rs            2.06      2   0.77  0.88     696
## ed            1.87      2   0.76  0.87     692
## dr            2.15      2   0.69  0.83     688
## suicide.s     0.79      0   2.06  1.44     758
## suicide.hr    0.20      0   0.16  0.40     760
## suicide.past  0.28      0   0.20  0.45     785
## dur.interv   61.89     60 386.89 19.67     749
## 
##  Factor 
##          
## prof      ouvrier sans emploi employe artisan prof.intermediaire autre
##   Count    227.00      222.00   135.0   90.00              58.00 31.00
##   Percent   28.41       27.78    16.9   11.26               7.26  3.88
##          
## prof      cadre agriculteur <NA>
##   Count      24        6.00 6.00
##   Percent     3        0.75 0.75
## Mode ouvrier

Commande R pour des calculs de position et de dispersion sur 1 variable cat ou quant

On peux calculer isolémment les valeurs pour les var quant:

• moyenne avec mean
• écart type avec sd (standard deviation)

Attention, pour aboutir à un résultat, il faut rejeter les données manquantes avec l’option na.rm=TRUE

mean(smp$age, na.rm = TRUE)

## [1] 38.89962

sd(smp$age, na.rm = TRUE)

## [1] 13.28098

min(smp$age, na.rm = TRUE)

## [1] 19

max(smp$age, na.rm = TRUE)

## [1] 83

pour les var cat, on utilise la commande table

Attention pour les données manquantes, on peux utiliser l’option useNA=“always” afin de savoir combien de données manquantes existent dans l’échantillon

# Affiche les données de base de la variabale prof
table(smp$prof,useNA="always")

## 
##        agriculteur            artisan              autre 
##                  6                 90                 31 
##              cadre            employe            ouvrier 
##                 24                135                227 
## prof.intermediaire        sans emploi               <NA> 
##                 58                222                  6

# deparse.level=2 permet d'afficher le nom de la variable calculée
table(smp$prof, deparse.level=2, useNA="always")

## smp$prof
##        agriculteur            artisan              autre 
##                  6                 90                 31 
##              cadre            employe            ouvrier 
##                 24                135                227 
## prof.intermediaire        sans emploi               <NA> 
##                 58                222                  6

En complément, on peux utiliser la librairie Knitr qui fournit la fonction kable pour faire des affichages plus sympa des tableaux

library(knitr)
tab<-table(smp$prof,useNA="always")
kable(tab)

On peux également utiliser une extension rmarkdown qui permet de manipuler des dataframe ou des tableaux avec beaucoup de lignes

rmarkdown::paged_table(smp)

La fonction datatable du package DT propose également son propre formatage

#install.packages("DT")
DT::datatable(smp)

A noter, qu’il existe de nombreuses librairies qui facilitent le formatage des tableaux:

• printr: étend le fonctionnement de knitr
• kableExtra: étend la fonction kable de knitr
• formattable à utiliser en conjonction avec kableExtra
• panter
• xtable
• tables
• sjPlot

Quiz mémoire4

Comment représenter une donnée manquante dans R ? NA

Quelle fonction permet de faire le résumé des variables du jeu de données “data”, en affichant les quantiles et le nombre de valeurs manquantes de chaque variable ? summary(data)

Quelle fonction simple permet d’afficher le type des variables et les 10 premières observations de chaque variable du jeu de données “data” ? str(data)

Quelle fonction permet de calculer spécifiquement la moyenne d’une variable numérique ? mean(variable)

Que permet de faire la fonction table ? générer le tableau d’effectif (effectifs pour chaque variable avec option valeurs manquantes: useNA=“always”)

Décrire les données

#View(smp) #visulaise un dataframe
names(smp) # affiche le nom des variables

##  [1] "age"          "prof"         "duree"        "discip"      
##  [5] "n.enfant"     "n.fratrie"    "ecole"        "separation"  
##  [9] "juge.enfant"  "place"        "abus"         "grav.cons"   
## [13] "dep.cons"     "ago.cons"     "ptsd.cons"    "alc.cons"    
## [17] "subst.cons"   "scz.cons"     "char"         "rs"          
## [21] "ed"           "dr"           "suicide.s"    "suicide.hr"  
## [25] "suicide.past" "dur.interv"

str(smp) # affiche pour chaque variable son mode représentation : par exemple int ou Factor qui affiche les différents niveaux d'une var cat

## 'data.frame':    799 obs. of  26 variables:
##  $ age         : int  31 49 50 47 23 34 24 52 42 45 ...
##  $ prof        : Factor w/ 8 levels "agriculteur",..: 3 NA 7 6 8 6 3 2 6 6 ...
##  $ duree       : int  4 NA 5 NA 4 NA NA 5 4 NA ...
##  $ discip      : int  0 0 0 0 1 0 0 0 1 0 ...
##  $ n.enfant    : int  2 7 2 0 1 3 5 2 1 2 ...
##  $ n.fratrie   : int  4 3 2 6 6 2 3 9 12 5 ...
##  $ ecole       : int  1 2 2 1 1 2 1 2 1 2 ...
##  $ separation  : int  0 1 0 1 1 0 1 0 1 0 ...
##  $ juge.enfant : int  0 0 0 0 NA 0 1 0 1 0 ...
##  $ place       : int  0 0 0 1 1 0 1 0 0 0 ...
##  $ abus        : int  0 0 0 0 0 0 0 0 1 1 ...
##  $ grav.cons   : int  1 2 2 1 2 1 5 1 5 5 ...
##  $ dep.cons    : int  0 0 0 0 1 0 1 0 1 0 ...
##  $ ago.cons    : int  1 0 0 0 0 0 0 0 0 0 ...
##  $ ptsd.cons   : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ alc.cons    : int  0 0 0 0 0 0 0 0 1 1 ...
##  $ subst.cons  : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ scz.cons    : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ char        : int  1 1 1 1 1 1 1 1 4 1 ...
##  $ rs          : int  2 2 2 2 2 1 3 2 3 2 ...
##  $ ed          : int  1 2 3 2 2 2 3 2 3 2 ...
##  $ dr          : int  1 1 2 2 2 1 2 2 1 2 ...
##  $ suicide.s   : int  0 0 0 1 0 0 3 0 4 0 ...
##  $ suicide.hr  : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ suicide.past: int  0 0 0 0 1 0 1 0 1 0 ...
##  $ dur.interv  : int  NA 70 NA 105 NA NA 105 84 78 60 ...

summary(smp)

##       age                       prof         duree           discip     
##  Min.   :19.0   ouvrier           :227   Min.   :1.000   Min.   :0.000  
##  1st Qu.:28.0   sans emploi       :222   1st Qu.:4.000   1st Qu.:0.000  
##  Median :37.0   employe           :135   Median :5.000   Median :0.000  
##  Mean   :38.9   artisan           : 90   Mean   :4.302   Mean   :0.232  
##  3rd Qu.:48.0   prof.intermediaire: 58   3rd Qu.:5.000   3rd Qu.:0.000  
##  Max.   :83.0   (Other)           : 61   Max.   :5.000   Max.   :1.000  
##  NA's   :2      NA's              :  6   NA's   :223     NA's   :6      
##     n.enfant        n.fratrie          ecole         separation    
##  Min.   : 0.000   Min.   : 0.000   Min.   :1.000   Min.   :0.0000  
##  1st Qu.: 0.000   1st Qu.: 2.000   1st Qu.:1.000   1st Qu.:0.0000  
##  Median : 1.000   Median : 3.000   Median :2.000   Median :0.0000  
##  Mean   : 1.755   Mean   : 4.287   Mean   :1.866   Mean   :0.4226  
##  3rd Qu.: 3.000   3rd Qu.: 6.000   3rd Qu.:2.000   3rd Qu.:1.0000  
##  Max.   :13.000   Max.   :21.000   Max.   :5.000   Max.   :1.0000  
##  NA's   :26                        NA's   :5       NA's   :11      
##   juge.enfant         place             abus          grav.cons    
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :1.000  
##  1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:2.000  
##  Median :0.0000   Median :0.0000   Median :0.0000   Median :4.000  
##  Mean   :0.2771   Mean   :0.2285   Mean   :0.2778   Mean   :3.643  
##  3rd Qu.:1.0000   3rd Qu.:0.0000   3rd Qu.:1.0000   3rd Qu.:5.000  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :7.000  
##  NA's   :5        NA's   :7        NA's   :7        NA's   :4      
##     dep.cons         ago.cons        ptsd.cons         alc.cons     
##  Min.   :0.0000   Min.   :0.0000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :0.0000   Median :0.0000   Median :0.0000   Median :0.0000  
##  Mean   :0.3967   Mean   :0.1665   Mean   :0.2165   Mean   :0.1865  
##  3rd Qu.:1.0000   3rd Qu.:0.0000   3rd Qu.:0.0000   3rd Qu.:0.0000  
##  Max.   :1.0000   Max.   :1.0000   Max.   :1.0000   Max.   :1.0000  
##                                                                     
##    subst.cons        scz.cons           char             rs       
##  Min.   :0.0000   Min.   :0.0000   Min.   :1.000   Min.   :1.000  
##  1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:1.000   1st Qu.:1.000  
##  Median :0.0000   Median :0.0000   Median :1.000   Median :2.000  
##  Mean   :0.2653   Mean   :0.0826   Mean   :1.512   Mean   :2.057  
##  3rd Qu.:1.0000   3rd Qu.:0.0000   3rd Qu.:2.000   3rd Qu.:3.000  
##  Max.   :1.0000   Max.   :1.0000   Max.   :4.000   Max.   :3.000  
##                                    NA's   :96      NA's   :103    
##        ed              dr          suicide.s        suicide.hr    
##  Min.   :1.000   Min.   :1.000   Min.   :0.0000   Min.   :0.0000  
##  1st Qu.:1.000   1st Qu.:1.000   1st Qu.:0.0000   1st Qu.:0.0000  
##  Median :2.000   Median :2.000   Median :0.0000   Median :0.0000  
##  Mean   :1.866   Mean   :2.153   Mean   :0.7942   Mean   :0.2013  
##  3rd Qu.:3.000   3rd Qu.:3.000   3rd Qu.:1.0000   3rd Qu.:0.0000  
##  Max.   :3.000   Max.   :3.000   Max.   :5.0000   Max.   :1.0000  
##  NA's   :107     NA's   :111     NA's   :41       NA's   :39      
##   suicide.past      dur.interv    
##  Min.   :0.0000   Min.   :  0.00  
##  1st Qu.:0.0000   1st Qu.: 48.00  
##  Median :0.0000   Median : 60.00  
##  Mean   :0.2841   Mean   : 61.89  
##  3rd Qu.:1.0000   3rd Qu.: 75.00  
##  Max.   :1.0000   Max.   :120.00  
##  NA's   :14       NA's   :50

summary(smp$age)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
##    19.0    28.0    37.0    38.9    48.0    83.0       2

smp$age[1] # affiche la 1ere observation

## [1] 31

smp$age[1:10] # affiche les obs entre 1 et 10

##  [1] 31 49 50 47 23 34 24 52 42 45

min(smp$age, na.rm = TRUE) # calcul de l'age min en enlevant les valeurs manquantes

## [1] 19

smp$abus[1:10] # Première valeurs de abus

##  [1] 0 0 0 0 0 0 0 0 1 1

unique(smp$abus[1:10]) # liste des modalités uniques de la var abus

## [1] 0 1

head(smp$abus, n=10) # affiche les 10 premières valeurs

##  [1] 0 0 0 0 0 0 0 0 1 1

length(smp$abus) # nb total d'observation (nb ligne du tableau smp)

## [1] 799

table(smp$abus) # renvoie un tableau d'effecitf associé à chaque modalité de la var

## 
##   0   1 
## 572 220

table(smp$abus, useNA = "always") # pou afficher les valeurs manquantes

## 
##    0    1 <NA> 
##  572  220    7

Passer d’une var quanti à 1 var quali avec factor

Dans le fichier suite à l’import, abus est une var cat qui a été importée comme une variable numérique. Cela est confirmé avec la commande summary:

summary(smp$abus)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
##  0.0000  0.0000  0.0000  0.2778  1.0000  1.0000       7

Si on souhaite la traiter comme une var quali (cat), on peux utiliser pour cela la commande factor. R va alors associer des niveaux pour chaque modalité différente de la variable

head(smp$abus)

## [1] 0 0 0 0 0 0

head(factor(smp$abus)) # association de niveau

## [1] 0 0 0 0 0 0
## Levels: 0 1

abus.factor <-factor(smp$abus, levels=c(0,1), labels=c("Non", "Oui"))
table(smp$abus, useNA = "always") # sans niveau on a 1 affichage peu intuitif

## 
##    0    1 <NA> 
##  572  220    7

table(abus.factor, useNA = "always") # avec les niveaux c'est beaucoup plus clair

## abus.factor
##  Non  Oui <NA> 
##  572  220    7

A noter que abus.factor a été ajouté à l’espace de travail

Création de niveaux aggrégés avec factor et levels

On peux créer des aggrégations et diminuer le nb de modaliés en créant des catégories. Par exemple, on va créer 5 catégories de détenus à partir du nombre d’enfants qu’ils ont: on peux créer 6 niveaux niveau 1: 1 enfant, niveau 2: 2 enfants, etc. A partir de 6 enfants et plus on pourra aggréger en 1 seul niveau. Tout d’abord on observe la variable:

names(smp) # liste les variables du dataframe

##  [1] "age"          "prof"         "duree"        "discip"      
##  [5] "n.enfant"     "n.fratrie"    "ecole"        "separation"  
##  [9] "juge.enfant"  "place"        "abus"         "grav.cons"   
## [13] "dep.cons"     "ago.cons"     "ptsd.cons"    "alc.cons"    
## [17] "subst.cons"   "scz.cons"     "char"         "rs"          
## [21] "ed"           "dr"           "suicide.s"    "suicide.hr"  
## [25] "suicide.past" "dur.interv"

head(smp$n.enfant) # 1eres observations

## [1] 2 7 2 0 1 3

summary(smp$n.enfant) # R considère que cette variable est numérique

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
##   0.000   0.000   1.000   1.755   3.000  13.000      26

table(smp$n.enfant) # on constate que l'on pourrait construire des catégories car la plupart du temps, il y a au max 4 enfants

## 
##   0   1   2   3   4   5   6   7   8   9  10  11  13 
## 214 220 125 101  55  31   7   7   7   2   2   1   1

table(smp$n.enfant>4) #715 observations avec 4 enfants au max et seulement 78 obs au delà

## 
## FALSE  TRUE 
##   715    58

Ensuite, on va créer une nouvelle variable n.enfant.cat traitée comme un facteur R:

factor(smp$n.enfant)

##   [1] 2    7    2    0    1    3    5    2    1    2    0    <NA> 0    3   
##  [15] 3    0    2    1    <NA> 1    1    0    0    3    1    3    1    2   
##  [29] 3    0    1    3    2    1    2    1    1    3    1    0    0    1   
##  [43] 0    1    2    2    1    1    0    2    0    2    0    1    1    0   
##  [57] 2    2    0    0    0    0    1    0    1    3    1    0    1    1   
##  [71] 1    0    0    1    0    1    1    0    0    0    1    0    0    0   
##  [85] 0    2    1    4    4    0    1    7    1    0    0    1    0    4   
##  [99] 1    3    2    4    0    1    0    0    1    1    3    1    0    2   
## [113] 2    1    0    0    1    3    5    2    3    2    1    1    0    3   
## [127] 10   4    2    2    0    1    3    0    1    0    1    0    0    3   
## [141] 0    1    1    0    0    11   2    0    0    1    0    1    2    2   
## [155] 2    0    1    4    2    0    0    1    0    1    1    0    2    1   
## [169] 2    1    0    0    1    5    0    1    0    0    0    3    3    3   
## [183] 1    0    5    1    3    1    1    1    0    6    0    0    0    3   
## [197] 1    0    2    5    2    3    3    1    1    1    1    7    2    5   
## [211] 4    0    2    0    0    1    0    2    3    0    2    3    4    1   
## [225] 0    0    1    1    3    1    0    1    3    3    3    2    8    2   
## [239] 4    3    0    1    0    1    0    2    0    0    2    9    3    0   
## [253] 1    1    2    4    0    1    7    4    0    8    1    1    2    0   
## [267] 8    5    2    1    8    1    2    3    3    8    2    1    1    4   
## [281] 0    3    0    2    3    1    <NA> <NA> 2    <NA> 3    2    0    0   
## [295] 1    5    1    3    3    <NA> 5    4    <NA> <NA> 2    <NA> <NA> <NA>
## [309] <NA> <NA> 2    3    1    2    1    0    2    <NA> 1    3    0    1   
## [323] 0    5    7    3    2    3    <NA> 4    4    1    0    0    <NA> 0   
## [337] 5    1    <NA> 3    2    1    3    2    1    <NA> 0    0    1    0   
## [351] 3    1    <NA> <NA> 0    1    <NA> 3    0    0    1    3    0    5   
## [365] 2    1    5    4    0    1    2    0    0    1    0    4    2    0   
## [379] 0    5    3    2    2    2    6    0    1    1    0    5    3    1   
## [393] 0    0    2    1    1    1    1    0    2    1    1    0    2    4   
## [407] 2    2    2    3    3    4    3    0    0    0    1    0    0    4   
## [421] 0    1    0    0    0    4    0    1    0    2    3    0    0    3   
## [435] 1    2    2    4    0    2    0    5    8    0    2    1    1    3   
## [449] 2    4    0    4    0    0    5    1    3    1    1    3    3    1   
## [463] 4    4    1    1    9    0    1    1    1    1    3    1    2    5   
## [477] 0    2    4    4    0    0    3    10   3    2    2    0    0    2   
## [491] 5    2    0    1    0    1    2    4    0    1    2    13   4    3   
## [505] 1    1    0    6    2    0    1    4    3    0    1    2    0    0   
## [519] 2    3    1    0    3    1    1    5    1    1    1    0    4    3   
## [533] 2    0    4    2    1    1    2    1    0    3    1    1    2    3   
## [547] 1    3    3    5    0    0    0    0    3    4    0    0    1    5   
## [561] 0    0    1    1    3    0    1    1    1    0    4    1    1    0   
## [575] 2    4    1    2    1    5    1    1    4    1    1    1    2    0   
## [589] 2    0    4    5    0    0    1    0    2    4    1    4    2    0   
## [603] 1    0    0    1    0    2    1    1    2    0    1    0    2    1   
## [617] 1    0    1    1    1    0    1    1    1    0    0    0    3    1   
## [631] 0    0    1    0    1    4    1    1    2    1    2    4    1    2   
## [645] 6    1    1    2    1    3    1    0    1    1    2    0    1    0   
## [659] 0    2    0    1    0    0    1    0    0    3    3    1    6    <NA>
## [673] 2    1    3    1    1    0    <NA> 2    1    1    1    3    1    2   
## [687] 3    4    1    2    <NA> 2    2    0    4    0    0    3    1    3   
## [701] 3    0    2    1    1    4    0    3    4    1    1    0    1    2   
## [715] 1    2    4    3    2    1    4    2    4    1    <NA> 0    7    2   
## [729] 1    1    3    4    3    2    3    2    1    0    2    3    3    4   
## [743] 3    0    6    6    3    5    4    4    <NA> 1    3    2    4    3   
## [757] 2    3    0    0    8    0    3    0    0    0    5    5    5    1   
## [771] 2    5    1    1    5    4    3    0    0    3    0    0    0    2   
## [785] 2    3    3    7    2    3    0    1    5    2    1    1    3    0   
## [799] 2   
## Levels: 0 1 2 3 4 5 6 7 8 9 10 11 13

smp$n.enfant.cat<-factor(smp$n.enfant)
table(smp$n.enfant.cat) # on voit que 14 factors ont été crées: on va regrouper en 6 factors: 1, 2, 3, 4, 5, 5+

## 
##   0   1   2   3   4   5   6   7   8   9  10  11  13 
## 214 220 125 101  55  31   7   7   7   2   2   1   1

levels(smp$n.enfant.cat)

##  [1] "0"  "1"  "2"  "3"  "4"  "5"  "6"  "7"  "8"  "9"  "10" "11" "13"

nlevels(smp$n.enfant.cat)

## [1] 13

levels(smp$n.enfant.cat)[6:13] # Sélection des derniers niveaux de 6 à 13 

## [1] "5"  "6"  "7"  "8"  "9"  "10" "11" "13"

levels(smp$n.enfant.cat)[6:13]<-"5+" # Création d'une seule modalité de la variable levels pour les niveaux aggrégé appellé "5+"
table(smp$n.enfant.cat) # on vérifie que pour cette variable créée, on a bien 6 niveaux au lieu de 13 : les niveaux 6 à 13 ont été aggrégés en 1 seul niveau

## 
##   0   1   2   3   4  5+ 
## 214 220 125 101  55  58

Sauvegardes

save(smp, file="smp.sav") #sauvegarde d'un dataframe
## savehistory("commande_history.R") #sauvegarde de l'historique des commandes

Mécanisme de base de l’indexation

load("smp.sav") #Rechargement d'une sauvegarde effectuée avec save
names(smp) # liste des variables du dataframe

##  [1] "age"          "prof"         "duree"        "discip"      
##  [5] "n.enfant"     "n.fratrie"    "ecole"        "separation"  
##  [9] "juge.enfant"  "place"        "abus"         "grav.cons"   
## [13] "dep.cons"     "ago.cons"     "ptsd.cons"    "alc.cons"    
## [17] "subst.cons"   "scz.cons"     "char"         "rs"          
## [21] "ed"           "dr"           "suicide.s"    "suicide.hr"  
## [25] "suicide.past" "dur.interv"   "n.enfant.cat"

smp$age[1] # accès à la 1ere observation de la variable age

## [1] 31

smp[1,1] # accès à la 1ere observation de la 1ere variable

## [1] 31

smp[1,"age"]  # accès à la 1ere observation de la variable age

## [1] 31

smp[1,"prof"] # accès à la 1ere observation de la variable prof qui est catégoriel

## [1] autre
## 8 Levels: agriculteur artisan autre cadre employe ... sans emploi

head(smp$prof)

## [1] autre              <NA>               prof.intermediaire
## [4] ouvrier            sans emploi        ouvrier           
## 8 Levels: agriculteur artisan autre cadre employe ... sans emploi

head(smp$prof=="agriculteur") # restriction sur la variable prof pour la modalité agriculteur

## [1] FALSE    NA FALSE FALSE FALSE FALSE

table(smp$prof=="agriculteur") # tableau des valeurs de la variable prof qui vaut agriculteur

## 
## FALSE  TRUE 
##   787     6

which(smp$prof=="agriculteur") # numéro des observations pour lesquelles la valeur de prof==agriculteur

## [1]  15 312 384 391 439 442

smp$age[which(smp$prof=="agriculteur")] # valeurs de la variable age pour lesquels la prof vaut agriculteur

## [1] 64 42 37 36 35 79

Filtres avec la commande subset

Cette commande permet de filtrer les observations du dataframe directement avec une expression. 3 parametres donc:

1. le dataframe
2. le filtre à appliquer sur les lignes du dataframe
3. la variable que l’on souhaite afficher

subset(smp,prof=="agriculteur",age)

##     age
## 15   64
## 312  42
## 384  37
## 391  36
## 439  35
## 442  79

subset(smp,prof=="agriculteur",1:5) #extension de la sélection à plus de 1 variable. Ici les variables 1 à 5: age, prof, durée, discip, n.enfant

##     age        prof duree discip n.enfant
## 15   64 agriculteur    NA      0        3
## 312  42 agriculteur     4      0        3
## 384  37 agriculteur     5      1        2
## 391  36 agriculteur     4      1        3
## 439  35 agriculteur     3      0        0
## 442  79 agriculteur     5      0        5

names(smp)[1:5]

## [1] "age"      "prof"     "duree"    "discip"   "n.enfant"

subset(smp,prof=="agriculteur",c(1,3,4,5)) # liste des variables à afficher quand elles ne se suivent pas

##     age duree discip n.enfant
## 15   64    NA      0        3
## 312  42     4      0        3
## 384  37     5      1        2
## 391  36     4      1        3
## 439  35     3      0        0
## 442  79     5      0        5

subset(smp,prof=="agriculteur" & n.enfant>2,c(1,3,4,5)) #combinaison de 2 filtres: le filtre sur la profession ET sur le nombre d'enfant

##     age duree discip n.enfant
## 15   64    NA      0        3
## 312  42     4      0        3
## 391  36     4      1        3
## 442  79     5      0        5

Filtre encore plus complexe: On filtre les valeurs manquantes pour la variable duree

subset(smp,prof=="agriculteur" & n.enfant>2,c(1,3,4,5) & complete.cases(duree))

##     age        prof duree discip n.enfant n.fratrie ecole separation
## 15   64 agriculteur    NA      0        3         2     1          0
## 312  42 agriculteur     4      0        3         6     1          0
## 391  36 agriculteur     4      1        3         4     3          1
## 442  79 agriculteur     5      0        5         6     2          0
##     juge.enfant place abus grav.cons dep.cons ago.cons ptsd.cons alc.cons
## 15            0     0    0         1        0        0         0        0
## 312           0     0    0         4        1        1         0        1
## 391           1     1    0         2        0        0         1        0
## 442           0     0    0        NA        0        0         0        0
##     subst.cons scz.cons char rs ed dr suicide.s suicide.hr suicide.past
## 15           0        0    1  1  1  3         0          0            0
## 312          0        0    2  1  3  2         3          1            0
## 391          1        0    1 NA  3  1         0          0            0
## 442          0        0    1  2  1  1         0          0            0
##     dur.interv n.enfant.cat
## 15          80            3
## 312         NA            3
## 391         NA            3
## 442         85           5+

Filtre avec table et prop.table

Création d’un tableau d’effectif à partir de la commande table

table.n.enfant.cat<-table(smp$n.enfant.cat) # création d'un tableau d'effectif
sum(table.n.enfant.cat) #calcul de l'effectif

## [1] 773

100*table.n.enfant.cat/sum(table.n.enfant.cat) # effectifs en proportion

## 
##         0         1         2         3         4        5+ 
## 27.684347 28.460543 16.170763 13.065977  7.115136  7.503234

100*prop.table(table.n.enfant.cat) # commande équivalente qui calcul directement le tableau de fréquence relative rapporté à l'effecitf total

## 
##         0         1         2         3         4        5+ 
## 27.684347 28.460543 16.170763 13.065977  7.115136  7.503234

round(prop.table(table.n.enfant.cat), 3)

## 
##     0     1     2     3     4    5+ 
## 0.277 0.285 0.162 0.131 0.071 0.075

Représentation graphique des fréquences relatives (graphiques univariés)

Variables catégorielles (par exemple n.enfant.cat)

enfant.cat.freq<-100*prop.table(table.n.enfant.cat)
barplot(enfant.cat.freq)#représentation graphique du tableau de fréquences relatives

barplot(enfant.cat.freq, ylim=c(0,30)) # l'échelle des Y est comprise dans un intervalle spécifié

barplot(enfant.cat.freq, ylim=c(0,30), las=1)# Agrément du graphique: les labels en x et y sont orientés horizontalement

Variables numériques (par exemple age)

head(smp$age)

## [1] 31 49 50 47 23 34

hist(smp$age) #R choisit lui même les classes à regroupées

hist(smp$age, nclass=8) # personnalisation en figeant le nombre de classe à utiliser

hist(smp$age, nclass=8, prob=TRUE, las=1) #covnersion de l'historgramme en historgramme de densité
lines(density(smp$age, na.rm=TRUE)) #utilisation de la densité non paramétrique qui permet de ne pas trop oberver les classes mais uniquement une forme de densité générale

Quiz mémoire5

Qu’est-ce qu’un intervalle de confiance ? L’intervalle de confiance à 95% est un intervalle de valeurs qui a 95% de chance de contenir la vraie valeur du paramètre estimé

Quelles conditions doit remplir l’estimateur d’un paramètre pour que nous puissions calculer l’intervalle de confiance à partir de la moyenne et de l’écart type ? l’estimateur du paramètre doit suivre une distribution normale

Si une étude retrouve 6% de troubles schizophréniques dans un échantillon de détenus français, quel est le pourcentage exact de ces troubles dans la population globale de détenus français ? Impossible à savoir

L’étendue de l’intervalle de confiance augmente : Si le nombre de sujets de l’échantillon diminue

Comment l’échantillonnage doit-il être réalisé pour que le calcul de l’intervalle de confiance ait un sens ? L’échantillonnage doit être réalisé de manière aléatoire

Quiz mémoire6

Une corrélation très forte entre deux variables signifie que : Il est possible que les deux variables soient liées par une relation de causalité

Le coefficient de corrélation entre 2 variables qui suivent une loi normale est r=0, signifie que : Les 2 variables sont indépendantes

Le coefficient de corrélation entre 2 variables est r=0.4, signifie que : Le pourcentage de variance partagé entre ces 2 variables est de 16%

La relation entre les 2 variables X et Y est plus forte dans : Le nuage des points B car on voit visuellement que le nuage se répartit autour d’une droite

Quelle option devons-nous ajouter dans la commande “cor” en cas de données manquantes dans R ? complete.obs

cor(smp$age, smp$n.enfant) #Renvoie NA car il y a des données manquantes

## [1] NA

cor(smp$age, smp$n.enfant,use="complete.obs")

## [1] 0.4326039

Définition du RR et de l’OD

soit les données d’enquêtes suivantes: ||Enrhumés| |:-:|:-:|:-:| ||Oui|Non| |Tabac: Oui|30|600| |Tabac: Non|30|300|

La question est d’évaluer la prévalence du rhume selon que l’on est fumeur ou pas

RR = (30 / 330) / (30 / 630) #Calcul du Risque Relatif
OD = (30 / 300) / (30 / 600) #Calcul de l'ODDSRATIO
RR

## [1] 1.909091

OD

## [1] 2

Pour RR, on peut dire que les fumeurs on 1,9 plus de chance d’être enrhumés que les non fumeurs.

Pour ODDSRATIO, c’est à peu près la même chose surtout si l’échantillon est important

• Si la modalité observée est peu fréquente, alors RR = OD
• Si l’échantillon est faible, alors une étude cas-témoin (50% d’individu avec la modalité et 50% sans la modalité) est possible et c’est OD qui est utilisé car RR n’a plus de sens

Corrélation

La corrélation entre le niveau d’évitement du danger et la dépression dans la population Il faut tout d’abord transformer le niveau d’évitement du danger en variable binaire

smp$ed.bin<-ifelse(smp$ed>2,1,0)
str(smp)

## 'data.frame':    799 obs. of  27 variables:
##  $ age         : int  31 49 50 47 23 34 24 52 42 45 ...
##  $ prof        : Factor w/ 8 levels "agriculteur",..: 3 NA 7 6 8 6 3 2 6 6 ...
##  $ duree       : int  4 NA 5 NA 4 NA NA 5 4 NA ...
##  $ discip      : int  0 0 0 0 1 0 0 0 1 0 ...
##  $ n.enfant    : int  2 7 2 0 1 3 5 2 1 2 ...
##  $ n.fratrie   : int  4 3 2 6 6 2 3 9 12 5 ...
##  $ ecole       : int  1 2 2 1 1 2 1 2 1 2 ...
##  $ separation  : int  0 1 0 1 1 0 1 0 1 0 ...
##  $ juge.enfant : int  0 0 0 0 NA 0 1 0 1 0 ...
##  $ place       : int  0 0 0 1 1 0 1 0 0 0 ...
##  $ abus        : int  0 0 0 0 0 0 0 0 1 1 ...
##  $ grav.cons   : int  1 2 2 1 2 1 5 1 5 5 ...
##  $ dep.cons    : int  0 0 0 0 1 0 1 0 1 0 ...
##  $ ago.cons    : int  1 0 0 0 0 0 0 0 0 0 ...
##  $ ptsd.cons   : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ alc.cons    : int  0 0 0 0 0 0 0 0 1 1 ...
##  $ subst.cons  : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ scz.cons    : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ char        : int  1 1 1 1 1 1 1 1 4 1 ...
##  $ rs          : int  2 2 2 2 2 1 3 2 3 2 ...
##  $ ed          : int  1 2 3 2 2 2 3 2 3 2 ...
##  $ dr          : int  1 1 2 2 2 1 2 2 1 2 ...
##  $ suicide.s   : int  0 0 0 1 0 0 3 0 4 0 ...
##  $ suicide.hr  : int  0 0 0 0 0 0 1 0 1 0 ...
##  $ suicide.past: int  0 0 0 0 1 0 1 0 1 0 ...
##  $ dur.interv  : int  NA 70 NA 105 NA NA 105 84 78 60 ...
##  $ ed.bin      : num  0 0 1 0 0 0 1 0 1 0 ...

table(smp$ed.bin,smp$ed, deparse.level = 2, useNA = "always")

##           smp$ed
## smp$ed.bin   1   2   3 <NA>
##       0    315 155   0    0
##       1      0   0 222    0
##       <NA>   0   0   0  107

On peux ensuite chercher à calculer la corrélation entre smp\(ed.bin et smp\)dep.cons

La fonction twoby2 permet de calculer la corrélation:

twoby2(1-smp$ed.bin, 1-smp$dep.cons)

## 2 by 2 table analysis: 
## ------------------------------------------------------ 
## Outcome   : 0 
## Comparing : 0 vs. 1 
## 
##     0   1    P(0) 95% conf. interval
## 0 126  96  0.5676    0.5016   0.6312
## 1 135 335  0.2872    0.2481   0.3298
## 
##                                    95% conf. interval
##              Relative Risk: 1.9760    1.6456   2.3726
##          Sample Odds Ratio: 3.2569    2.3361   4.5408
## Conditional MLE Odds Ratio: 3.2508    2.3037   4.6035
##     Probability difference: 0.2803    0.2020   0.3549
## 
##              Exact P-value: 0 
##         Asymptotic P-value: 0 
## ------------------------------------------------------

Quiz mémoire7

L’Odds ratio (OR) vaut : ( a/b) /(c/d)

Dans quel cas ne pouvons nous pas calculer le Risque Relatif (RR) ? Étude cas-témoins: le principe de ce tye d’étude est d’utiliser une taille d’échantillon faible (moins cher…)

Si la prévalence de la maladie est rare, l’OR est-il équivalent au RR ? OUI

Quelle est la fonction R qui permet le calcul des RR et OR ? twoby2

library(Epi)
twoby2(1-smp$suicide.hr, 1-smp$abus) # calcul de l'ODD-Ratio

## 2 by 2 table analysis: 
## ------------------------------------------------------ 
## Outcome   : 0 
## Comparing : 0 vs. 1 
## 
##     0   1    P(0) 95% conf. interval
## 0  63  90  0.4118    0.3366   0.4913
## 1 147 453  0.2450    0.2122   0.2810
## 
##                                    95% conf. interval
##              Relative Risk: 1.6807    1.3276   2.1276
##          Sample Odds Ratio: 2.1571    1.4873   3.1287
## Conditional MLE Odds Ratio: 2.1547    1.4577   3.1764
##     Probability difference: 0.1668    0.0837   0.2525
## 
##              Exact P-value: 1e-04 
##         Asymptotic P-value: 1e-04 
## ------------------------------------------------------

Quiz mémoire8

Nous testons statistiquement la différence de pourcentages des individus malades dans les groupes A et B, que représente p (p-value) ? La probabilité que le hasard puisse expliquer à lui seul une différence au moins aussi importante que celle qui a été observée. Si le p est supérieur à 0.05, alors cette probabilité est considérée comme importante et alors on considère que le hasard peux expliquer

Si la taille de l’échantillon diminue, le p (p-value) obtenu par le test de Fisher : Augmente: la taille ne sera pas suffisante pour estimer

Hors contexte spécifique, quelle doit être la valeur de p pour que le résultat soit significatif ? <5%

Vous êtes appelé comme expert dans une affaire de dopage, vous decouvrez que le test est positif avec un p égal à 0,101. Que dites vous ? Vous ne pouvez affirmer ni sa culpabilité, ni son innocence.

Quiz mémoire9

Comment appelle-t-on l’hypothèse que nous voulons démontrer ? H1

Nous collectons des données sur l’efficacité d’un médicament, nous souhaitons savoir si ces données nous permettraient oui ou non d’affirmer à des cliniciens que le médicament est efficace. Quelle approche statistique utiliseriez-vous pour répondre à cette question ? le médicament est efficace est l’hypothèse H1 de l’approche Neyman et Pearson

Alpha, le risque de première espèce, est la probabilité d’accepter : H0 alors que H1 est vrai

Dans un test de Neyman et Pearson, le résultat est plus significatif si p : La valeur de p n’importe pas du moment qu’il est inférieur à 5%

Conditions de validité du khi2

• Que N (l’effectif) est plus grand que 12
• Que les pourcentages ne sont très proches ni de 0, ni de 100

On peux également faire une test exact de Fisher: On constate que p est également très faible.

fisher.test(smp$ed.bin,smp$dep.cons)

## 
##  Fisher's Exact Test for Count Data
## 
## data:  smp$ed.bin and smp$dep.cons
## p-value = 2.033e-12
## alternative hypothesis: true odds ratio is not equal to 1
## 95 percent confidence interval:
##  2.303664 4.603460
## sample estimates:
## odds ratio 
##   3.250819

Quiz mémoire10

Avant de réaliser un test du Khi² sur R, que faut-il vérifier ? Les conditions de validité du test khi2 sont effectuées par R automatiquement

Quelle est la différence entre un test de Fisher et un test du Khi² ? Le test de Fisher permet de comparer 2 proportions quand les conditions de validité du test du Khi² ne sont pas respectées (Au moins un effectif théorique est inférieur à 5)

Quelle commande R faut-il utiliser pour réaliser un test du Khi² à partir des 2 variables var1 et var2 ? chisq.test(var1,var2,correct = FALSE)

Le lien entre les variables var1 et var2 a été testé à partir d’un test du Khi². Le p est égal 0,02. Que cela signifie-il ? Les deux variables sont dépendantes l’une de l’autre

Quiz mémoire11

Dans quel cas utilisons-nous un test t de Student ?

Pouvons-nous réaliser un test t de Student pour comparer 2 variables ayant une distribution en forme de U ?

Pour vérifier si la distribution d’une variable quantitative est normale, qu’est-il conseillé de faire ?

Quelle commande R faut-il utiliser pour comparer les écarts-types d’une variable “taille” entre les hommes et les femmes (variable “sexe”) ?

Les moyennes d’une variable continue ont été comparées entre deux groupes. Le p obtenu avec un test t de Student est égal à 0,01. Que cela signifie-t-il ?

Dans quel cas utilisons-nous un test de Wilcoxon ?

Quiz mémoire12

Quelles sont les conditions de validité d’un test de corrélation de Pearson ?

La commande pour réaliser un test de corrélation de Pearson entre les variables var 1 et var 2 est :

Quand les conditions de validité d’un test de corrélation de Pearson ne sont pas remplies, on doit réaliser :

Le test de Spearman pose parfois un problème car :

La commande pour tester si la moyenne d’une variable aléatoire est différente d’une valeur connue est :

Le test de comparaison de proportions pour deux échantillons appariés est :

Le test de comparaison de moyennes pour deux échantillons appariés est :

Pour réaliser un test t de Student pour échantillons appariés, il faut ajouter dans la commande :

Quiz mémoire13

Nous construisons la droite de régression d’un nuage de points de façon à : Minimiser la somme des carrés des distances verticales entre les points et cette droite

La fonction “jitter” introduit du bruit sur les valeurs d’une variable pour : Eviter d’avoir trop de points superposés dans un graphique

Quelle est la commande qui permet d’obtenir sur un nuage de points la droite de régression ? abline (lm (Y~X))

Quelle est la commande qui permet d’obtenir les valeurs p des coefficients de régression d’un modèle linéaire mod1 ? summary (mod1)

Dans une régression linéaire, de quel type est la variable à expliquer (Y) ? Quantitative

Quelle est l’équation d’un modèle de régression linéaire simple ?

\(Y = a + b X + bruit\)

Dans un modèle de régression simple, le coefficient de la variable X vaut -0.7 (avec un p < à 0.05). Que cela signifie-t-il ? Pour le gain d’une unité de X, Y diminue de 0.7 unité Pour le gain d’une unité de X, Y diminue de 0.7 unité - correct

Quiz mémoire 14

Dans un modèle linéaire simple, nous testons la nullité du coefficient de régression b de la variable à expliquer Y sur la variable explicative quantitative X. A quel test cela s’apparente-t-il ? Tester la nullité du coefficient de correlation entre la variable X et la variable Y

Quelles sont les conditions si nous voulons tester par un modèle de régression linéaire simple, la différence de moyennes entre les modalités d’une variable explicative X qualitative ? X doit être une variable binaire (à deux classes)

Régression linéaire multiple

mod3<-lm(dur.interv~age+dep.cons+subst.cons+scz.cons, data = smp)
summary(mod3)

## 
## Call:
## lm(formula = dur.interv ~ age + dep.cons + subst.cons + scz.cons, 
##     data = smp)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -63.654 -14.522  -1.193  11.482  62.482 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 48.90105    2.62213  18.649  < 2e-16 ***
## age          0.22096    0.05708   3.871 0.000118 ***
## dep.cons     7.38932    1.44783   5.104 4.24e-07 ***
## subst.cons   5.25157    1.74318   3.013 0.002678 ** 
## scz.cons     2.27256    2.52323   0.901 0.368062    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 19.1 on 742 degrees of freedom
##   (52 observations deleted due to missingness)
## Multiple R-squared:  0.05833,    Adjusted R-squared:  0.05325 
## F-statistic: 11.49 on 4 and 742 DF,  p-value: 4.692e-09

variable explicative catégorielle à plus de 2 classes

Si on veut utiliser une variable profession comme variable explicative, il faut la recoder en plusieurs variables binaires avec une des modalités définie commme modalité de référence (par exemple agriculteur) ==> R le fait automatiquement

mod4<-lm(dur.interv~age+dep.cons+subst.cons+scz.cons+prof, data = smp)
summary(mod4)

## 
## Call:
## lm(formula = dur.interv ~ age + dep.cons + subst.cons + scz.cons + 
##     prof, data = smp)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -63.280 -14.164  -1.337  10.959  63.184 
## 
## Coefficients:
##                         Estimate Std. Error t value Pr(>|t|)    
## (Intercept)             62.79202   10.20779   6.151 1.26e-09 ***
## age                      0.21289    0.05884   3.618 0.000317 ***
## dep.cons                 7.36792    1.45840   5.052 5.53e-07 ***
## subst.cons               5.34589    1.76902   3.022 0.002599 ** 
## scz.cons                 2.50439    2.54734   0.983 0.325863    
## profartisan            -11.48515    9.82936  -1.168 0.243005    
## profautre              -10.28748   10.33482  -0.995 0.319862    
## profcadre              -19.29636   10.38568  -1.858 0.063574 .  
## profemploye            -13.55809    9.76340  -1.389 0.165358    
## profouvrier            -14.01270    9.72111  -1.441 0.149880    
## profprof.intermediaire -13.01926    9.96911  -1.306 0.191977    
## profsans emploi        -14.27866    9.71782  -1.469 0.142174    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 19.11 on 731 degrees of freedom
##   (56 observations deleted due to missingness)
## Multiple R-squared:  0.06595,    Adjusted R-squared:  0.05189 
## F-statistic: 4.692 on 11 and 731 DF,  p-value: 5.825e-07

Choix de la modalité de référence

Pour changer la modalité de référence: on choisit celle qui est la plus fréquente

smp$prof<-relevel(smp$prof, ref="ouvrier")
mod5<-lm(dur.interv~age+dep.cons+subst.cons+scz.cons+prof, data = smp)
summary(mod5)

## 
## Call:
## lm(formula = dur.interv ~ age + dep.cons + subst.cons + scz.cons + 
##     prof, data = smp)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -63.280 -14.164  -1.337  10.959  63.184 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)            48.77932    2.83938  17.180  < 2e-16 ***
## age                     0.21289    0.05884   3.618 0.000317 ***
## dep.cons                7.36792    1.45840   5.052 5.53e-07 ***
## subst.cons              5.34589    1.76902   3.022 0.002599 ** 
## scz.cons                2.50439    2.54734   0.983 0.325863    
## profagriculteur        14.01270    9.72111   1.441 0.149880    
## profartisan             2.52755    2.48989   1.015 0.310381    
## profautre               3.72522    3.99637   0.932 0.351567    
## profcadre              -5.28366    4.25567  -1.242 0.214798    
## profemploye             0.45460    2.12659   0.214 0.830785    
## profprof.intermediaire  0.99344    2.95809   0.336 0.737089    
## profsans emploi        -0.26596    1.87727  -0.142 0.887375    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 19.11 on 731 degrees of freedom
##   (56 observations deleted due to missingness)
## Multiple R-squared:  0.06595,    Adjusted R-squared:  0.05189 
## F-statistic: 4.692 on 11 and 731 DF,  p-value: 5.825e-07

Estimation de l’effet globale d’une variable catégorielle à plus de 2 classes

drop1(mod5,.~.,test="F") # effet globale de la variable profession

## Single term deletions
## 
## Model:
## dur.interv ~ age + dep.cons + subst.cons + scz.cons + prof
##            Df Sum of Sq    RSS    AIC F value    Pr(>F)    
## <none>                  266846 4395.6                      
## age         1    4778.4 271624 4406.8 13.0899 0.0003173 ***
## dep.cons    1    9317.1 276163 4419.1 25.5233 5.527e-07 ***
## subst.cons  1    3333.6 270180 4402.8  9.1322 0.0025992 ** 
## scz.cons    1     352.8 267199 4394.6  0.9666 0.3258633    
## prof        7    2295.5 269142 4388.0  0.8983 0.5071556    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Pas d’effet de la profession sur la durée de l’interview (p>5%)

Interaction entre 2 variables explicatives quand le modèle additif n’est plus pertinent

Si il y a un lien entre dépression et abus de substance de façon combinée sur la durée de l’entretien ? On peux le vérifier et le tester avec l’instruction *

mod6<-lm(dur.interv~age+dep.cons*subst.cons+scz.cons, data = smp)
summary(mod6)

## 
## Call:
## lm(formula = dur.interv ~ age + dep.cons * subst.cons + scz.cons, 
##     data = smp)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -62.032 -14.251  -1.163  11.472  62.313 
## 
## Coefficients:
##                     Estimate Std. Error t value Pr(>|t|)    
## (Intercept)         49.51693    2.65788  18.630  < 2e-16 ***
## age                  0.21728    0.05711   3.805 0.000154 ***
## dep.cons             6.15780    1.69775   3.627 0.000306 ***
## subst.cons           3.17244    2.29849   1.380 0.167931    
## scz.cons             1.97233    2.53094   0.779 0.436059    
## dep.cons:subst.cons  4.49688    3.24296   1.387 0.165963    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 19.08 on 741 degrees of freedom
##   (52 observations deleted due to missingness)
## Multiple R-squared:  0.06077,    Adjusted R-squared:  0.05443 
## F-statistic: 9.588 on 5 and 741 DF,  p-value: 7.024e-09

Il y a une nouvelle ligne dep.cons:subst.cons. Au bout de cette ligne le p vaut 16% ! Donc statistiquement il n’y a pas d’interaction entre dépression et substance sur la durée de l’interview ==> donc quand un détenu est déprimé et consomme des substances, alors la durée est augmentée de 7 + 5 minutes Attention, l’ajout du terme d’interaction empêche d’interpréter les lignes dep et subst

Analyse de variance

Analyse de variance = régression linéaire multiple ou toutes les variables explicatives sont catégorielles (ou qualitatives) C’est un cas particulier qui n’a qu’un intérêt historique L’intérêt réside uniquement quand on veux comparer la moyenne d’une variable quanti à plus de 2 groupes: Exemple: comparer la durée moyenne d’interview en fonction des professions (pas de test t possible car il y a plus de 2 professions)

mod7<-lm(dur.interv~prof, data=smp) #Analyse de variance à 1 facteur
summary(mod7)

## 
## Call:
## lm(formula = dur.interv ~ prof, data = smp)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -61.731 -13.826  -1.731  12.947  58.912 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)             61.7315     1.3359  46.211   <2e-16 ***
## profagriculteur         17.0185     9.9071   1.718   0.0863 .  
## profartisan              2.0941     2.5033   0.837   0.4031    
## profautre                2.4993     4.0755   0.613   0.5399    
## profcadre               -4.7750     4.3063  -1.109   0.2679    
## profemploye              0.3220     2.1742   0.148   0.8823    
## profprof.intermediaire   1.3440     3.0096   0.447   0.6553    
## profsans emploi         -0.6432     1.9168  -0.336   0.7373    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 19.63 on 735 degrees of freedom
##   (56 observations deleted due to missingness)
## Multiple R-squared:  0.008295,   Adjusted R-squared:  -0.001149 
## F-statistic: 0.8783 on 7 and 735 DF,  p-value: 0.5231

drop1(mod7,.~.,test='F') # effet globale de la variable profession

## Single term deletions
## 
## Model:
## dur.interv ~ prof
##        Df Sum of Sq    RSS    AIC F value Pr(>F)
## <none>              283316 4432.1               
## prof    7    2369.9 285686 4424.3  0.8783 0.5231

Comment faire pour comparer un pourcentage quand on a plusieurs sous groupes. Par exemple comparer la prévalence de la dépression en fonction des professions:

chisq.test(smp$dep.cons, smp$prof)

## Warning in chisq.test(smp$dep.cons, smp$prof): Chi-squared approximation
## may be incorrect

## 
##  Pearson's Chi-squared test
## 
## data:  smp$dep.cons and smp$prof
## X-squared = 6.7205, df = 7, p-value = 0.4586

Condition de validité du modèle de régression

3 conditions principales * normalité du terme de bruit * variance du bruit ne doit dépendre ni des valeurs de la variable à expliquer ni des valeurs des variables explicatives * le bruit ne doit pas avoir de structure de corrélation interne

mod3<-lm(dur.interv~age+dep.cons+subst.cons+scz.cons, data = smp)
hist(resid(mod3), col="grey",main="normalité du bruit")

Quiz mémoire15

Dans quel cas une régression linéaire peut-elle être considérée comme une régression linéaire multiple ? S’il y a plusieurs variables explicatives

Quel type de variables explicatives pouvons-nous introduire dans une régression linéaire multiple ? Quantitatives et qualitatives

Quelle commande faut-il pour obtenir un modèle de régression linéaire multiple ? lm (y~x1+x2+x3)

Quelle commande permettrait de vérifier la normalité des résidus d’un modèle linéaire “model” ? hist(resid(model))

En combien de variables binaires R recode-t-il une variable catégorielle à 5 modalités ? 4 variables, létat de la 5éme est déduit de l’état des 4 autres

Quelle commande permettrait de désigner “artisan” comme modalité de référence pour la variable catégorielle “prof”? prof < - relevel (prof, ref=“artisan”)

Comment ajouter un terme d’interaction entre deux variables ? var1 * var2

Si, dans un modèle linéaire, nous ajoutons un terme d’interaction entre deux variables et que celui-ci est significativement non nul, alors les effets principaux de ces variables : Ne peuvent pas être interprétés simplement

Quiz mémoire 16

exp(1.95)

## [1] 7.028688

Ce qui change ou pas entre la régression linéaire multiple et la régression logistique multiple

les variables catégorielles à plus de 2 classes peuvent être utilisées pour connaître l’effet global d’une var catégorielle, on fait drop1(mod1,.~.,test=“Chisq”) pour trouver une synergie entre variable explicative: interaction(smp\(duree*smp\)discipl)

Conditions de validité de la régressison logistique

il faut au moins 5 à 10 evenements par variable explicative. Par exemple : explication de la variable “forme de schizophrenie” : 54 détenus de cette sorte utilisons les variables explicatives: age , trauma, prof. cela correspond à 1+1+ 8 classes recodée en 7 varaibles binaires (8 métiers) = 9 variables explicatives 10 événements par variable explicative: 910 = 90 mais on a 54 détenus 5 évenements par variable explicative: 95 = 45 et on a 54 détenus: donc on est bon

Quizz mémoire17

Quel type de variable à expliquer est utilisé pour un modèle de régression logistique ? Binaire (2 modalités)

Le modèle logistique intègre t-il une erreur résiduelle ? NON

Quelle commande R faut-il utiliser pour réaliser une régression logistique ? glm(y~x, family=binomial)

Un modèle de régression logistique reliant Y : obésité (Oui/Non) à X : sédentarité (Oui/Non), donne un coefficient de 1.95 (où “Non” est la référence) et une p-value de 0,04. Donner la bonne interprétation (en faisant l’hypothèse que la prévalence de l’obésité est très faible) :

A quoi pouvons-nous apparenter la régression logistique ?

Log (Probabilité d’un événement X/ (1-Probabilité d’un événement X)) varie entre :

Un modèle de régression logistique multiple est réalisé pour étudier les liens entre l’obésité (Oui/Non) en fonction des variables explicatives suivantes : âge (continue) ; sexe (F/H) ; origine géographique (5 classes). La condition de validité d’un tel modèle est elle vérifiée sachant qu’il y a 20 personnes obèse dans l’échantillon : On a 1 + 1 + 4 = 6 variables explicatives et il faut 5 à 10 evts par variable explicatives soit au minimum 6*5 = 30 evts et on a que 20 obèses

En complément

point commun avec la reg linéaire multiple et la reg logisitique: * utilisation de var catégorielle à plus de 2 classes : elles seront recodées en var binaires * utilisation de termes d’interaction (smp$duree*smp$discip)

Quiz mémoire18

Sur quelles données appliquez-vous une analyse de survie ? Données longitudinales

Que sont les données censurées ?

• Les perdus de vue avant l’apparition de l’évènement en question

• Les individus qui n’ont pas subi l’évènement avant la fin de l’étude

• Un exclu vivant qui n’a pas encore subi l’évènement

Avec des données dites de “survie”, l’évènement est- il toujours un décès ? Non: c’est une métaphore

La fonction h(t) (risque instantané de l’évènement) correspond à : La densité de probabilité d’avoir l’évènement à l’instant t

Quelle méthode est-elle utilisée pour tracer une fonction de survie ? Méthode de Kaplan-Meier

Quelle est la statistique classiquement utilisée avec les données de survie ? Médiane de survie

La fonction de survie est une fonction : Décroissante variant de 1 à 0

Quelle est la commande pour obtenir une courbe de Kaplan Meier ? plot(survfit(Surv(durée,évènement)~1))

A quoi correspondent les signes “+” sur une courbe de Kaplan Meier ? Données censurées

Test du log rank

On souhaiterais estimer la différence de taux de rechute entre hommes et femmes. On utilise un test du log rank (à assimiler à un test de rang - rang entre les temps de déces) conditions de validité: * nombreux temps de decés OU * nombreux mort à chaque temps de decés

survdiff(Surv(t,SEVRE)~SEXE,data=alc) #Test du log rank

## Call:
## survdiff(formula = Surv(t, SEVRE) ~ SEXE, data = alc)
## 
##          N Observed Expected (O-E)^2/E (O-E)^2/V
## SEXE=1 107       24    23.74   0.00281    0.0235
## SEXE=2  18        3     3.26   0.02046    0.0235
## 
##  Chisq= 0  on 1 degrees of freedom, p= 0.878

la dernière ligne affiche un petit p qui prouve qu’il n’y pas de différence évidente.

Modele de COX

On souhaite tester l’association entre la survie et une variable quant. Par exemple : risque de rechute de la maladie alcoolique et l’age. ex: les jeunes se connaisant mal pourraient rechuter plus souvent ou au contraire les vieux alcooliques auraient du mal à résister et rechuteraient plus souvent. On utilise le modèle de COX

coxph(Surv(t, SEVRE)~AGE, data=alc)

## Call:
## coxph(formula = Surv(t, SEVRE) ~ AGE, data = alc)
## 
##        coef exp(coef) se(coef)     z     p
## AGE -0.0467    0.9544   0.0235 -1.99 0.047
## 
## Likelihood ratio test=4.09  on 1 df, p=0.0431
## n= 125, number of events= 27

sur la ligne AGE, on peux dire que au risque de 5%, il y a une association significative entre l’age et le risque de rechute. En effet le p < 5%. On regarde le coef qui de est de-0.0467 le coef négatif signifie que la survenue d’une rechute alcoolique pour les personnes plus agées

Tester l’association de la survie à une liste de variables explicatives. Par exemple la rechute en fonction de l’age, du sexe, de la survenue d’evts de vie On utilise encore COX

m<-coxph(Surv(t, SEVRE)~AGE+SEXE+EDVNEG, data=alc)
m

## Call:
## coxph(formula = Surv(t, SEVRE) ~ AGE + SEXE + EDVNEG, data = alc)
## 
##           coef exp(coef) se(coef)     z     p
## AGE    -0.0473    0.9538   0.0237 -2.00 0.046
## SEXE   -0.0151    0.9850   0.6206 -0.02 0.981
## EDVNEG -0.4428    0.6422   1.0240 -0.43 0.665
## 
## Likelihood ratio test=4.31  on 3 df, p=0.23
## n= 125, number of events= 27

seul l’age est statistiquement associé au risque de rechute. Le sexe et les evts de vie ne sont donc pas associé au risque. Il faut relativiser compte tenu du nombre d’ovservation (faible puissance) Les coeffs sont difficiles à interpréter mais leur exp est intéreprétable surtout si la var explicative est binaire

exp(coef(m))

##       AGE      SEXE    EDVNEG 
## 0.9537763 0.9850037 0.6422475

Si on prend la variable EDVNEG, sont exp est 0,64 ce qui signifie que nous avons 36% de chance de moins de présenter un risque de rechute à un instant donné quand on a eu un evt de vie négatif. ce 0,64 correspond à un hazard ratio (rapport des risques instantanés de déces).

Conditions de validité du modèle de COX

• un nombre suffisant d’evt (5 à 10 par variable explicative)
• vérifier l’hypothèse des risques instantanés proportionnels

par(mfrow=c(2,2)) #fragmentation de la fenêtre graphique de R en 2 x 2 = 4 parites
plot(cox.zph(m))

Si les 3 courbes sont globalement horizontales, alors on considère que l’hypothèse des risques proportionnels est vérifiée

Quiz mémoire19

Quelle commande faut-il utiliser pour réaliser un log-Rank ? survdiff

Dans quelle situation faut-il utiliser le modèle de Cox ? étudier l’association entre le délai de survenue de l’évènement et une variable explicative

Parmi les conditions de validité suivantes, quelle est celle qui doit être vérifier dans le cas d’un modèle de Cox ? Hypothèse des risques proportionnels

La validité d’un test du log-rank dépend : Du nombre d’évènements

L’exponentielle du coefficient issu d’un modèle de Cox correspond à un rapport des risques instantanés (HR). VRAI

Quelle commande faut-il utiliser pour réaliser un modèle de Cox? coxph(Surv(delai,évènement)~variable)

Quelle commande faut-il utiliser pour vérifier graphiquement l’hypothèse des risques proportionnels d’un modèle de Cox (model1) ? plot(cox.zph(model1))

Matrice de corrélation

avec var quant: OUI, avec var bin: OUI, avec var ordonnées: OUI, var cat: NON Attention pour les données manquantes: * on peux retirer les sujets qui ont des données manquantes. On utilisera l’option de cor use =“complete.obs” * on peux retirer les sujets uniquement pour l’utilisation des use=pairwise.complete.obs

Calcul d’une matrice avec R

var<-c("age","n.enfant","scz.cons","dep.cons","grav.cons","rs","ed","dr")
round(cor(smp[,var],use="complete.obs"),digit=3)

##              age n.enfant scz.cons dep.cons grav.cons     rs     ed     dr
## age        1.000    0.441   -0.044   -0.110    -0.139 -0.223 -0.038  0.003
## n.enfant   0.441    1.000    0.003    0.002    -0.055 -0.126  0.011  0.015
## scz.cons  -0.044    0.003    1.000    0.064     0.290  0.021  0.077 -0.009
## dep.cons  -0.110    0.002    0.064    1.000     0.439  0.107  0.259  0.093
## grav.cons -0.139   -0.055    0.290    0.439     1.000  0.151  0.234  0.001
## rs        -0.223   -0.126    0.021    0.107     0.151  1.000  0.093  0.088
## ed        -0.038    0.011    0.077    0.259     0.234  0.093  1.000  0.115
## dr         0.003    0.015   -0.009    0.093     0.001  0.088  0.115  1.000

Pour examiner les corrélation de façon graphique

#install.packages("corrplot")
library(corrplot)

## corrplot 0.84 loaded

corrplot(cor(smp[,var],use="complete.obs"),method = "circle")

Le schema représente les corrélations sous forme de disque : la couleur et la taille sont directement liées au niveau de corrélation. Ici on voit visuellement que les corrélations les plus importantes sont: * age et n.enfant * schizophrénie, dépression et score de gravité * évitement du danger et dépression et score de gravité

Quiz mémoire20

Que valent les termes diagonaux d’une matrice de corrélation ? 1

Pour quel type de données ne pouvons-nous pas calculer la matrice de corrélation ? Les variables catégorielles

La matrice de données comporte beaucoup de données manquantes : quelle option faut-il utiliser dans la commande cor pour calculer la matrice de corrélation ? use=“pairwise.complete.obs”

Dans la commande “cor” permettant de calculer la matrice de corrélation entre plusieurs variables, quel est l’effet de l’option use=“complete.obs” ? Les observations comportant au moins une donnée manquante parmi toutes les variables sont retirées du calcul de la corrélation entre deux variables

Dans la commande “cor” permettant de calculer la matrice de corrélation entre plusieurs variables, quelle est l’utilité de l’option use=“pairwise.complete.obs” ? Seules les observations comportant au moins une donnée manquante parmi les deux variables considérées dans le calcul de la corrélation sont retirées du calcul de la corrélation. Cette option retire beaucoup de propriétés mathématiques à l’échantillon.

Comment représentons-nous visuellement une matrice de corrélation ? library(corrplot) ; corrplot(cor(mamatrice))

En “théorie”"

Soit la matrice de corrélation 5 X 5 suivante: \[\left[ \begin{array} {rrr} 1 & 0.9 & 0.1 & -0.2 & -0.7 \\ 0.9 & 1 & 0.1 & -0.1 & -0.6 \\ 0.1 & 0.1 & 1 & 0.2 & -0.8 \\ -0.2 & -0.1 & 0.2 & 1 & -0.4 \\ -0.7 & -0.6 & -0.8 & -0.4 & 1 \end{array} \right]\]

On peux appliquer une transformation simple qui permet de passer des corrélations (niveaux de similitudes entre variables ): \(\sqrt(1-r)\) (r est le coeeficient de corrélation) On obtient alors la matrice de distance suivante: \[\left[ \begin{array} {rrr} 0 & 0.4 & 1.3 & 1.5 & 1.8 \\ 0.4 & 0 & 1.3 & 1.5 & 1. \\ 1.3 & 1.3 & 0 & 0.9 & 1.9 \\ 1.5 & 1.5 & 0.2 & 0 & 1.7 \\ 1.8 & 1.8 & 0.9 & 1.7 & 0 \end{array} \right]\]

Cette matrice contient des distances qui varient de 0 à 2: * quand la corrélation vaut 1: la distance vaut 0 * quand la corrélation vaut -1: la distance vaut 2

Donc quand les distances sont proches de 2, alors les variables sont très fortement négativement corrélées. Quand la distance est proche de 0, les variables sont très corrélées. Cette matrice de distance a des propriétés mathématiques très intéressantes. Cette matrice définit 5 points: A, B, C, D, E qui peuvent être positionnnés sur une hypersphere donc la représentation grpahique de ces points permet de comprendre la matrice de corrélation. Pour cela, on va faire un projection grâce à l’ACP.

Pour savoir si les distances entre les points projetés peuvent être interpretées comme les distances entre les points situés sur l’hypersphere: quand les points projetés sont très proches du cercle correspondant à l’intersection entre le plan principal et l’hypersphere

Interprétation des positions relatives: * proche du cercle ET proche l’un de l’autre ==> les distances entre les points projetés sont une représentation fiable de la corrélation ET les variables sont fortement correllées * proche du cercle ET diamétralement opposés (donc leur distance = 2 x rayon, soit 2). Si d = 2, alors r = -1 les variables sous jacentes sont correlées négativement * proche du cercle ET à 90° par rapport au centre (donc leur distance = \(\sqrt(2)\)) ==> si d = \(\sqrt(2)\) alors r = 0 et donc les variables sont non corrélées (indépendantes)

Attnetion: si un des 2 points est proche du centre, on ne peux plus interptéter les résultats de l’ACP.

En pratique

var<-c("age","n.enfant","scz.cons","dep.cons","grav.cons","rs","ed","dr") #définition du vecteur des vairables dont on souhaite examiner les corrélations.
library(psy) #chargement library psy permettant de faire l'ACP
mdspca(smp[,var])

On voit que: * gravité et dépression sont proches du bord et proche l’une de l’autre: donc elles sont correllées * age et nb enfant sont corrélées * le groupe de variables (age et n efant) est à 90° du groupe de variable (gravité et dépression): elles sont donc globalement indépendantes

pourcentages de variance expliquée relative à l’axe X et Y: x = F1 = 23% var et y = F2 = 17% var. La somme vaut 40% et peut être interpreté comme le pourcentage d’information capturée lors de l’ACP

Combien de variables peuvent être utilisées lors d’une ACP ? on évitera de dépasser 12-15 variables. C’est la malédiction dimensionnelle car l’ACP est une méthode exploratoire multidimensionnelle mais quand il y a trop de vairables, la représentation grpahique n’est plus utilisable

Méthodes dérivées de l’ACP

Représentation spherique de la matrice de corrélation: on projette les points de l’hypersphere sur une sphere en 3D. l’interprétation se fait de la même façon que l’ACP classique.

sphpca(smp[,var])

sphpca(smp[,var], v =55)

• age et n enfant sont fortement corrélés
• gravité et dépression sont fortement corrélés
• ces 2 groupes sont à 90° et sont donc indépendants
• rs et (n enfant et age) sont correlés négativement

ACP focalisée

Quelle est la qualité de représentation de chaque point ? on ne sait pas si les variables sont au bord du cercle ! Pour pallier ce pb, on utilise l’ACP focalisée Très utilie pour 1 vairable à expliquer et plusieurs vairables explicatives

expliquer<-"grav.cons"
explicatives<-c("age","n.enfant","dep.cons","scz.cons","rs","ed","dr")
fpca(data=smp,y=expliquer,x=explicatives,partial="No")

* La variable à expliquer est au centre * entre la variable dep.cons et grav.cons, la corrélation = 0.4. de plus elle est statistiquement significative au seuil de 5% car dep.cons est à l’interieur du cercle rouge qui correspond à la limite de significativité des corrélations au seuil de 5% * dep.cons est symbolisée par un point vert ce qui représente une corrélation positive entre dep.cons et grav.cons. * Le orange indique une corrélation négative * dep.cons, scz.cons, ed, dr sont tous proches les uns des autres donc les variables explicatives sous-jacentes sont statistiquement corrélées. * idem pour age et n enfant. A noter que n.enfant est en deça du cercle rouge, donc statistiquement non corrélées à la gravité de la symptomatologie psychiatrique du détenu. * les paquets (n enfant et age) et (dep.cons, scz.cons, ed, dr) sont à 90°: ces 2 paquets sont donc statistiquement indépendant * rs et (age et n enfant) sont diamétralement opposés donc les variables explicatives sous jacentes sont corrélées négativement

Type de représentation très adaptée quant on envisage de faire une régression linéaire multiple ou une régression logistique. En effet, on a directement: * représentation claire de la variable à expliquer et des variables explicatives * une estimation des relations entre la variable à expliquer et les var explicatives avec la mise en évidence du cercle de significativté * les patterns de corrélation entre les différentes vairables explicatives

Quiz mémoire21

L’analyse en composantes principales est une technique : Qui ne permet pas de faire de tests statistiques

Laquelle de ces affirmations est fausse ? L’analyse en composantes principales : Permet de représenter des relations entre tous types de variables

Laquelle de ces affirmations est fausse ? Quand on interprète les résultats d’une analyse en composantes principales : Des points proches correspondent à des variables fortement corrélées

Laquelle de ces affirmations est fausse ? Une représentation sphérique d’une matrice de corrélation : Produit une représentation moins informative (en terme de variance expliquée) qu’une analyse en composante principale

Laquelle de ces affirmations est fausse ? Une analyse en composantes principales focalisée: Est une technique exclusivement exploratoire (aucune inférence (test) n’étant envisageable)

Sur quelle intuition se base l’ACP et les méthodes graphiques qui en découlent ? Il existe une correspondance entre les variables d’une matrice de corrélation et des points sur une hypersphère

Pourquoi ne peut on pas utiliser une représentation graphique d’une ACP pour un nombre de variables trop important (supérieur à 15) ? les points sur la représentation graphiques se rassemblent au centre du cercle, on ne peut donc rien interpréter

Quels sont les commandes pour effectuer une ACP en 2D ? library(psy); commande mdspca(variable)

Quels sont les commandes pour effectuer une ACP en 3D (représentation sphérique) ? library(psy); commande sphpca()

Quelle affirmation est correcte ? Une ACP focalisée est utile si l’on dispose d’une variable à expliquer et des plusieurs variables explicatives

Quiz mémoire22

A quoi sert l’analyse ascendante hiérarchique ? L’analyse ascendante hiérarchique permet de déterminer des groupes homogènes de sujets ou des groupes de variables plus fortement corrélées que les autres

Quelle commande utiliser pour effectuer une classification hiérarchique des variables, lorsque ces variables sont en colonnes dans notre matrice des données nommée “data” ? hclust(dist(t(scale(data)))

Quelle commande utiliser pour effectuer une classification hiérarchique des sujets, lorsque ces sujets sont en lignes dans notre matrice des données nommée “data” ? la fonction t porte sur une classification de variables (qui sont en colonne) hclust(dist(scale(data))

Quelle affirmation est vraie ? Contrairement à l’analyse en composante principale, l’analyse ascendante hiérarchique fonctionne bien quand il y a un très grand nombre de variables

Quelle fonction peut-on utiliser pour représenter graphiquement les corrélations dans un grand jeu de données ? heatmap(cor(data)