Introduction aux méthodes quantitatives avec

Session introductive

Chapitre introductif

Note

• Exercices associés à ce chapitre ici

• Retour à la page principale

Introduction

Qui suis-je ?

• Data scientist au lab de l’Insee :
  • Administrateur Insee¹ ;
  • Coordonnateur d’un réseau de data scientists

• Implication dans l’innovation statistique, l’open source et la diffusion grand public²:
  • : utilitR, doremifasol
  • : cartiflette, pynsee

1. Renseignez-vous sur le concours ENS ! Il y a de belles missions !

2. Pas tout seul ! Avec une communauté de gens sympa de l’administration et de la recherche ! Beaucoup de projets novateurs 😍 sur compte InseeFrLab

Qui suis-je ?

• Travaux à l’intersection entre informatique, économie, sociologie & géographie:
  • Ségrégation avec données de téléphonie mobile
  • Inégalités alimentaires à partir de données massives de supermarchés

Exemple tiré de l’Insee Analyse sur la mixité sociale

Qui suis-je ?

D’autres cours introductifs que je donne peuvent vous intéresser:

• Python pour la data science ;
• Bonnes pratiques en R et Git ;
• Données émergentes ;

Et surtout consultez le portail complet de formation du datalab de l’Insee

Objectifs pédagogiques

• Découverte de l’écosystème de l’open data 🇫🇷

• Introduction pratique au langage :
  • Données classiques
  • Données géographiques

• Introduction à la publication reproductible avec Quarto

• Ouverture à la cartographie web avec Observable

Modalités pratiques

• Des slides et surtout des TP guidés ;

• Infrastructure informatique (SSPCloud) fournie par l’Insee pour éviter:

  • les galères d’installation
  • les galères de configuration

• Modalités d’initialisation à venir ;

On va utiliser le SSPCloud 😍🐉☁️🇫🇷 !

(présentation tout à l’heure)

Ressources complémentaires

• Introduction à R et au tidyverse ;

• Documentation collaborative utilitR 👶 ;

• Portail de formation du SSPCloud ;

• Funathon organisé par l’Insee ;

• R for Data Science (la bible !) ;

• Data science with R (Sciences Po) ;

• Rzine, du CIST

• Geocomputation with R, de Lovelace, Nowosad et Muenchow

• Data Visualization : A practical introduction, de Kieran Healy

Panorama général

Prolifération des données

• Numérisation et innovations technologiques ont réduit le coût de production de la donnée ;
  • Volume de données produites en explosion

• L’utilisation des statistiques n’est pas nouvelle (cf. Desrosières)…

• … mais une place accrue dans le débat public et l’action publique (Supiot, Martin)

Diversification des données (1/4)

Données tabulaires classiques

viewof info_mutations = Inputs.radio(
  ["Tableau", "Graphique"], {value: "Tableau"}
)

info_mutations == "Tableau" ? html`<div>${table_mutations1}<div>` : html`<div>${plot_mutations}<div>`

url = "https://files.data.gouv.fr/geo-dvf/latest/csv/2020/communes/92/92049.csv"
proxy = "https://corsproxy.io/?"
dvf = d3.csv(proxy + url)

table_mutations1 = Inputs.table(dvf, {"columns": ['date_mutation', 'valeur_fonciere', 'adresse_nom_voie']})
plot_mutations = Plot.plot({
  y: {grid: true, label: "Nombre de transactions"},
  x: {
    ticks: 12,
    transform: (d) => Math.pow(10, d),
    type: "log",
    tickFormat: "~s",
    label: "Prix (échelle log) →"
  },
  marks: [
    Plot.rectY(
      dvf.filter(d => d.valeur_fonciere > 10000),
      Plot.binX({y: "count"},
      {
        x: d => Math.log10(d.valeur_fonciere),
        tip: true
      })
    ),
    Plot.ruleY([0])
  ]
})

Plot = require("https://cdn.jsdelivr.net/npm/@observablehq/plot@0.6.10/dist/plot.umd.min.js")

Diversification des données (1/4)

Données tabulaires classiques

• Données structurées sous forme de tableau

Source: Hadley Wickham, R for data science

• très bien outillé pour ces données (si volumétrie adaptée)

Diversification des données (2/4)

Données géolocalisées

viewof info_power_plants = Inputs.radio(
  ["Tableau", "Carte"], {value: "Tableau"}
)

info_power_plants == "Tableau" ? html`<div>${table_power_plants}<div>` : html`<div>${plot_power_plants}<div>`

import {us_power_plants, states} from "@observablehq/build-your-first-map-with-observable-plot"

table_power_plants = Inputs.table(
  us_power_plants
)


plot_power_plants = Plot.plot({
  projection: "albers-usa",
  marks: [
    Plot.geo(states, { fill: "white", stroke: "#e2e2e2"  }),
    Plot.dot(us_power_plants, {
      x: "longitude",
      y: "latitude",
      r: "Total_MW",
      fill: "PrimSource",
      opacity: 0.7,
      tip: true
    }),
    Plot.dot(us_power_plants, { // Can you figure out what this additional Plot.dot layer adds?
      x: "longitude",
      y: "latitude",
      r: "Total_MW",
      fill: "PrimSource",
      stroke: "black",
      filter: d => d.Total_MW > 3500,
    }),
    Plot.text(us_power_plants, { // Add text to the map using data from us_power_plants
      x: "longitude", // Place text horizontally at plant longitude
      y: "latitude", // Place text vertically at plant latitude
      text: "Plant_Name", // The text that appears is the value from the Plant_Name column,
      filter: (d) => d.Total_MW > 3500, // Only add text for plants with capacity exceeding 3500 MW
      fontSize: 12, // Increased font size
      fontWeight: 600, // Increased font weight
      stroke: "white", // Adds white outer stroke to text (for readability)
      fill: "black", // Text fill color
      textAnchor: "start", // Left align text with the x- and y-coordinates
      dx: 15 // Shifts text to the right (starting from left alignment with coordinate)
    })
  ],
  r: { range: [1, 15] },
  color: { legend: true },
  height: 500,
  width: 800,
  margin: 50
})

Diversification des données (2/4)

Données géolocalisées

• Données tabulaires avec une dimension spatiale supplémentaire
  • Dimension géographique prend des formes multiples:
  • Points, lignes, polygones…

• très bien outillé pour ces données (si volumétrie adaptée)

Diversification des données (3/4)

Données textuelles et non structurées

• Techniques statistiques anciennes (Levenshtein 1957, perceptron) ;

• Applications limitées jusqu’aux années 2010 ;

• Développement très rapide de la recherche :
  • Collecte accrue : réseaux sociaux, enquêtes…
  • Baisse coûts stockage & augmentation ressources traitement ;
  • Nouvelles techniques statistiques: webscraping, LLM…

• Utilisation intensive dans l’administration, la recherche et le secteur privé
  • Plus d’infos dans mon cours sur les données émergentes

Diversification des données (4/4)

Images, sons et vidéos

Plus d’infos dans mon cours sur les données émergentes

Apparition de nouveaux acteurs

• Acteurs classiques:
  • Instituts statistiques (INSEE et SSM¹) ;
  • Administrations centrales (DGFiP, DINUM…) ou opérateurs (IGN…)
  • Plus de détails à venir

• Collectivités locales (exemple: Open data Paris)

• Projets contributifs: OpenStreetMap, Wikidata, OpenFoodFacts…

• Acteurs privés:
  • Collectent des données sur leurs utilisateurs/clients (extrapolation possible?)
  • Peuvent mettre à disposition ces données à d’autres acteurs (chercheurs par exemple)
  • Cadre réglementaire: RGPD

1. Le service statistique public est constitué de l’Insee et des 16 services statistiques ministériels (SSM)

Accès de plus en plus direct à la donnée

• Ere de l’open data et open source :
  • Mouvement accéléré depuis l’élection Obama 2008
  • Création Etalab en 2011 ;
  • Loi pour une république numérique 2016

• Changements technologiques et culturels :
  • Formats ouverts et standardisés ;
  • Succès des langages open source (notamment Python et R )
  • Acculturation aux API

Data is everywhere

Les acteurs de la donnée et du code en France

L’Insee

• Collecte, produit, analyse et diffuse l’information statistique :
  • Producteur de statistiques (enquêtes, données administratives) ;
  • Producteur d’études pour le débat public (rare chez les instituts statistiques)

• Publie énormément d’informations:
  • Recensement, taux de chômage, inflation, PIB, fichier des prénoms…
  • Code officiel géographique (COG) et zonages d’études

• Rôle de coordination du service statistique public:
  • Instituts statistiques ministériels: DREES (Santé), DARES (Travail)…

• Diffusion données sur insee.fr
  • Utilisateurs de : accès facilité via des packages

L’IGN

• Produit et diffuse la géométrie du territoire national et l’occupation du sol:
  • Producteur de cartes 🥾 (top25…)
  • LIDAR

• Producteur des fonds de carte utiles pour nous:
  • BDTopo, BD Forêt,
  • AdminExpress

• Diffusion données depuis geoservices de l’IGN (en attendant la geoplateforme)
  • Utilisateurs de : accès facilité à certaines sources via cartiflette

data.gouv

• Plateforme de l’open data en France
  • Crée par Etalab (DINUM) en 2011

• Recense des jeux de données produits par les acteurs publics:
  • Administrations centrales
  • Collectivités locales

• Mise à disposition directe de certains jeux de données

• Recense des réutilisations

Github : là où on trouve du code

• Plateforme de mise à disposition de code

• Beaucoup plus que seulement du code:
  • Documentation de projets
  • Sites web

• Lieu de l’open source et de la recherche transparente

Observable: the new place to be

• Plateforme de dataviz web
  • Créée par Mike Bostock (dieu dans la dataviz)

• Emergence récente mais forte dynamique
  • Très complémentaire à R

• Investie par des cartographes qui font de super visualisations :
  • Nicolas Lambert
  • Eric Mauvière
  • Thomas Ansart

Les sciences sociales quantitatives

Des métiers multiples dans l’administration

• mais aussi data engineer, data architect, data analyst…
• cf. Rapport INSEE-DINUM “Évaluation des besoins de l’État en compétences et expertises en matière de donnée”

https://www.numerique.gouv.fr/uploads/RAPPORT-besoins-competences-donnee.pdf

Le tournant numérique des sciences sociales

• Accès facilité à des données spatialisées ;

• Acculturation aux SIG et langages statistiques ;

• Développement de technologies web interactives (observable)

Références

• Roth Camille. 2019. “Digital, Digitized, and Numerical Humanities.” Digital Scholarship in the Humanities
• Ash J, Kitchin R, Leszczynski A. 2018. “Digital turn, digital geographies ?” Progress in Human Geography
• Einav, L., & Levin, J. (2014). Economics in the age of big data. Science, 346(6210), 1243089.

Le tournant numérique des sciences sociales

We live life in the network. We check our e-mails regularly, make mobile phone calls from almost any location, swipe transit cards to use public transportation,and make purchases with credit cards. Our movements in public places may be captured by video cameras, and our medical records stored as digital files. We may post blog entries accessible to anyone, or maintain friendships through online social networks. Each of these transactions leaves digital traces that can be compiled into comprehensive pictures of both individual and group behavior, with the potential to transform our understanding of our lives, organizations, and societies.

Lazer et al. ,Computational Social Science, Science (2009)

La géographie quantitative

Une des premières cartes statistiques (1798)

La géographie quantitative

John Snow cartographie le choléra à Londres

Années 1950-1960 : révolution quantitative

Everything is related to everything else, but near things are more related than distant things.

W. Tobler, 1970, Economic Geography

• Une science nomothétique : recherche des lois générales de l’organisation de l’espace

• Une science explicative : modélisation
  • Modèle de Christaller

• Une science appliquée : essor de la regional science, de l’économétrie spatiale
  • Loi de Zipf…)

• Une science de l’information (déjà):
  • Sémiologie (carto)graphique de Bertin, 1967

Années 2010 : tournant “digital” de la géographie quantitative

• Quantification de masse de phénomènes spatiaux sociaux:
  • Déplacements, lieux fréquentés…

• Intersection avec d’autres sciences : data science, CSS
  • Exemple: le RIATE

• Arribas-Bel, D, 2018. “Geography and Computers: Past, Present, and Future” Geography Compass.

Pourquoi faire du ?

Principe d’un langage open source

Principe général

Illustration avec R

Qu’est-ce que R ?

• Logiciel statistique open source:
  • Langage de base
  • Packages étendent les fonctionnalités

• Adoption importante dans le monde académique et l’administration

• Beaucoup de ressources d’aide en ligne

Note

• Naissance dans les années 1990 ;
• Succès depuis les années 2010 (succès parallèle à Python)

Un logiciel couteau-suisse

• Manipulation de données de tout type ;

• Visualisation de données (dataviz), cartographie & SIG ;

• Modélisation (machine learning, analyse de réseaux…) ;

• Rédaction de mémoires, de site web, de slides (comme celles-ci 🤓)…

Un logiciel couteau-suisse

On peut tout faire en R:

Extrait de R for data science (la bible)

Transparence et reproductibilité

• Traçabilité des statistiques et réalisations graphiques

• Partage de code R permet une transparence méthodologique:
  • De plus en plus de journaux exigent les codes !
  • Encore des progrès à faire dans le domaine

• L’utilisation de R Markdown rend plus efficace 🐢🔜🐇:
  • Suppression des fichiers intermédiaires (texte, excel, images…)
  • Gain de temps sur la mise en page (des millions d’heures économisées au bas mot)

Note

Voir cours dédié sur le sujet des bonnes pratiques (Insee très impliquée sur le sujet!)

Une communauté d’utilisateurs

• Un logiciel opensource :
  • Gratuit, collaboratif

• Beaucoup de packages:
  • sur le CRAN (The Comprehensive R Archive Network)
  • sur Github

• Une communauté d’idéalistes de la science ouverte

• Un pont vers les autres disciplines : sociologie, économie, biologie, sciences politiques etc.

Prise en main du SSP Cloud

Le SSP Cloud, c’est quoi ?

Le SSP Cloud, c’est quoi ?

• Des serveurs hébergés à l’Insee avec de nombreux logiciels statistiques (dont R) dessus
• Environnement ouvert aux agents de l’Etat et à des formations en data science pour découvrir et expérimenter
• Seulement avec des données en open data

Note

Plus de détails dans la documentation du SSP Cloud ou dans utilitR

Pourquoi utiliser le SSP Cloud ?

• Pénible d’installer R, RStudio et une ribambelle de packages
• Mise à disposition d’un environnement standardisé:
  • TP parfaitement reproductibles
• Un TP peut être lancé en un clic-bouton:
  • Exemple bouton TO DO

Créer un compte

• Utiliser votre adresse @ens.fr pour créer un compte sur https://datalab.sspcloud.fr/
• Votre nom d’utilisateur ne doit contenir ni caractères accentués, ni caractère spécial, ni signe de ponctuation:

Vous pouvez adopter le format prenomnom en faisant attention aux règles précédentes. Par exemple, si vous vous appelez Jérôme-Gérard L’Hâltère, votre nom d’utilisateur pourra être jeromegerardlhaltere.

Lancer un service RStudio

Aide-mémoire

Cliquer à gauche sur Catalogue de service

Lancer un service RStudio

Aide-mémoire

Laisser les options par défaut de RStudio

Lancer un service RStudio

Aide-mémoire

Récupérer le mot de passe des services RStudio

Lancer un service RStudio

Aide-mémoire

Autre manière de récupérer le mot de passe des services RStudio

Lancer un service RStudio

Aide-mémoire

S’authentifier sur le service

L’interface RStudio

Illustration empruntée à ce livre

Premier TP: se familiariser au langage de base