⚡ GeoParquet + gpio
La stack qui rend QGIS optionnel

📦 Le problème : 100 % des données lues pour 5 % de la zone

Un cadastre France entière représente environ 8 GB en Shapefile. Pour analyser Paris intra-muros — soit 0,2 % du territoire national — QGIS télécharge intégralement ces 8 GB avant d'afficher quoi que ce soit.

Ce n'est pas un bug ni un problème de machine. C'est une conséquence du format. Les formats géospatiaux classiques (Shapefile, GeoJSON, GeoPackage) sont séquentiels : ils ne savent pas "lire seulement la partie qui concerne l'Île-de-France". C'est tout ou rien.

📊 Le problème en chiffres

❌ Les 3 erreurs que tout le monde fait

Erreur #1 : Convertir en GeoParquet sans optimisation

Exporter "brut" depuis QGIS ou GDAL génère un GeoParquet non ordonné. Sans Hilbert sorting ni bbox columns, les performances cloud sont identiques à un GeoJSON — le fichier est parcouru en entier à chaque requête. C'est de là que vient le "j'ai essayé GeoParquet, ça ne change rien".

Erreur #2 : Utiliser GeoParquet pour des données transactionnelles

GeoParquet est un format analytique conçu pour les snapshots. Si vos données subissent des UPDATE granulaires quotidiens — mise à jour d'adresses, édition de tracés terrain — PostGIS reste le bon choix. Confondre les deux use cases garantit la déception.

Erreur #3 : Abandonner QGIS complètement

QGIS reste irremplaçable pour la cartographie exploratoire, l'édition manuelle de géométries et les livrables visuels PDF/print. La stack cloud-native ne le remplace pas — elle le rend optionnel pour les 70 % de cas qui relèvent de l'analytique pure.

🔄 Le changement de paradigme

💡 Insight clé
GeoParquet + Hilbert ordering, c'est une bibliothèque dont on ne lit que les pages qui nous intéressent. Le tri physique des données dans l'espace rend la lecture partielle possible — et dix fois plus rapide.

🛠️ Process pas-à-pas : du Shapefile au cloud-native

Cinq étapes, deux outils (gpio et duckdb). Chaque étape peut être utilisée indépendamment selon votre contexte.

Étape 0 — Installation (2 minutes)

pip install geoparquet-io duckdb

# Vérifier les installations
gpio --version
duckdb --version

Étape 1 — Inspecter n'importe quel GeoParquet sans télécharger

# Fichier local
gpio inspect mon_fichier.parquet

# Fichier distant — aucun téléchargement, lecture des métadonnées seulement
gpio inspect https://cadastre.data.gouv.fr/data/etalab-cadastre/latest/geoparquet/france/cadastre.parquet

# Résultat : CRS, nombre de features, bbox, compression, colonnes disponibles

Étape 2 — Convertir vos données existantes

# Depuis Shapefile
gpio convert input.shp output.parquet

# Depuis GeoJSON
gpio convert input.geojson output.parquet

# Depuis GeoPackage
gpio convert input.gpkg output.parquet

Étape 3 — Optimiser (étape critique — ne pas sauter)

# Optimisation complète : Hilbert + bbox + ZSTD
gpio optimize output.parquet \
  --spatial-sort hilbert \
  --add-bbox \
  --compression zstd

# En une seule commande : conversion + optimisation
gpio convert input.shp output.parquet \
  --spatial-sort hilbert \
  --add-bbox \
  --compression zstd

💡 Pourquoi --add-bbox ?
DuckDB peut filtrer sur les colonnes bbox.minx / bbox.maxx / bbox.miny / bbox.maxy avant même de toucher à la géométrie. C'est ce qui divise le temps de requête par 10 sur les gros datasets cloud — sans cette option, vous ne bénéficiez que de la compression, pas de la lecture partielle.

Étape 4 — Partitionner pour les gros datasets (> 500 MB)

# Partitionnement par admin boundary (France : level 4 = département)
gpio partition output.parquet \
  --by admin \
  --admin-level 4 \
  --output-dir ./by_dept/

# Partitionnement par H3 (résolution 5 ≈ hexagones de 250 km²)
gpio partition output.parquet \
  --by h3 \
  --resolution 5 \
  --output-dir ./h3_partitions/

Étape 5 — Requêter sans télécharger (DuckDB Spatial)

-- Charger l'extension spatiale
LOAD spatial;

-- Requête directe sur S3 — zéro téléchargement local
SELECT * FROM read_parquet('https://cadastre.data.gouv.fr/data/etalab-cadastre/latest/geoparquet/france/cadastre.parquet')

WHERE departement like '91' AND commune like '91477'

Ou avec une bbox

WHERE bbox.minx >= 511150 AND bbox.maxx <= 660000
  AND bbox.miny >= 6333210 AND bbox.maxy <= 6430000;


-- Agréger par département sur données partitionnées
SELECT dept_code, COUNT(*) AS nb_parcelles
FROM read_parquet('s3://mon-bucket/by_dept/*.parquet')
GROUP BY dept_code
ORDER BY nb_parcelles DESC;

-- Join spatial avec une autre table
SELECT a.id, b.nom_commune
FROM read_parquet('parcels.parquet') a
JOIN read_parquet('communes.parquet') b
  ON ST_Within(a.geometry, b.geometry);

📋 Tableau avant/après

🧰 La stack 2026 recommandée

📋 Cheat sheet — 6 commandes à garder sous la main

# 1. Inspecter un fichier distant (0 téléchargement)
gpio inspect https://data.source.com/file.parquet

# 2. Conversion + optimisation complète (tout en une commande)
gpio convert input.shp output.parquet \
  --spatial-sort hilbert --add-bbox --compression zstd

# 3. Statistiques du fichier résultant
gpio stats output.parquet

# 4. Partitionnement par département (France : admin level 4)
gpio partition output.parquet \
  --by admin --admin-level 4 --output-dir ./by_dept/

# 5. Requête DuckDB depuis S3 (adapter les coordonnées bbox)
duckdb -c "LOAD spatial; \
  SELECT COUNT(*) FROM read_parquet('s3://bucket/data.parquet') \
  WHERE bbox.minx > 2.2 AND bbox.maxx < 2.5 \
  AND bbox.miny > 48.8 AND bbox.maxy < 49.1;"

# 6. Partitionnement par H3 résolution 5
gpio partition output.parquet \
  --by h3 --resolution 5 --output-dir ./h3_r5/

🗂️ Quand utiliser quoi

📜 Les 3 règles d'or