references.md

GT PostgreSQL

Ce document recense les ressources collectées dans le cadre du groupe de travail.

Conseils de configuration

• work_mem, formule de calcul du paramètre work_mem
• memory-management, présentation des différents paramètres mémoires
• paramètres parallel, présentation de quelques paramètres pour la parallélisation

Extensions

Ces projets étendent les possibilités utilisables dans l'environnement de PostgreSQL.

Analyses

• Libpostal, Normalisateur d'adresses basé sur OSM
• MobilityDB et son extension QGIS, extension pour le traitement de données temporelles (trajectoires de véhicules, etc.)
• Apache AGE, apporte des fonctions de traitements et d'analyse de graphe
• pg_analytics, déporte à DuckDB l'exécution de requêtes OLAP, permet de lire sur du stockage objet (S3, GCS, R2) du parquet, Iceberg, Delta
• pg_duckdb, déporte à DuckDB l'exécution de requêtes OLAP, permet de lire et d'écrire sur du stockage objet (S3, GCS, R2) du parquet, lit Iceberg/Delta

Accès et diffusion

• Foreign Data Wrappers
• Oracle FDW, permet de connecter une base pgSQL à oracle
• OGR FDW, idem mais pour toutes les sources gérées par GDAL-OGR
• pgsql-http, idem mais pour tous les services http
• Postgres Message Queue, gestionnaire de queues (~kafka/redis)
• pg_featureserv, service REST OGC API Features
• pg_graphql, support des appels GraphQL (utilisé par Supabase)

Outils

• pg_timetable, création de jobs ou de chaînes de jobs
• postgresql_anonymizer, gestion de l'anonymisation
• pg_partman, facilite la gestion du partionnement (temps ou numérique)

Types et Indexation

• postgis_sfcgal, support de fonctions 3D
• HyperLogLog, indexer une fois pour faire de multiples aggrégations à différents niveaux exemple
• HypoPG, support d'indexs fictifs pour étudier les usages
• pg_idkit, générateur d'id (uuid v6 et v7, nanoid, etc.)
• snowflake-sequences, ajout d'un type de séquence Snowflake
• ZomboDB, ajoute le support d'ElasticSearch comme type d'index

Stockage

• pg_tde, support "transparent" du chiffrement des tables, TOAST et WAL
• PostGIS, extension spatiale (Liste des fonctions)
• TimescaleDB, stockage row/column et fonctions spécifiques aux séries temporelles
• FerretDB, support des fonctions MongoDB sans MongoDB
• Citus, stockage en colonne et tables distribuées
• pg_mooncake, permet d'écrire et de lire des données colonnes stockées en Iceberg/Delta

Outils complémentaires externes

Analyse du serveur

• https://explain.dalibo.com/, outil web pour la visualisation d'un EXPLAIN
• termBoard, outil de monitoring
• pg_activity, outil de monitoring
• pgstats, outil d'accès et d'export de statistiques
• pgAudit permet de produire des journeaux d'audit
• pgBadger, outil d'analyse de logs
• pgBench, execution de benchmark
• pgmonitor, statistiques d'usage de la base
• postgres-checkup, analyse et diagnostics par IA
• PoWA outil d'analyse des performances

Administration

• EDB Postgres Enterprise Manager
• pg_index_watch, reconstrution automatisé des index
• ldap2pg, outil de synchronisation LDAP

Bac à sable

• postgres-wasm, permet de faire tourner PgSQL dans votre navigateur

Déploiement

• PgLift, outil de mise en production d'instances avec services annexes (sauvegarde, disponibilité et supervision)

Migration

• orafce
• ora2pg
• CYBERTEC Migrator
• EDB Migration Toolkit
• transqlate, conversion de requêtes SQL sauce Oracle vers PostgreSQL

Modélisation

• pgModeler

Pool de connexions

• PG-Pool-II
• PgBouncer
• pgagroal
• PgCat
• Supavisor

Réplication

• Patroni

Sauvegarde

• Barman
• emaj, outil de suivi et de rollback
• BART

Utilisation UI

• DBeaver
• PgAdmin v4
• Navicat

Usages et API externes

API

• Supabase, permet de créer des APIs REST, GraphQL depuis PostgreSQL
• Hasura, , permet de créer des APIs REST, GraphQL depuis PostgreSQL
• postgREST, serveur http pour gérer des appels REST
• pg_tileserv, service de tuiles vectorielles
• Appsmith, application low/nocode (cf. apex)

Applications utilisateurs

• Budibase, création d'applications low/nocode
• NocoDB, création de formulaires, équivalent AirTable
• ReDash, requêteur SQL et création de datavisualisation
• Superset, création de datavisualisation

Manipulation des données

• dbt, un ELT SQL graphique
• Singer, un ETL Python
• Airbyte, ETL/ELT qui permet d'utiliser SQL pour les transformations
• AirFlow, un orchestrateur de tâches
• Domino, créateur graphique de workflow
• Viewflow, création de vues matérialisées en SQL, R, Python
• Meltano, moteur d'intégration (surcouche singer, dbt, airflow)

En lien avec oracle

Articles et documentations

• sur une migration
  • EDB migration Oracle
  • Moving from Oracle to PostgreSQL : Lessons learned
  • Oracle to PostgreSQL: Basic Architecture
• sur les différences
  • null & empty strings
  • migration des synonymes
  • type NUMERIC
  • INTEGER
  • index rebuild
  • SUBSTR
  • ALIAS
  • DATE
  • transaction control statements
• sur les index
  • H3, index hexagonal, big up pour les analyses avec agrégation : site installation et utilisation, exemples
• trucs et astuces
  • Crunchydata's tips
  • préocédures stockées
  • Triggers, quelques articles sur les triggers dans PgSQL
  • generate_series, générer des données artificielles pour tester avec des gros volumes
  • Réparer l'encodage de caractères