Grupo Amoble
Une étude de cas sur la mise en œuvre d'une architecture de Data Warehouse qui a unifié les rapports à travers des systèmes hétérogènes tout en gardant les coûts d'extraction sous contrôle.
Grupo Amoble avait besoin d'analyses cohérentes à travers plusieurs bases de données opérationnelles, mais leur configuration actuelle rendait les rapports fragmentés, lents et difficiles à croire. Ils avaient déjà une instance Metabase pour la BI, mais les requêtes restaient isolées par source, donc l'analyse inter-bases de données restait hors de portée. L'objectif est devenu de centraliser les données dans un modèle de warehouse qui pourrait supporter les rapports métier sans ajouter de charge inutile aux systèmes de production.
Le Problème Commercial
Grupo Amoble avait des données opérationnelles précieuses réparties sur plusieurs systèmes, mais les rapports nécessitaient de sauter entre des sources déconnectées. Cela créait des retards, des chiffres inconsistants et des efforts supplémentaires pour les équipes qui avaient besoin de décisions rapides.
Une instance Metabase était déjà déployée pour la Business Intelligence, mais elle ne pouvait pas supporter des requêtes inter-bases de données fiables dans leur architecture actuelle. Cette limitation a rendu clair le problème racine : l'outil de BI seul ne suffisait pas sans une couche de données analytiques unifiée.
L'objectif du projet était de consolider ces flux de données dans une couche de Data Warehouse où les parties prenantes pourraient visualiser les performances et créer des rapports inter-bases de données avec confiance.
La Contrainte Technique
Airbyte a été sélectionné comme plateforme d'ingestion principale car il offrait un moyen pratique de déplacer les données depuis des sources communes vers un modèle central. Cependant, une source clé tournait sur SAP HANA, et le connecteur open-source n'existait pas pour ce cas.
Le connecteur disponible nécessitait une mise à niveau enterprise qui représentait un saut de 30 000 $. Cette contrainte de prix rendait impossible une approche directe uniquement par plateforme, donc l'architecture devait s'adapter.
Architecture pilotée par les contraintes : pas de connecteur enterprise pour SAP HANA, donc la stratégie d'ingestion devait combiner des outils de plateforme et du développement personnalisé.
La Mise en Œuvre
Pour MySQL et PostgreSQL, nous avons mis en œuvre une synchronisation incrémentale en utilisant le log binaire de MySQL et le WAL de Postgres. Cela a réduit la sur-extraction et évité de gaspiller des ressources de calcul et de base de données en extrayant à plusieurs reprises des enregistrements inchangés.
Pour SAP HANA, nous avons construit un pipeline Python personnalisé qui se connectait via SSH au serveur SAP, s'authentifiait contre HANA, extrayait uniquement les datasets requis et poussait les données dans le flux du warehouse. Cela a créé un pont stable pour une source non couverte dans la stack open-source.
Stratégie de synchronisation incrémentale : MySQL binary log + PostgreSQL WAL pour réduire la sur-extraction et protéger les ressources des systèmes upstream.
Résultat
L'architecture finale a donné à Grupo Amoble des rapports centralisés sans forcer un saut de licence coûteux. Les équipes ont gagné une vue plus claire des données métier à travers les systèmes, et la couche d'ingestion est restée efficace grâce aux modèles de synchronisation incrémentale.
Du point de vue de l'ingénierie, le projet démontre une stratégie d'intégration pragmatique : utiliser des outils gérés où ils sont les plus forts, et introduire un scriptage personnalisé ciblé uniquement là où les limitations de plateforme bloqueraient autrement la livraison.
Services
Vous avez besoin d'un stack de données qui fonctionne avec des contraintes réelles ?
Nous aidons les équipes à concevoir des plateformes de données pragmatiques qui améliorent la qualité des rapports sans forcer des coûts de licence inutiles.
Obtenir une Consultation Gratuite