Obtenir un avantage concurrentiel grâce aux Data Products : 4 leviers d’optimisation clés

Read this blog in English

Une récente enquête de Gartner menée auprès de plus de 2 000 CIOs, a mis en évidence l’importance d’accélérer la génération de valeur de leurs investissements digitaux. Selon cette enquête, “les futurs plans technologiques des CIO restent centrés sur l’optimisation.” Bon nombre de ces organisations se tournent désormais vers les Data Products afin de propulser leurs ambitions numériques et d’optimiser l’analyse des données. Les Data Products permettent de transmettre les bonnes données, dans la bonne forme, aux bonnes personnes. Dans le cadre plus large d’une stratégie Data Mesh, les Data Products permettront aux organisations qui sauront les optimiser de se distinguer de la concurrence.   

La course aux Data Products a débuté, mais il ne s’agit pas de savoir combien de produits de données vous pouvez créer ou combien de sources de données vous pouvez intégrer. Les vainqueurs de cette course seront jugés sur l’efficacité de leur exécution, sur l’adoption par les consommateurs et sur la valeur commerciale générée. Les gagnants durables de cette course auront l’agilité nécessaire pour optimiser en permanence leurs Data Products afin d’exploiter au mieux les opportunités externes et internes liées aux données.  

Cet article se concentre sur l’optimisation à travers quatre leviers clés : le coût, la performance, le risque et l’expérience utilisateur. Ces leviers doivent être équilibrés en fonction de vos priorités et d’une bonne compréhension des compromis à faire. 

Définir le contexte général stratégique 

Avant d’aborder les leviers d’optimisation des Data Products, il convient d’avoir une vue d’ensemble. Nous n’optimisons pas dans le vide, nous optimisons au travers de la technologie, des processus et des personnes dans le cadre d’un plan stratégique plus large. Cet article est centré sur les Data Products, mais il faut tenir compte de chacun des aspects suivants en définissant vos objectifs d’optimisation : 

Efficacité de l’exécution : Gérer la totalité du cycle de vie des Data Products  

L’efficacité de l’exécution est déterminée par chaque couche de votre écosystème, de l’architecture d’entreprise, aux plateformes de données, en passant par les équipes spécialisées qui créent vos Data Products. Nous devons examiner toutes les pistes permettant de renforcer l’efficacité, à chaque couche et à chaque étape du cycle de vie des Data Products. Mesurez l’efficacité du point de vue du consommateur et concentrez-vous sur les principaux obstacles. Au lieu d’attendre un long projet de migration, nous pouvons fournir au consommateur un accès immédiat avec un moteur de requête MPP très performant comme Trino. Au lieu de compter sur une équipe centrale d’ingénieurs pour gérer un backlog de travaux de transformation, pouvons-nous permettre aux équipes de chaque domaine de travailler de manière autonome avec des outils en libre-service ? 

Adoption du consommateur : Adopter la simplicité, faire abstraction de la complexité 

Dans un Data Mesh, vous voulez abstraire la complexité et créer un environnement avec un minimum de contraintes. Le consommateur veut un processus simple et rapide pour trouver les Data Products fiables et réutilisables dont il a besoin. Pour stimuler l’adoption, les consommateurs doivent avoir confiance dans les données qu’ils obtiennent et dans les outils utilisés. Ils ont besoin de formation décrivant le processus de gestion des données et les zones de responsabilités. Cette compréhension du processus les aidera à avoir confiance en leurs Data Products. Permettre à un consommateur d’avancer à son propre rythme pour résoudre les problèmes qu’il comprend le mieux est un incroyable facteur de motivation. 

Valeur commerciale générée : Optimiser la différenciation concurrentielle 

Optimisez dans les domaines qui comptent pour vos objectifs IT et business. Les conditions actuelles du marché peuvent rendre l’optimisation des coûts des Data Products prioritaire dans un secteur, tandis que dans un autre, on peut décider que ce sont les enjeux de conformité qui sont essentiels pour protéger les modèles d’affaire. Au sein d’une même organisation, vous aurez différents types de Data Products pouvant être optimisés différemment. Un domaine d’automatisation peut avoir un TCO (cout total de possession) acceptable plus élevé pour ses Data Products en raison du volume et de la vélocité des datasets nécessaires. Lorsque les conditions du marché évoluent, vous voulez avoir la flexibilité nécessaire pour réoptimiser votre modèle. Lorsque vous étudiez chacun des leviers d’optimisation, concentrez-vous sur les domaines où la différenciation crée une réelle valeur aujourd’hui puis ajustez de manière agile. 

4 Leviers d’Optimisation des Data Products 

Dans la suite de cet article, nous allons décrire quatre leviers d’optimisation. Ces quatre leviers constituent un bon point de départ pour toute personne lançant une telle initiative. 

Optimisez le coût de vos Data Products  

Le consommateur bénéficiera des économies réalisées grâce à l’accélération de l’exécution des projets et de la génération de valeur. Les équipes de projet qui étaient souvent bloquées dans l’attente de pipeline de données et des backlogs de transformation devraient maintenant avoir l’autonomie et les capacités de libre-service pour construire et réutiliser les Data Products adéquats.  

Pour maximiser votre investissement, examinez le coût de la création et de la modification des Data Products. Qui les construit, quelles sont les compétences requises ? Comment se procurent-ils leurs données, combien de temps cela prend-il ? Quel est le coût de la modification d’un Product ? Quel est le coût total des opérations ? Considérez ces leviers pour gérer votre TCO : 

• Optimisez les mouvements des données : Le mouvement des données va augmenter les coûts (par exemple, la sortie du cloud, le stockage en double) et retarder la réalisation des projets. Vous pouvez créer Data Products très performants à partir de vos sources de données existantes situées sur site et/ou dans des clouds multiples. Minimisez la migration, limitez les données qui doivent être déplacées en y accédant là où elles se trouvent. La migration des données doit être l’exception et non la règle. 
• Optimisez la puissance de calcul : Certains produits requièrent peu de traitement, d’autres peuvent nécessiter une importante puissance de calcul. L’idéal est de disposer d’une plateforme capable d’optimiser automatiquement le moment, l’endroit et la manière dont les cycles de calcul sont exécutés afin d’optimiser la puissance nécessaire. Attention tout de même, avec certaines plateformes, une simple erreur de configuration peut conduire à des coûts de calcul surdimensionnés. 
• Optimisez les patterns : Mettre en place des standards pour vos Data Product permet d’aider à la cohérence globale et encourager les équipes à utiliser les patterns les plus efficaces. Fournissez à vos responsables de data product un ensemble d’archétypes qui répondent aux cas d’utilisation courants et sélectionnez le modèle à l’aide des quatre leviers d’optimisation (coût, performance, risque, expérience utilisateur). 
• Optimisez les opérations. Il faut définir des modèles opérationnels pour chaque domaine. Ils doivent être en accord avec l’entreprise et les normes informatiques centrales pour des dimensions telles que les tickets de service et les demandes d’accès. Il y a une partie du modèle opérationnel qui n’est pas négociable et des secteurs où le domaine peut les adapter pour ses objectifs spécifiques. Fournissez des conseils sur la façon de personnaliser ses opérations par les domaines afin de créer différenciation concurrentielle et optimisation des coûts d’opération. 

Optimisez la performance de vos Data Products.  

La performance est basée sur la vitesse et la fiabilité, mesurées sur tout le cycle de vie du Data Product, de l’intégration avec les sources sur le back-end, à la transformation et consommation des données. Votre approche d’optimisation variera en fonction des exigences qui correspondent à votre cas d’utilisation spécifique par Data Product. Vous devrez être en mesure de fournir le niveau de performance approprié, au coût adéquat et dans des limites de risques acceptables. 

• Optimisez l’intégration. Utilisez des connecteurs de marché standard entièrement pris en charge et spécialement conçus pour accéder aux données pour la source cible. Maintenir des connecteurs propres augmente les coûts et ne fournira pas la fiabilité dont vous avez besoin. Utilisez une plateforme qui offre une large gamme de connecteurs standard de haute performance. 

• Optimisez la récupérabilité. Utilisez une plateforme qui peut vous aider à optimiser la vitesse et la fiabilité. Si une transformation de données d’un Data Product échoue en raison d’un problème n’importe où dans le cycle de vie, vous devez être en mesure de récupérer l’erreur automatiquement. 
• Optimisez la livraison des projets. Peu importe à quelle vitesse s’exécute la transformation finale de données si l’équipe de projet met un mois à migrer les données dans le moteur d’analyse ! Utilisez le moteur adapté à l’utilisation. Votre objectif devrait permettre de répondre aux exigences minimales des données selon la solution business, aussi rapidement que possible. Vous devriez définir des processus de développement de Data Products standardisés, optimisés et adoptés par vos équipes projets. 
• Optimisez la consommation. Le Data Product devrait être facilement accessible pour le consommateur, que ce soit pour la construction de tableaux de bord, d’applications ou d’analyses poussées. Trouvez-le et obtenez rapidement les droits d’accès nécessaires. Identifiez les Data Products problématiques ou inutilisés, et supprimez-les pour améliorer davantage l’expérience utilisateur.

Optimisez la gestion des risques et de la conformité des Data Products.  

L’optimisation de la gestion des risques et de la conformité garantit que vous appliquiez le meilleurs niveau de contrôle selon la situation donnée. Un modèle typique consiste à appliquer un niveau de gouvernance minimum standard et cohérent à chaque domaine et Data Product. Ensuite, vous permettez ainsi à chaque domaine de relever des leviers de gouvernance supplémentaires en fonction de leurs exigences uniques. Considérons quelques-uns de ces éléments:  

• Optimisez la gouvernance. Les domaines et les Data Products devraient être conçus avec une approche de gouvernance alignée sur leur profil de risque unique. Un domaine d’innovation qui pousse à la découverte et à l’innovation au sein d’un laboratoire fermé devrait être autorisé à fonctionner avec un minimum de contrôles. Un domaine différent qui fournit des produits pour un rapport financier fortement réglementé fonctionnera avec des contrôles évidemment plus élevés. 
• Optimisez la gestion des accès. Les produits devraient être conçus pour accélérer la consommation sécurisée et la démocratisation au sein de l’organisation. Pour améliorer l’expérience utilisateur, les équipes devraient être autorisées à lire les descriptions de base de chaque Data Product. Cependant, elles ne devraient voir les données réelles que si elles disposent des droits d’accès adéquats. Votre processus de gestion des accès devrait permettre aux équipes de demander un accès au niveau du Data Product et de recevoir une réponse rapide. 

• Optimisez l’auditabilité. Vous devriez être en mesure de fournir un chemin d’audit à partir du moment où les données sont collectées de la source en passant par le développement du Data Product et jusqu’au moment où il est consommé. L’audit doit inclure au moins le temps, l’utilisateur et les sources des données. Ce niveau d’auditabilité permettra à vos équipes de sécurité et conformité de détecter avec précision les problèmes. 

Optimisez l’expérience utilisateur des Data Products.  

L’expérience utilisateur est bonifiée grâce aux Data Products car elle leur permet de trouver rapidement ce dont ils ont besoin et de réellement comprendre les données présentées. C’est une évolution décisive. Que vous soyez data-scientist ou business-analyst, les Data Products amélioreront votre productivité. Si vous voulez que le consommateur avance rapidement, donnez-lui les clés et n’entravez pas son chemin. 

• Optimisez le catalogue. Améliorez l’expérience utilisateur en fournissant un catalogue ou une marketplace où les équipes peuvent facilement rechercher, étudier et consommer les Data Products. Pour véritablement optimiser l’expérience utilisateur, promouvez des pratiques de métadonnées solides qui garantissent un haut niveau de cohérence. Chaque Data Product devrait avoir une riche description que tout consommateur peut examiner et comprendre. Lorsque vous recherchez des données, les métadonnées et les descriptions sont inestimables, elles font gagner du temps et minimisent les erreurs. Mettez la barre haute sur les standards et challengez les propriétaires de Data Products pour qu’ils la dépassent. 
• Optimisez la réutilisabilité. La réutilisation promeut la cohérence, réduit les efforts de développement redondants et accélère l’exécution. Si vous débutez dans votre parcours Data Mesh ou si vous créez un nouveau domaine, il est évident que vous construirez de nouveaux Data Products et que vous réutiliserez des ensembles existants. Mais une fois que vous aurez créé ce premier élan, la réutilisation produit de plus en plus de valeur. Pour promouvoir la réutilisation, les propriétaires de Data Products devront être ouverts à répondre aux questions ou à recevoir des commentaires sur la façon d’améliorer leurs produits. 
• Optimisez l’adoption. L’expérience des utilisateurs sera grandement améliorée si vous prenez le temps de bien les former. Cela concerne autant la gestion des attentes que l’exploitation des capacités. Offrez des niveaux de certification variés, de citoyen à astronaute et proposez des formations continues. Motivez les utilisateurs en leur permettant de découvrir de nouvelles capabilités selon leurs acquis.  

Prêt à vous lancer ?   

La course aux Data Products a débuté, êtes-vous prêt à vous lancer ? Il n’est jamais trop tôt pour penser à l’optimisation, mais vous n’êtes peut-être pas encore prêt à déployer un programme d’envergure. 

Si vous êtes à un niveau de Data Mesh Pathfinder, et que vous déployez juste votre premier domaine et vos premiers Data Products, vous n’êtes sûrement pas encore prêt pour la phase d’optimisation. C’est toutefois le moment idéal pour s’aligner avec vos producteurs et consommateurs de données et commencer à définir vos priorités d’optimisation. Laissez les équipes Data Products apprendre, tester et innover. Utilisez ce temps pour comprendre pleinement les capacités d’optimisation offertes par votre plateforme et son écosystème. 

Démarrez votre phase d’optimisation une fois votre pathfinder initial ou MVP terminé. Travaillez avec un conseiller Data Mesh de confiance pour revoir vos design patterns et vous aider à initier votre transformation. 

Les grands gagnants de cette course posséderont l’agilité d’optimiser en continu leurs Data Products et de répondre aux changements internes et externes qu’ils devront affronter. Si vous avez la bonne plateforme, optimiser les quatre leviers clés que sont coût, performance, risque et expérience utilisateur vous donnera l’avantage concurrentiel et l’agilité nécessaire pour faire face aux enjeux du futur.