Data engineer

Horizon 3-7 ans : recomposition profonde sous l'effet de l'IA agentique

Le moteur principal de transformation à cet horizon est l'émergence des systèmes d'IA agentiques : des agents autonomes capables de détecter des anomalies dans les pipelines, de réécrire des transformations défaillantes, de scaler dynamiquement l'infrastructure et d'orchestrer des workflows multi-étapes sans intervention humaine. Gartner projette que d'ici 2028, l'IA générative remplacera plus de la moitié des dashboards existants, déplaçant le rôle du data engineer vers la curation de data products consommés par des systèmes IA.

Deux scénarios plausibles s'affrontent. Scénario de recomposition (le plus probable) : le volume de postes se maintient, voire croît modérément, mais le contenu du métier se transforme radicalement. Le data engineer devient architecte de contexte — il conçoit des systèmes RAG, gère des vector stores, définit des contrats de données pour agents LLM, et supervise des pipelines auto-réparateurs. Les tâches de plomberie ETL manuelle disparaissent progressivement. Scénario de compression (minoritaire mais non négligeable) : si les agents IA atteignent une fiabilité suffisante pour gérer end-to-end les pipelines standards, les équipes data pourraient se réduire, concentrant la valeur sur un nombre plus restreint de profils très seniors.

Le frein principal à la compression est la complexité irréductible des environnements enterprise : intégrations legacy, contraintes réglementaires (RGPD, AI Act), exigences de gouvernance et de traçabilité que les agents ne peuvent pas encore gérer de façon autonome et auditables. La pénurie structurelle de compétences numériques en France — estimée à 10 % de postes non pourvus dans le secteur — constitue un plancher de protection.

Horizon 7-15 ans : bifurcation entre commoditisation et spécialisation stratégique

À cet horizon, l'incertitude est forte et deux trajectoires divergentes sont crédibles.

Scénario optimiste — le data engineer comme architecte de l'IA d'entreprise : La croissance du marché mondial de la big data (projetée à 862 milliards USD d'ici 2030) et l'explosion des volumes de données générées par les systèmes IoT, l'IA générative et la transition écologique créent une demande durable de professionnels capables de concevoir des infrastructures de données fiables, gouvernées et souveraines. Le rapport France Stratégie / DARES « Les Métiers en 2030 » identifie les ingénieurs informatiques comme la profession connaissant la plus forte croissance avec +115 000 postes prévus d'ici 2030 (+26 %). Dans ce scénario, le data engineer évolue vers des rôles d'architecte data, de Chief Data Officer ou de spécialiste en souveraineté des données — des fonctions à forte valeur stratégique et peu automatisables.

Scénario pessimiste — commoditisation des profils intermédiaires : Si les plateformes cloud managées (Databricks, Snowflake, BigQuery) et les agents IA absorbent la majorité des tâches d'ingénierie courante, le marché pourrait se polariser entre un petit nombre de profils très seniors (architectes, CDO) et des profils hybrides data/métier moins spécialisés. Les postes intermédiaires de data engineer « généraliste » seraient alors sous pression, à l'image de ce qui s'est produit pour les DBA traditionnels avec l'avènement du cloud.

Le facteur déterminant sera la capacité des data engineers à monter en abstraction : maîtriser la gouvernance des systèmes IA, l'EU AI Act, la souveraineté industrielle des données (enjeu croissant en Europe), et à devenir des interlocuteurs stratégiques plutôt que des exécutants techniques.