Quels contrôles pour développer avec l’IA ?

L’IA accélère le développement d’applications, mais elle ne dispense ni de méthode, ni de gouvernance, ni de vigilance juridique.

La conception avec l’IA peut-elle devenir réellement profitable ? Seulement à condition de bien penser, documenter et contrôler le cycle de vie des applications. Au Forum Cybersécurité Solutions IA.Cloud d’avril à Paris, les facteurs clés de succès ont été examinés. Pour rester en maîtrise, l’entreprise gagne à adopter des méthodes, outils et bonnes pratiques, sans négliger les formations et contrôles humains.

Daisy Boscolo Marchi, juriste spécialisée en conformité IA et protection des données chez Direct Assurance, Alessandra Bagnato, directrice de recherches chez Softeam Software (groupe Docaposte), Mathieu Giannechini, directeur adjoint de Simplon et Florian Caringi, directeur adjoint data et open source du groupe BPCE confirment l’accélération des technologies de l’IA dans leur environnement.

Cette tendance chahute les processus et les rôles traditionnels de l’IT. Elle révèle des exigences de conformité et de sécurité, ainsi que de nouveaux besoins de formation et d’acculturation aux usages. Les quatre intervenants s’accordent sur un point : innover avec l’IA doit être encadré dès le début du projet.


Gouvernance et traçabilité évitent les dérives

Daisy Boscolo Marchi propose un cadre : « La mise en conformité est vraiment un prérequis pour l’IA ». L’entreprise évolue dans un environnement où les données personnelles, la cybersécurité et les règles européennes imposent une vigilance constante. Du coup, « innover avec l’IA demande de rester extrêmement exigeants ».

Un projet mal cadré au départ peut devenir « extrêmement difficile et chronophage à corriger par la suite ». D’où l’importance d’associer les juristes, les équipes métiers et la cybersécurité dès la phase de prototypage. Cette culture de traçabilité, de documentation et de gouvernance serait encore trop rare chez les développeurs ; elle devient une condition de réussite autant qu’un rempart contre les dérives de l’IA.

Alessandra Bagnato décrit une évolution perceptible au quotidien chez tous les ingénieurs amenés à développer des logiciels. L’IA ne se limite plus à la génération de textes et d’images. Elle sait désormais produire du code, assister les développeurs et accélérer les cycles de conception. Cette puissance exige davantage de contrôle par l’humain : « Il faut garder un œil critique sur les réponses de l’IA », car l’IA peut répondre à côté, prendre des raccourcis inopportuns, selon la façon dont les requêtes sont formulées. Ses risques avérés concernent la fuite de données à caractère personnel, l’exfiltration de savoir-faire et une confiance aveugle accordée aux réponses et codes générés.

Bien évaluer les impacts de l’IA

Du coup, l’humain ne doit pas se laisser déposséder de son libre arbitre. Au contraire, son rôle devient stratégie : orienter, vérifier, corriger, et garder une vision d’ensemble. Alessandra met en garde contre une fatigue cognitive provoquée par les réponses ultra-rapides des outils qui ne dorment jamais. Mieux vaut choisir les bons modèles adaptés aux usages, éviter de solliciter une IA coûteuse pour des tâches simples, et se souvenir que chaque requête a bel et bien un impact financier et environnemental.
Mathieu Giannechini replace le débat dans le champ des formations et des compétences. Il voit l’émergence de nouveaux profils, capables non seulement de coder, mais aussi de concevoir, documenter et superviser des systèmes de plus en plus largement assistés par l’IA. « Il faut savoir piloter un minimum pour devenir un bon copilote », résume-t-il, rappelant que l’IA ne dispense pas de comprendre les fondamentaux.

A ses yeux, les développeurs de demain devront être bien structurés sur la conception amont, l’architecture et la spécification fonctionnelle des assistants IA. Il pointe l’importance des nouveaux protocoles et standards, comme le Model Context Protocol (MCP) un protocole conçu pour connecter des modèles d’IA, car il voit l’approche IA agentique s’imposer progressivement dans les stacks modernes.

Transformations en profondeur

Parallèlement, les formations doivent évoluer avec une évaluation menée tout au long de l’apprentissage, du choix de l’architecture jusqu’aux tests. On ne se limite plus à l’examen de résultats, mais on doit vérifier la manière d’y parvenir et chaque étape automatisée.

Florian Caringi apporte un regard opérationnel, en particulier dans les grandes organisations du secteur bancaire. Son retour d’expérience confirme que l’IA transforme en profondeur le rôle du développeur, qui doit raisonner en termes de spécifications plutôt qu’en simple rédaction de code. Il décrit un basculement vers des profils d’architectes capables d’écrire des règles claires, compréhensibles par une IA mais aussi par les humains.

Cette évolution crée, selon lui, un fossé entre les développeurs qui maîtrisent encore la conception globale et ceux qui s’appuient principalement sur des IA génératives. Dans son organisation, l’usage de l’IA est strictement encadré : les modèles, plugins, données et environnements d’exécution sont choisis en fonction de contraintes de sécurité et de règles de conformité. Attention au BYOAI (bring your own AI) prévient-il. Les restrictions internes vis-à-vis de certains outils contribuent à maîtriser les développements avec l’IA. Et l’entreprise doit composer sa plateforme, avec des délais d’accès aux derniers modèles, quitte à alimenter certaines frustration chez les développeurs.

Face à la nécessité de gouverner l’IA dès le départ, les intervenants insistent sur la formation, la sensibilisation, les chartes d’usage, les règles de sécurité, les contrôles d’accès et les outils de protection des données. Il ne s’agit pas seulement de prévenir les fuites d’informations sensibles, mais aussi d’anticiper les hallucinations, de prévenir l’injection de prompts et d’autres dérives d’usage.

La responsabilité finale demeure humaine, même lorsque l’IA est fournie par l’entreprise. Les questions du public démontrent qu’on cherche souvent par où commencer pour développer sereinement avec l’IA. La recette du panel semble simple et claire : partir des besoins réels du métier, vérifier ce que l’IA apporte vraiment, cadrer les usages, former les équipes et garder l’humain au centre.

Auteur de l’article : la Rédaction

Journaliste et fondateur de l'agence éditoriale PulsEdit, Olivier Bouzereau coordonne la communauté open source OW2, conçoit des services et contenus en ligne, des conférences et formations pour les professionnels du numérique, des médias et de la santé. Profil LinkedIn.