CONTENTS
- 1. Sécurité de l’IA | L’IA générative, la voie de fuite de données et de technologies la plus courante, mais la moins visible
- - Évolution des modes de fuite
- 2. Sécurité de l’IA | Des menaces qui passent du problème technique au risque de gestion
- - Fuite d’informations confidentielles par les saisies
- - Injection de prompt et attaques adversariales
- - Manque de clarté dans la répartition des responsabilités
- 3. Sécurité de l’IA | Les éléments essentiels de la gouvernance des données d’IA à mettre en place dans l’entreprise
- - Une architecture qui empêche les données de sortir
- - Des contrôles techniques qui bloquent les données dès la saisie
- - Gestion fondée sur le cycle de vie de l’IA
- - Clarification des responsables
- 4. Sécurité de l’IA | À l’heure où le niveau de sécurité détermine la confiance accordée à l’entreprise et son évaluation par les investisseurs
- - L’IA n’est pas un élément à interdire, mais un actif d’entreprise à gérer
1. Sécurité de l’IA | L’IA générative, la voie de fuite de données et de technologies la plus courante, mais la moins visible
Les raisons pour lesquelles la sécurité de l’IA est devenue importante sont claires.
L’IA générative est déjà devenue un « outil de productivité quotidien » parmi les plus utilisés dans le cadre professionnel. Dans le même temps, elle s’impose rapidement comme une voie de fuite de données et de technologies que les entreprises ont le plus de difficultés à contrôler.
Le problème tient au fait que de nombreuses entreprises considèrent encore l’IA comme un simple outil de travail.
Or, l’IA fonctionne en réalité comme une nouvelle infrastructure de fuite, après les courriels, les clés USB et les disques durs externes. Comme elle est plus difficile à détecter et à contrôler que les modes de fuite existants, elle accroît considérablement la difficulté de la réponse des entreprises.
Selon de récentes analyses menées dans des entreprises à l’étranger, une part importante des salariés utilise déjà des outils d’IA générative.
Le problème est que beaucoup d’entre eux utilisent l’IA au moyen de comptes personnels échappant au périmètre de gestion et de contrôle de leur entreprise.
Évolution des modes de fuite
Le fait que les fuites de technologies se produisent selon des modalités difficiles à détecter au moyen des systèmes de sécurité existants rend également la réponse plus complexe.
Les systèmes de sécurité existants sont conçus principalement autour du téléversement et du stockage de fichiers. Pourtant, une part importante des fuites de données et de technologies se produit non pas par des fichiers, mais par des opérations de copier-coller, c’est-à-dire lors de la saisie des prompts.
∙ Une part importante de ces utilisations s’effectue au moyen de comptes personnels
∙ Les fuites se produisent par le « canal sans fichier » que constitue le presse-papiers
∙ Une détection au moyen des outils de DLP et des journaux de sécurité existants est particulièrement difficile
Les entreprises peuvent ainsi se trouver dans l’incapacité non seulement d’empêcher les fuites, mais également d’en constater l’existence.
Lors de l’utilisation de l’IA, les flux de travail dont la visibilité et le contrôle sont réduits constituent donc un facteur de risque plus important que la technologie elle-même.
Dans des entreprises à l’étranger, des cas ont effectivement été signalés dans lesquels la seule saisie d’un prompt d’IA, lors de la vérification de code de développement ou de la mise en forme de documents techniques, a exposé à l’extérieur la structure d’un algorithme essentiel.
2. Sécurité de l’IA | Des menaces qui passent du problème technique au risque de gestion
Les enjeux de sécurité de l’IA ont atteint un stade où les fuites de données et de technologies causées par l’IA générative doivent désormais être considérées non comme de simples incidents, mais comme un risque structurel de gestion.
Les principales catégories de menaces sont les suivantes :
Fuite d’informations confidentielles par les saisies
Lorsqu’un membre du personnel saisit des informations confidentielles dans un prompt, celles-ci peuvent sortir du périmètre de contrôle de l’entreprise.
Selon le mode de fonctionnement du service d’IA, il est difficile d’exclure totalement la possibilité que les informations saisies soient utilisées dans des journaux ou comme données d’analyse.
Injection de prompt et attaques adversariales
Il s’agit d’une méthode d’attaque qui, au moyen d’une entrée externe, incite l’IA à divulguer involontairement des données ou à contourner les règles internes.
Le risque s’accroît notamment dans les tâches automatisées telles que le service client, la synthèse de documents et la vérification de code.
Au-delà d’un incident de sécurité mineur, cette méthode peut entraîner un risque de responsabilité juridique ou contractuelle non voulue par l’entreprise dans le cadre de processus décisionnels automatisés.
Manque de clarté dans la répartition des responsabilités
Les productions de l’IA prennent la forme de « productions secondaires ». Il est donc très difficile d’établir a posteriori leur identité avec la technologie d’origine, la voie de fuite et l’entité responsable.
Les entreprises peuvent ainsi être confrontées aux risques de gestion suivants :
∙ Évaluation de l’entreprise comme insuffisamment rigoureuse en matière de gestion de la sécurité lors d’investissements ou de collaborations
∙ Risque de manquement aux réglementations relatives aux données personnelles et aux technologies industrielles
∙ Vulnérabilité structurelle empêchant de prévenir une récidive même après un incident
La sécurité de l’IA ne relève désormais plus uniquement du service chargé de la sécurité de l’information ou d’un responsable particulier. Elle s’étend à un risque de gestion qui doit être maîtrisé à l’échelle de l’entreprise.
3. Sécurité de l’IA | Les éléments essentiels de la gouvernance des données d’IA à mettre en place dans l’entreprise
Pour assurer la sécurité de l’IA, certaines entreprises choisissent d’interdire totalement l’utilisation de l’IA générative. Cette approche constitue toutefois difficilement une solution réaliste.
Dans une organisation ayant constaté les gains d’efficacité et de rapidité, l’interdiction totale de l’IA conduit immédiatement son utilisation à se déplacer des systèmes officiels vers l’IA fantôme (Shadow AI).
L’IA fantôme désigne l’utilisation, par les membres du personnel, de comptes personnels ou de services d’IA externes sans approbation ni supervision de l’entreprise.
Dans ce cas, l’enregistrement et la surveillance des données saisies et produites deviennent impossibles. Il est également difficile de déterminer a posteriori quelles informations ont été communiquées à l’extérieur et par quelle voie.
Des données sensibles, notamment du code, des documents techniques et des informations sur les clients, peuvent en particulier être saisies dans des prompts sans contrôle distinct, ce qui neutralise de fait les politiques de sécurité et les dispositifs de contrôle interne.
Le contrôle disparaît tandis que le risque augmente au contraire, ce qui crée un problème supplémentaire.
Il faut donc non pas interdire l’utilisation, mais mettre en place une structure d’utilisation contrôlable, c’est-à-dire une gouvernance des données.
Qu’est-ce que la gouvernance des données ?
Dans un environnement d’IA, le cœur de la gouvernance des données réside dans une structure de contrôle intégrée couvrant également le périmètre des données saisies et produites par l’IA, leurs conditions d’utilisation ainsi que les modalités d’enregistrement et de surveillance.
Pour prévenir les fuites par l’IA, il faut commencer par déterminer ce qui doit être protégé.
Un contrôle mis en place sans avoir défini le périmètre des technologies et des données essentielles ne peut être que formel.
Si cette condition préalable n’est pas remplie, aucun système ni aucune politique de sécurité ne peut aisément être efficace.
Une architecture qui empêche les données de sortir
Lorsque des services publics d’IA générative sont utilisés tels quels, les contenus saisis par les membres du personnel sont transmis aux serveurs d’un service externe plutôt qu’à l’infrastructure interne de l’entreprise.
Au cours de ce processus, il est difficile pour l’entreprise de vérifier ou de contrôler directement le lieu de stockage de ces données, leur mode de traitement et leur éventuelle réutilisation pour l’apprentissage.
En revanche, dans un environnement sur site où l’entreprise exploite l’IA uniquement dans son système interne au moyen de ses propres serveurs, ou dans une architecture Private AI reposant sur un VPC dédié, où l’IA fonctionne dans un espace indépendant réservé à l’entreprise même lorsqu’un cloud externe est utilisé, l’entreprise peut gérer directement le périmètre de stockage, de traitement et d’accès aux données.
Parce qu’elle permet de contrôler les données afin qu’elles ne soient pas divulguées à l’extérieur, cette architecture constitue désormais un prérequis plutôt qu’une option.
Des contrôles techniques qui bloquent les données dès la saisie
Les politiques ou les engagements écrits ne suffisent pas.
Pour prévenir les erreurs, un dispositif de freinage matériel allant au-delà de la « discipline » est nécessaire.
∙ Masquage des données personnelles et des technologies essentielles, ou restriction de leur saisie
∙ Contrôle des opérations mêmes de copier-coller
Gestion fondée sur le cycle de vie de l’IA
Le contrôle doit s’exercer à toutes les étapes, de la collecte des données à leur suppression, en passant par l’apprentissage et l’inférence.
∙ Structure de désapprentissage (Unlearning) permettant, si nécessaire, de supprimer uniquement certaines données
∙ Différenciation des droits d’accès selon les rôles et révocation automatique de ces droits
Clarification des responsables
Les fuites de technologies et de données causées par l’IA générative relèvent désormais d’un domaine dans lequel les responsabilités doivent être clairement définies.
Il convient de désigner les responsables de la politique d’utilisation de l’IA, du contrôle des accès et de la réponse aux incidents, et d’intégrer des éléments relatifs à l’IA dans les dispositifs de sécurité existants tels que l’ISMS-P.
Cette démarche est également directement liée à la mise en place d’un dispositif de défense juridique permettant à l’entreprise de démontrer, en cas d’incident, qu’elle s’est acquittée de ses responsabilités de gestion.
4. Sécurité de l’IA | À l’heure où le niveau de sécurité détermine la confiance accordée à l’entreprise et son évaluation par les investisseurs
À l’instar des fuites de technologies, qui sont devenues un risque pour l’ensemble du secteur industriel, le niveau de sécurité de l’IA commence désormais à constituer un critère d’évaluation des entreprises, au-delà des incidents individuels.
▶ Vérification du niveau de contrôle de l’utilisation de l’IA lors des audits préalables à l’investissement
▶ Renforcement des exigences de sécurité dans le cadre des collaborations internationales et des transferts de données
▶ En cas d’échec de la mise en conformité réglementaire, évolution vers une mise en cause de la responsabilité de la direction
Il importe de définir et de gérer le périmètre d’utilisation de l’IA ainsi que les responsables concernés.
L’IA n’est pas un élément à interdire, mais un actif d’entreprise à gérer
L’IA est un outil qui renforce la compétitivité de l’entreprise, mais elle peut également devenir, en l’absence de contrôle, la voie la plus rapide de fuite d’informations.
Il est donc important d’examiner conjointement la structure décisionnelle et le régime de responsabilité de l’organisation.
Afin de répondre à ces évolutions, le Cabinet d'avocats Daeryun a créé un groupe IA et intelligence des données et mis en place un dispositif centré sur les données pour l’analyse des affaires et la gestion des risques, associant ▲conformité de l’IA ▲stratégies d’IA sectorielles ▲cybersécurité et gestion de crise ▲analyse forensique numérique& et e-discovery.
Lorsqu’un examen de la structure d’utilisation de l’IA, un diagnostic des risques de fuite de données ou la conception d’une gouvernance interne de l’IA sont nécessaires, la stratégie de réponse peut être évaluée au moyen d’un diagnostic intégré tenant compte des solutions de sécurité et des risques de gestion.
Articles connexes
