Où tourne le modèle
La première question qu'un délégué à la protection des données pose sur un outil avec un modèle dedans, c'est où part le prompt. Si les questions de vos agents et les demandes de vos usagers voyagent vers un serveur hors de l'Union européenne, l'analyse de transfert et les garanties contractuelles qui suivent sont à votre charge, et elles ne sont pas petites. Vous pouvez exiger que l'inférence tourne en UE, et nommer le pays.
Un prestataire qui ne sait pas répondre en une phrase n'y a pas réfléchi. La réponse que nous donnons, c'est Paris, sur le service de modèles de Scaleway, et elle est au contrat.
Sur quoi il apprend
La deuxième question, c'est si vos données entraînent quelque chose. Les conditions par défaut d'une API grand public le permettent souvent ; un contrat entreprise l'interdit en général ; le contrat avec votre prestataire doit dire lequel, par écrit, et couvrir les sous-traitants du prestataire. Vous pouvez exiger « aucune donnée client ne sert à entraîner ou améliorer un modèle » comme clause, pas comme promesse sur une diapositive.
Demandez aussi ce qui est gardé : les prompts, les sorties, combien de temps, et si vous pouvez les effacer. Un outil qui journalise chaque question posée par un travailleur social a créé un stock de données personnelles que personne n'avait prévu.
Qui décide
La troisième, c'est la ligne entre assister et décider. Un modèle peut trier, rédiger, résumer et signaler ; une personne décide de tout ce qui touche aux droits d'un usager, et la trace montre qui. Vous pouvez exiger l'humain dans la boucle comme contrainte de conception et demander à le voir sur un écran avant de signer. Le bureau d'instruction du module idées d'Agora, c'est à ça que ça ressemble : la suggestion du modèle, la décision de la personne, les deux conservées.
C'est aussi la ligne que trace le règlement. Un système qui décide d'une éligibilité ou classe des personnes est à haut risque ; un système qui aide un agent à retrouver un document ne l'est pas. Savoir de quel côté se trouve votre outil est le travail de l'acheteur, et le prestataire doit le rendre facile.
Ce que dit le registre
La quatrième, c'est la paperasse, et c'est celle qui vous sauve plus tard. Chaque usage d'IA dans l'outil doit être une ligne du registre des traitements que vous recevez avec l'instance : finalité, données lues, données produites, conservation, l'étape humaine. Vous pouvez exiger ce registre comme livrable, daté, mis à jour à chaque version qui change un usage.
Un prestataire qui le livre sans qu'on le lui demande a déjà passé un audit. Ça vaut plus que n'importe quelle démonstration.