Déployer Qwen en environnement souverain : retour d’expérience

Publié le 26 août 2026

Auto-héberger un modèle d’intelligence artificielle ne consiste pas simplement à le faire fonctionner dans son propre centre de données. Pour une DSI, un RSSI, un DPO ou un éditeur de santé, la vraie question est plus exigeante : peut-on transformer ce modèle en un service utile, maîtrisable et durable, sans perdre le contrôle des données ni créer une dépendance technique impossible à assumer ?

Nous avons donc évalué Qwen au moyen d’un banc d’essai fonctionnel, sans chercher un record de vitesse ni publier une recette d’installation. Les essais portaient sur le français, la fidélité aux documents, les consignes piégées, les pièces dégradées, la robustesse des sorties et leur reproductibilité.

Le bilan est nuancé. Qwen constitue une base sérieuse pour des usages assistés : recherche documentaire, synthèse, extraction ou rédaction. Mais l’hébergement souverain ne rend pas le modèle fiable par nature. Une réponse plausible mais fausse, un chiffre inventé pour remplir un champ ou un comportement qui change sans que l’équipe puisse expliquer l’écart peuvent être plus dangereux qu’une panne franche.

Ce qu’il faut retenir

• Le déploiement a été stabilisé, mais cette stabilisation a demandé un travail d’intégration réel et une discipline de gestion des changements.
• Le benchmark fonctionnel est encourageant sur le français, la correction, plusieurs formats usuels et la recherche d’un fait dans un document. Il ne permet pas de conclure à une fiabilité générale.
• Les essais de robustesse ont confirmé des fabrications, notamment lorsque le système obligeait le modèle à fournir une valeur absente ou acceptait un paramètre non justifié par la demande.
• La souveraineté améliore la maîtrise des flux et des dépendances. Elle ne remplace ni l’analyse de risques, ni la qualification métier, ni les contrôles déterministes, ni la supervision humaine.

Précision méthodologique essentielle. Toutes les données utilisées dans cette campagne sont synthétiques. Aucun dossier patient, document client, contrat, courriel, identifiant réel ou donnée de production n’a été introduit dans les essais. Les résultats décrivent donc le comportement observé dans un cadre contrôlé ; ils ne valent pas homologation pour un usage métier réel.

La bonne question n’est pas « peut-on lancer Qwen ? »

Un modèle peut produire une réponse correcte en apparence tout en restant impropre à la production. Nous avons donc observé son comportement lorsque la donnée manque, que le document est bruité ou que la consigne pousse à affirmer ce qui est inconnu.

Une démonstration répond à la question « est-ce possible ? ». Un service exploitable doit aussi définir ses utilisateurs, ses données autorisées, ses contrôles, son retour arrière et les responsabilités en cas d’erreur. Notre critère était donc de mesurer des tâches représentatives, d’expliciter leurs limites et de rejouer les défaillances après chaque changement. Comme nous l’expliquons à propos de l’hébergement de modèles d’IA dans un cloud souverain, le lieu d’exécution n’est qu’un maillon de la chaîne de confiance.

Une méthode d’évaluation conçue avant le déploiement

Nous avons défini les familles d’usage, les erreurs inacceptables et les critères d’acceptation avant la campagne principale. Les consignes, les documents synthétiques, les réponses attendues et les règles d’évaluation ont ainsi été figés avant d’observer les résultats.

Le banc d’essai associait six dimensions fonctionnelles à des scénarios de robustesse :

1. la qualité du français et la correction de fautes introduites volontairement ;
2. le respect de formats français, notamment pour les montants et les dates ;
3. la lecture de documents propres puis volontairement dégradés ;
4. la fidélité à un contexte fourni et la capacité à s’abstenir quand l’information manque ;
5. la recherche d’un fait dans un contexte très long ;
6. la stabilité des réponses lors de sollicitations répétées.

Les scénarios de robustesse forçaient notamment une réponse malgré une information absente, imposaient un schéma rigide, demandaient la sélection d’une fonction ou tentaient de faire accepter une affirmation non étayée. Les résultats favorables et défavorables ont été conservés : un cas qui révèle une faiblesse devient ensuite un test de non-régression.

Les corpus ont été générés de manière reproductible et les mêmes consignes ont été rejouées. Une première évaluation automatique a ensuite été soumise à une revue humaine : des faux positifs et une erreur de notation ont imposé de corriger puis de reprendre une partie des essais.

Évaluer une IA revient à évaluer le modèle, le corpus, la consigne, l’application et l’instrument de mesure. Un chiffre n’a de valeur que si son dénominateur, les conditions de l’essai et le classement des cas restent vérifiables. Pour chaque épreuve, nous conservons donc l’entrée, la sortie, la réponse attendue, la règle de décision et la justification des exclusions.

Nous avons choisi de ne publier aucun détail technique d’exploitation. Le dossier interne conserve les éléments nécessaires à l’audit et au retour arrière ; l’article se limite à la méthode, aux résultats fonctionnels et à leurs limites.

Ce que les essais disent réellement de la qualité des sorties

Le premier tableau rassemble les mesures qui décrivent une capacité fonctionnelle. Chaque résultat est accompagné de son usage possible et de ce qu’il ne permet pas d’affirmer.

Résultats fonctionnels mesurés

Épreuve	Volume	Résultat	Interprétation pratique	Limite
Français	154 réponses, soit 29 825 mots	3,32 alertes brutes pour 1 000 mots ; 86 % de faux positifs après revue humaine ; 0,47 faute réelle pour 1 000 mots	Le français produit est globalement propre dans les conditions testées ; une relecture humaine évite de confondre alerte automatique et faute réelle.	Le corpus est synthétique et ne couvre ni tous les registres, ni toutes les terminologies métier ; le correcteur utilisé fait lui-même partie du dispositif à contrôler.
Correction de fautes	384 fautes introduites volontairement	384/384 fautes retirées ; correction exacte attendue dans 380/384 cas	Qwen peut assister une correction éditoriale et éliminer la faute visible.	La disparition d’une faute ne garantit pas la restauration exacte du sens ou de la formulation, ce qui est critique pour une clause, une posologie ou une consigne de sécurité.
Formats français	99 montants, 300 dates et 340 cas de ponctuation double	99/99 montants conformes ; 300/300 dates conformes ; aucune des 340 espaces fines attendues n’a été produite	Les formats explicitement demandés sont bien suivis pour les montants et les dates ; une règle de normalisation peut traiter la typographie.	L’essai ne couvre qu’un ensemble défini de formats ; la conformité sur deux familles ne permet pas d’inférer une maîtrise générale des conventions françaises.
Lecture documentaire	32 points de contrôle sur 7 documents propres ; 36 points sur 6 documents dégradés	32/32 points conformes sur les pièces propres ; 35/36 sur les pièces dégradées ; erreur silencieuse sur un chiffre d’un IBAN synthétique	Le préremplissage assisté est envisageable si les identifiants critiques sont ensuite rapprochés de la source ou validés par une règle externe.	Les documents et l’IBAN étaient synthétiques ; un résultat plausible peut rester faux, et ces effectifs ne justifient pas une lecture autonome de pièces sensibles.
Fidélité sur contexte court	56 cas : 23 réponses ancrées, 22 abstentions, 4 sorties structurées et 7 résumés	56/56 conformes après correction de la notation	Lorsque le contexte est court et l’abstention prévue, Qwen peut répondre en restant fidèle à la pièce fournie.	L’exercice était favorable : pièges explicites, consigne d’abstention et contexte limité. Ce résultat n’est pas un taux d’exactitude en production.
Recherche de faits en contexte long	132 cas : 82 recherches simples et 50 associations entre codes et sites	132/132 faits retrouvés ; borne haute du taux d’échec de 2,3 % à 95 % de confiance	Le résultat soutient un usage de repérage factuel dans des documents construits pour l’épreuve.	Zéro échec observé ne signifie pas zéro risque ; l’épreuve ne mesure pas le raisonnement global, la synthèse de contradictions ou l’interprétation d’une chronologie ambiguë.

Ces résultats séparent trois problèmes souvent confondus. La qualité linguistique relève d’une appréciation humaine ; la correction exacte dépend du sens attendu ; les formats déterministes se prêtent mieux à une règle dédiée qu’à une génération libre. Une bonne moyenne de français ne dispense donc pas d’un contrôle ciblé sur la donnée qui produit un effet métier.

L’erreur documentaire est plus instructive que le taux agrégé : une seule substitution, restée crédible à la lecture, suffit à invalider un identifiant. Qwen peut proposer, extraire ou préremplir, mais une valeur critique doit être contrôlée hors du modèle. Nous détaillons cette logique dans notre analyse de l’anonymisation automatique et de l’OCR appliqués aux documents.

Enfin, un résultat sans échec doit toujours rester associé à son volume et à son intervalle d’incertitude. Aucun autre modèle n’a été soumis aux mêmes épreuves : ce tableau qualifie des usages, il ne classe pas les modèles. Il décrit ce qui s’est produit sur des tâches définies à l’avance, avec des jeux synthétiques et une règle de notation revue humainement.

Les échecs les plus utiles ne sont pas ceux que l’on attendait

La robustesse ne se résume pas à compter des réponses justes. Elle consiste à observer ce que fait le système lorsque la source ne contient pas la valeur attendue, que la forme de sortie encourage une invention ou qu’une action doit être préparée. Le second tableau réunit ces essais sans transformer leurs résultats en taux généraux.

Tests de robustesse et enseignements

Épreuve	Volume	Résultat	Interprétation pratique	Limite
Six familles adversariales	30 alertes produites par le détecteur sur des cas de distracteur, pression à répondre, contexte long, connaissance absente, fausse prémisse ou raisonnement impossible	25 fabrications confirmées après revue humaine ; 5 alertes étaient des faux positifs	Les cas confirmés forment une réserve utile pour les futurs essais de non-régression ; la revue humaine du détecteur est indispensable.	Les 30 alertes ne constituent pas le dénominateur de toutes les réponses. Les consignes cherchaient à faire apparaître les défauts : 25 n’est pas un taux général de fabrication ou d’hallucination.
Champs absents	107 champs absents des documents sources, comparés sous deux règles de réponse	70/107 (65,4 %) ont reçu une valeur inventée dans la condition initiale, puis 28/107 (26,2 %) lorsque l’absence était explicitement permise, soit une baisse de 39,3 points	Prévoir un état « information manquante » réduit fortement l’invention et permet de suspendre le traitement ou de demander une précision.	Le risque résiduel reste important ; les deux pourcentages dépendent du corpus, de la consigne et du schéma et ne se transposent pas tels quels à un autre usage.
Sélection de fonction et paramètres	108 demandes de sélection ; 111 paramètres vérifiés	Fonction attendue sélectionnée dans 108/108 cas, mais 9/111 paramètres n’étaient pas fondés dans la demande	La bonne fonction ne suffit pas : chaque paramètre doit être relié à une information source avant toute exécution.	Les scénarios étaient synthétiques et bornés ; l’épreuve ne valide ni les droits associés, ni les effets d’une action, ni les échanges prolongés.
Schéma strict	120 cas comportant une valeur manquante, dont un sous-ensemble de 33 éléments réellement impossibles à déduire	57/120 valeurs manquantes fabriquées (47,5 %) ; dans le sous-ensemble strictement indéductible, 12/33 valeurs devinées (36,4 %)	Un schéma valide garantit une forme, pas la véracité. Obliger un champ à être renseigné peut convertir l’incertitude en valeur plausible.	Le périmètre de 120 cas suit la règle large de la campagne ; le sous-ensemble de 33 applique une définition plus restrictive. Aucun des deux taux ne vaut mesure universelle.
Reproductibilité des réponses	40 réponses courtes séquentielles, 40 courtes produites par vagues et 20 longues ; contrôle séparé des références sur 90 réponses	3 formulations distinctes parmi les 40 réponses séquentielles, 4 parmi les 40 produites par vagues et 16 parmi les 20 longues ; 0 référence inventée ou omise sur les 90 réponses contrôlées	La formulation peut changer alors que les références attendues restent présentes ; les contrôles doivent porter sur les faits et les sources, pas sur l’identité caractère par caractère.	Le contrôle des 90 réponses ne portait que sur les références attendues ; il ne prouve ni l’identité des formulations, ni l’exactitude de tout le contenu.
Masquage d’identifiants	1 408 décisions sur des jeux synthétiques	0 fuite observée ; borne haute du taux de fuite d’environ 0,21 % à 95 % de confiance	Le résultat justifie de poursuivre l’évaluation dans une défense en profondeur, avec contrôles complémentaires et rejet possible.	Aucun événement observé ne prouve un risque nul. Le volume, synthétique, reste insuffisant pour faire de Qwen l’unique filtre d’une donnée sensible.

Deux motifs dominent. D’abord, la conception de la sortie modifie le comportement : autoriser l’absence réduit les valeurs inventées, tandis qu’un schéma obligatoire peut donner une apparence de validité à une donnée sans source. Ensuite, sélectionner la bonne fonction ne valide pas ses paramètres. Le contrôle utile se situe donc entre la proposition de Qwen et son acceptation par l’application.

Ces constats ne se corrigent pas par une consigne plus ferme seulement. Le format doit représenter l’inconnu, chaque nombre important doit être rattaché à une source et l’exécution doit être suspendue si un paramètre indispensable manque. Ces garde-fous sont développés dans notre retour sur les agents IA en environnement régulé.

Le masquage illustre une autre prudence : zéro fuite observée est un signal, pas une garantie. Les contrôles déterministes disponibles, l’échantillonnage humain et une procédure de rejet restent nécessaires avant tout traitement réel.

Un contexte long ne remplace ni la recherche documentaire ni le raisonnement

Le résultat du tableau mesure un repérage : retrouver un fait bien formé ou associer des éléments explicitement présents. Il ne démontre pas que Qwen comprend l’ensemble d’un dossier. Cette distinction est décisive dès que plusieurs pièces se contredisent, que la réponse dépend d’une chronologie ou qu’un raisonnement en plusieurs étapes est nécessaire.

Charger un dossier entier dans une seule demande peut réussir lors d’une démonstration et rester peu maîtrisable en usage réel. Pour une génération enrichie par recherche documentaire dans un environnement certifié, il faut sélectionner les passages pertinents, conserver leurs références, limiter ce qui est transmis au modèle et vérifier que la réponse cite effectivement les éléments utilisés. La longueur disponible est une capacité ; ce n’est pas une preuve de fiabilité.

Reproductibilité : conserver les preuves, pas seulement l’installation

La variabilité mesurée interdit de traiter la reproduction mot pour mot comme un critère de bon fonctionnement. Une vérification robuste compare plutôt les faits attendus, les références, les abstentions, la structure de sortie et les décisions de contrôle. Elle tolère une reformulation qui ne change pas le sens et bloque une sortie stable mais infondée.

Nous distinguons une reproductibilité fonctionnelle, partageable — corpus synthétiques, consignes, réponses attendues, règles et exclusions — et un dossier d’exploitation conservé en interne. Cette séparation permet de discuter publiquement la preuve sans divulguer d’information technique sensible.

Pour chaque modification, même mineure, nous recommandons de rejouer au minimum les cas critiques : abstention, chiffres sourcés, document dégradé, format structuré, historique de conversation, fonctions appelées par l’application et arrêt contrôlé. Le but n’est pas de figer le système, mais de savoir précisément ce qui a changé et d’empêcher qu’une amélioration apparente introduise une régression silencieuse.

Les corpus destinés à une publication ouverte sont encore en préparation. Aucun dépôt ni identifiant pérenne ne sera annoncé avant leur mise à disposition effective.

Les risques opérationnels à inscrire au registre

Le premier risque réunit dépendance logicielle et chaîne d’approvisionnement. Une évolution peut supprimer un comportement utile, tandis qu’un maintien trop long accroît l’exposition aux vulnérabilités. Les éléments installés doivent provenir de sources identifiées, être vérifiés et inventoriés, avec qualification préalable, calendrier de maintien et solution de repli.

Le deuxième risque est la fuite par les usages ordinaires. Demandes, pièces jointes, historiques et traces peuvent contenir des informations sensibles. Le confinement ne suffit pas si la journalisation est excessive, les habilitations trop larges ou une application annexe transmet les données ailleurs. Conservation, purge et accès doivent couvrir toute la chaîne.

Le troisième risque est métier. Une réponse fausse peut être claire et respecter le format attendu. Plus l’action est irréversible, plus le contrôle doit être extérieur à Qwen : règle de gestion, rapprochement avec une source, validation humaine ou blocage. Une synthèse révisable n’a pas le même risque qu’une décision, une notification ou une modification de référence.

Le dernier risque est organisationnel. Intégration, exploitation durable, audits, qualification métier, surveillance, documentation et non-régression composent le coût complet. Ces sujets doivent rejoindre les processus existants de changement, vulnérabilité, incident, continuité et revue périodique, afin d’enrichir le SMSI sans créer une gouvernance parallèle.

Souveraineté, sécurité et conformité : trois notions à ne pas confondre

L’auto-hébergement permet de choisir où les données sont traitées, par quels réseaux elles circulent et qui administre le service. Dans une chaîne privée de bout en bout, il peut aussi éviter qu’une requête sensible sorte vers un fournisseur d’IA accessible sur Internet. C’est un avantage de maîtrise majeur. Ce n’est toutefois ni une certification automatique ni une présomption de conformité.

La CNIL recommande de combiner les mesures classiques de sécurité avec une analyse des risques propres à l’IA. Elle conseille aussi, lorsque c’est possible, des données fictives ou synthétiques pour les essais, un environnement contrôlé et reproductible, une documentation et des audits. Notre protocole suit cette logique sans couvrir, à lui seul, les obligations du responsable de traitement.

Pour un traitement de données personnelles, la finalité, la minimisation, la base juridique, les durées de conservation, les droits des personnes et l’éventuelle analyse d’impact restent à instruire. Le règlement européen sur l’intelligence artificielle ajoute un cadre dont les exigences dépendent du rôle de l’organisation et de l’usage concerné. La qualification doit donc être réalisée projet par projet avec le DPO, le RSSI, le juridique et le métier.

Dans le secteur de la santé, le même raisonnement s’applique au périmètre d’hébergement : faire fonctionner Qwen dans une zone maîtrisée ne transforme pas toute l’application en service conforme. Les flux, les sauvegardes, les accès, les sous-traitants, les opérations d’administration et les preuves doivent être couverts. Notre article sur les différences entre ISO 27001 et HDS précise le rôle respectif de ces cadres.

Les critères de décision avant de retenir Qwen

La décision doit partir de l’usage, pas du modèle. Qwen est un candidat pertinent lorsque la confidentialité impose une exécution dans un périmètre maîtrisé, que la tâche peut être évaluée sur un corpus représentatif et que les erreurs peuvent être détectées avant de produire un effet irréversible.

Critère	Signal favorable	Signal d’alerte
Finalité	tâche précise, valeur attendue et responsable identifiés	expérimentation sans propriétaire ni limite d’usage
Données	classification connue, minimisation et règles de conservation définies	copie indifférenciée de dossiers ou d’historiques complets
Sortie	proposition révisable ou valeur vérifiable par une règle externe	décision automatique ou donnée impossible à contrôler
Évaluation	corpus métier représentatif, seuils et erreurs inacceptables définis	quelques démonstrations choisies à la main
Exploitation	compétences, surveillance, retour arrière et calendrier de maintien	dépendance à une configuration comprise par une seule personne
Économie	coût complet comparé aux solutions de rechange	décision fondée sur le seul coût apparent de calcul

Le feu vert est raisonnable pour une aide à la rédaction, une recherche documentaire avec citations, une extraction suivie de contrôles ou une synthèse soumise à validation. Il devient conditionnel pour l’analyse de documents sensibles, car la qualité de lecture, la traçabilité des sources et les erreurs plausibles doivent être traitées ensemble.

Un refus ou un report s’impose lorsque l’application ne sait pas représenter l’absence d’information, lorsque personne ne peut valider la sortie, lorsque la réponse déclenche directement une action importante ou lorsque l’équipe ne peut pas maintenir les dépendances. Dans ces cas, changer de modèle ne résout pas le défaut de conception.

Du prototype à la production : une progression en cinq étapes

Nous recommandons une progression courte mais formelle. La première étape cadre la finalité, les données autorisées, les utilisateurs et les conséquences d’une erreur. La deuxième qualifie Qwen hors production sur des données synthétiques, puis sur un corpus métier préparé selon les protections applicables. La troisième place le système en observation : ses réponses sont comparées au processus existant, sans agir.

La quatrième étape ouvre une expérimentation limitée, avec validation humaine, journalisation proportionnée et procédure d’arrêt. La cinquième autorise la production si les seuils sont tenus, les incidents traitables et le retour arrière testé. Toute évolution significative impose une nouvelle qualification. Cette progression évite aussi bien la démonstration sans responsable que le passage prématuré à un usage réel.

Notre verdict : une option crédible, sous conditions explicites

Qwen est une option crédible lorsque le confinement est déterminant, que l’organisation peut exploiter le service et que chaque usage dispose d’un corpus, de seuils et de contrôles propres. Le banc d’essai montre des capacités utiles, mais aussi des erreurs plausibles dès que la source manque ou que la forme attendue pousse à répondre.

Le choix est donc principalement organisationnel. Une équipe capable de définir ses erreurs inacceptables, de vérifier les valeurs importantes, de conserver les preuves et de gérer les changements peut tirer parti de Qwen. Attendre du modèle une exactitude intrinsèque ou une exploitation sans effort ne supprime pas le risque : cela le déplace à l’intérieur du système d’information.

FAQ : déployer Qwen en environnement souverain