Décision automatisée et supervision humaine
les enseignements de l’amende infligée à Uber
L’Autorité néerlandaise de protection des données a infligé à Uber une amende de 824,99 millions d’euros pour des décisions entièrement automatisées concernant des chauffeurs. Cette affaire rappelle qu’une organisation ne peut pas confier à un système seul une décision ayant des conséquences importantes sur une personne sans examiner l’application de l’article 22 du RGPD.
(Uber a annoncé contester la décision. L’affaire est présentée ici à titre d’illustration d’un principe juridique, sans préjuger de son issue.)
Une sanction historique sous le RGPD
L’Autorité néerlandaise de protection des données, l’Autoriteit Persoonsgegevens, a annoncé une amende de 824,99 millions d’euros à l’encontre d’Uber.
Il s’agit de la plus importante sanction jamais prononcée par cette autorité et de la deuxième plus élevée sous le Règlement général sur la protection des données.
Selon l’autorité, Uber aurait pris des décisions entièrement automatisées concernant ses chauffeurs, sans les garanties exigées par le RGPD.
Uber conteste cette analyse et a annoncé son intention de contester la décision.
Que s'est-il réellement passé chez Uber ?
Entre 2018 et 2022, des comptes de chauffeurs étaient automatiquement désactivés en cas de soupçon de fraude ou d’évaluations insuffisantes de la part des clients.
Le système surveillait notamment le comportement des chauffeurs et les notes qui leur étaient attribuées. Lorsqu’il détectait une situation considérée comme anormale, le compte concerné pouvait être suspendu temporairement ou, dans certaines circonstances, désactivé définitivement.
Selon l’autorité néerlandaise, ces décisions intervenaient sans examen humain réel et sans information suffisante des personnes concernées.
Pendant la désactivation, les chauffeurs ne pouvaient plus accéder à la plateforme ni percevoir de revenus par son intermédiaire.
Le problème ne résidait donc pas uniquement dans l’utilisation d’un algorithme. Il tenait au rôle déterminant confié au système dans une décision ayant des conséquences importantes sur l’activité professionnelle et les revenus des personnes.
Une affaire née des plaintes de chauffeurs français
L’enquête trouve son origine dans les démarches de 171 chauffeurs français auprès de la Ligue des droits de l’Homme.
L’organisation a transmis leur plainte à l’autorité française de protection des données. L’enquête a ensuite été menée par l’autorité néerlandaise, car le siège européen d’Uber est situé aux Pays-Bas.
Cette procédure illustre le fonctionnement du mécanisme de guichet unique prévu par le RGPD. Lorsqu’un traitement de données présente une dimension transfrontalière, l’autorité de l’État membre dans lequel se trouve l’établissement principal de l’entreprise peut agir comme autorité chef de file, en coopération avec les autres autorités européennes concernées.
Que dit l'article 22 du RGPD sur les décisions automatisées ?
L’article 22 du RGPD encadre les décisions produisant des effets juridiques ou affectant significativement une personne, lorsqu’elles sont prises de manière entièrement automatisée.
Le principe est le suivant : ce type de décision entièrement automatisée est, par principe, interdit. Il n’est possible que dans des cas limités, notamment lorsque la décision est nécessaire à un contrat, autorisée par une loi, ou fondée sur le consentement explicite de la personne.
Et même dans ces cas autorisés, l’organisation doit prévoir des garanties. Selon la situation, elle doit notamment :
- informer clairement la personne de l’existence d’une décision automatisée, et de sa logique générale ;
- lui permettre d’exprimer son point de vue ;
- prévoir une intervention humaine réelle ;
- lui donner la possibilité de contester la décision et d’obtenir un réexamen.
Autrement dit, la loi ne cherche pas à interdire l’automatisation. Elle exige que, lorsqu’une machine décide de quelque chose d’important pour une personne, celle-ci ne soit pas laissée sans recours face au système.
Le cœur du sujet : qu'est-ce qu'une intervention humaine « réelle » ?
C’est le point que certaines organisations n’intègrent pas complètement.
Ajouter un humain qui valide d’un clic les décisions du système ne suffit pas. Une intervention humaine significative suppose que la personne chargée du contrôle puisse réellement peser sur le résultat.
Concrètement, cela signifie qu’elle doit :
- disposer des informations nécessaires pour comprendre pourquoi le système a produit ce résultat ;
- avoir la compétence pour l’évaluer ;
- avoir l’autorité pour le remettre en cause et, si nécessaire, le modifier ou l’annuler.
Un humain qui se contente d’entériner les décisions d’un algorithme, sans pouvoir ni moyen de les contester, ne constitue pas une intervention humaine réelle. C’est une supervision de façade.
Cette distinction est décisive. Beaucoup de dispositifs qui semblent « avoir un humain dans la boucle » n’ont, en réalité, qu’un humain qui valide sans pouvoir contester. Aux yeux du RGPD, ce n’est pas suffisant.
Pourquoi cela concerne bien plus que les plateformes numériques
Il serait tentant de voir dans l’affaire Uber un cas propre aux géants du numérique. Ce serait une erreur.
Toute organisation qui automatise des décisions ayant un impact réel sur des personnes est potentiellement concernée. Voici quelques exemples courants :
- le tri automatique de candidatures dans un processus de recrutement ;
- un score automatisé d’octroi ou de refus de crédit ;
- la suspension ou la résiliation automatique d’un compte client ;
- la priorisation automatique de dossiers (aides, prestations, réclamations) ;
- l’attribution automatisée de créneaux, de ressources ou de tarifs.
Dès qu’un système décide seul, avec un effet significatif sur une personne, les questions de l’article 22 se posent.
Cette décision est-elle autorisée ? La personne est-elle informée ? Un humain peut-il réellement la réexaminer ? La personne peut-elle contester ?
Ce n’est pas le secteur qui compte, mais le fait qu’un système tranche seul avec des conséquences réelles.
Comment mettre en conformité vos décisions automatisées ?
Pour une organisation, la démarche se structure en quelques étapes concrètes.
1. Identifier vos décisions automatisées
Recensez tous les traitements où un système produit une décision ayant un impact sur des personnes, sans intervention humaine ou avec une intervention purement formelle. C’est souvent l’étape la plus révélatrice.
2. Qualifier chaque décision
Pour chaque décision recensée, posez deux questions. Produit-elle des effets significatifs sur la personne ? Entre-t-elle dans un cas autorisé (contrat, loi, consentement explicite) ? Cette qualification détermine vos obligations précises.
3. Intégrer les garanties dès la conception
Plutôt que d’ajouter une supervision humaine après coup, concevez le processus pour qu’un humain compétent puisse intervenir dès le départ, et pour que la personne soit informée et puisse contester. Ces garanties sont bien plus efficaces, et bien moins coûteuses, lorsqu’elles sont pensées en amont.
4. Documenter et informer
Tenez une trace des décisions automatisées, de leur base juridique et des garanties mises en place. Informez ensuite clairement les personnes concernées de l’existence du traitement automatisé et de leurs droits.
L'automatisation ne délègue pas la responsabilité
L’affaire Uber n’est pas seulement une sanction record. C’est un rappel qu’automatiser une décision ne délègue pas la responsabilité qui l’accompagne.
Un système peut proposer, trier, signaler, accélérer. Mais lorsqu’une décision affecte réellement la vie d’une personne, son emploi, ses revenus ou son accès à un service, la loi exige qu’un humain puisse réellement intervenir, et que la personne ne soit pas laissée sans recours.
Pour votre organisation, la question n’est pas de renoncer à l’automatisation. Elle est de savoir, précisément, quelles décisions ne peuvent pas être laissées à un système seul, et de concevoir les garde-fous en conséquence. Une supervision humaine pensée dès le départ coûte infiniment moins cher qu’une amende à neuf chiffres, ou que la confiance perdue de vos usagers.
Commencez dès aujourd’hui par cartographier vos décisions automatisées. C’est le point de départ de toute mise en conformité, et souvent le plus instructif.
Cet article présente une synthèse éditoriale à vocation informative et ne constitue pas un avis juridique. L’affaire mentionnée illustre les enjeux liés aux décisions automatisées, mais ses enseignements ne peuvent être transposés à une situation particulière sans analyse de son contexte. Pour toute question juridique précise, il est recommandé de consulter un professionnel qualifié.
Foire aux questions (FAQ)
Non. L’article 22 encadre les décisions fondées exclusivement sur un traitement automatisé de données personnelles lorsqu’elles produisent des effets juridiques ou affectent une personne de manière similaire et significative.
Ces décisions sont interdites par principe, mais peuvent être autorisées dans certains cas limités, notamment lorsqu’elles sont nécessaires à un contrat, autorisées par la loi ou fondées sur le consentement explicite de la personne. Elles doivent alors être accompagnées des garanties prévues par le cadre applicable.
Il s’agit d’une intervention permettant à la personne chargée du contrôle de comprendre, d’évaluer et de remettre en cause le résultat du système.
Elle doit disposer des informations, des compétences et de l’autorité nécessaires pour confirmer, modifier ou annuler la décision. Un simple clic de validation, sans examen critique ni pouvoir d’action, ne suffit pas. Il s’agit d’une supervision de façade.
Potentiellement, oui. Le rejet automatisé d’une candidature, le scoring de crédit, la suspension automatique d’un compte ou la priorisation de dossiers peuvent relever de l’article 22 lorsque le résultat produit un effet significatif ou joue un rôle déterminant dans la décision finale.
Ce n’est pas le secteur d’activité qui compte, mais le degré d’automatisation, les données utilisées et les conséquences sur les personnes.
Commencez par cartographier les décisions automatisées de votre organisation.
Identifiez les processus dans lesquels un système décide seul, ou dans lesquels l’intervention humaine reste purement formelle, lorsqu’une personne peut être significativement affectée. Examinez ensuite le fondement juridique de chaque décision et les garanties mises en place.
Cette cartographie constitue le point de départ de la mise en conformité. Elle révèle souvent des décisions automatisées que l’organisation n’avait pas encore identifiées comme telles.
