FICHE · CAS DOCUMENTÉ
Ville de New York — Un chatbot public qui conseille d’enfreindre la loi
L’assistant MyCity destiné aux entreprises donnait des réponses contraires au droit du travail et du logement ; il est resté en ligne avec un avertissement.
Cas publiquement documenté, avec entreprise identifiable et source.
L’ESSENTIEL
Le cas en bref
- Le problème
- Aider les petites entreprises à s’y retrouver dans une réglementation municipale complexe.
- La réponse
- L’assistant MyCity destiné aux entreprises donnait des réponses contraires au droit du travail et du logement ; il est resté en ligne avec un avertissement.
- Le type de solution
- Agent : le système automatise certaines étapes.
- Le résultat clé
- En mars 2024, The Markup a montré que le chatbot affirmait qu’un employeur pouvait prélever une part des pourboires ou qu’un propriétaire pouvait refuser des locataires aidés, ce que la loi interdit.
Le mécanisme / workflow
- HumainPoser une question réglementaire
- AgentRépondre à partir des sources municipales
- HumainAjouter un avertissement
Données et entrées
- Pages officielles de la ville
Outils nommés · voir la carte des outils
Outils et systèmes cités par la source
- Azure AI
Impact observé ou attendu
Résultats rapportés par la source
- RAPPORTÉEn mars 2024, The Markup a montré que le chatbot affirmait qu’un employeur pouvait prélever une part des pourboires ou qu’un propriétaire pouvait refuser des locataires aidés, ce que la loi interdit.
- RAPPORTÉLa ville a maintenu le service en ajoutant qu’il ne fallait pas utiliser ses réponses comme un conseil juridique.
Valeur attendue dans la fiche
- QualitéSimplifier l’accès à la réglementation.
Type d’impact envisagé
- service public
- risque juridique pour les usagers
Pour se lancer · estimation Acolyte
Ce qu’il faut réunir
- Données : Pages officielles de la ville
Délai : estimation d’après la complexité (aucune durée citée par la fiche). Grille estimée par Acolyte à partir de la fiche ; elle se vérifie avec vos données et vos équipes. Le Diagnostic Data & IA ↗
Et dans une PME ? · estimation Acolyte
Pour une PME qui répond à des questions réglementaires (cabinet, fédération, chambre consulaire), la leçon est de vérifier la justesse avant de publier.
- Restreindre l’assistant aux textes officiels et afficher la source de chaque réponse
- Tester les questions où une erreur expose le client à une infraction
- Préférer ne pas répondre plutôt que répondre faux
Un avertissement ne protège pas d’une réponse fausse. Transposition proposée par Acolyte, pas un résultat de la source.
ANALYSE
Ce qu’il faut en retenir
- Une réponse fausse venant d’une source officielle est plus dangereuse qu’une réponse fausse ordinaire.
- Un avertissement ne corrige pas une réponse fausse : il faut évaluer avant et après la mise en ligne.
Limites et risques
- Usagers induits en erreur par une source officielle
- L’enquête repose sur des tests de journalistes, pas sur une mesure du taux d’erreur global.
- Réponses inexactes sur des règles juridiques précises
- Mise en ligne sans évaluation sur les questions sensibles
Cadre réglementaire · lecture indicative
Transparence
L’IA échange directement avec des personnes : il faut leur dire qu’elles s’adressent à une IA (article 50, applicable depuis le 2 août 2026). Si elle publie des contenus générés, ils doivent être signalés.
Lecture indicative d’Acolyte, pas un avis juridique. Comprendre les niveaux de risque →
Résultats et sources
Preuve et source
The MarkupOuvrir la source ↗Résultat rapporté par la source.PROVENANCE
Source publique
https://themarkup.org/artificial-intelligence/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-lawCONFIANCE
ÉlevéeET CHEZ VOUS ?
Ce que HOCUS ferait ici
Un cas publié ne se recopie pas : il se transpose à vos données, vos équipes et vos contraintes.
Vérifier que ce cas a du sens chez vous, avec quelles données, et ce qu’il rapporterait.
Découvrir ↗2 · ATELIERStringsStrings conçoit des agents et des chaînes automatisées, avec leurs permissions et leurs points de validation.
Voir ↗3 · EN PARLERÉcrire à HOCUSUne question sur ce cas ou sur votre situation.
hello@hocus.works ↗