Google poursuit un père après avoir scanné ses photos et qualifié une photo de son enfant malade d’abus pédophile

L’IA de Google chargée d’examiner les images envoyées par les utilisateurs par le biais de l’application de messagerie Android, qui vise à détecter et à signaler les médias contenant du matériel pédopornographique (CSAM), a bloqué le compte d’un père après avoir pris une photo d’une infection dans l’aine de son fils pour l’envoyer à son médecin tel que rapporté par le parent lui-même à Le New York Times.

Le père, nommé Mark, a envoyé l’image à la demande d’une infirmière en février 2021. À cette date, certains centres de santé aux États-Unis maintenaient les visites de télémédecine, même si les restrictions dues à la pandémie s’étaient allégées. L’infirmière, après avoir évalué l’image et effectué une visite par appel vidéo avec l’adulte, a pu prescrire des antibiotiques visant à guérir l’infection. Ceci, en particulier, était dans la zone génitale que le petit garçon.

Google, quant à lui, a envoyé une notification à Mark deux jours après la prise de la photo. Dans cette notification, l’entreprise a prévenu qu’elle avait détecté un « contenu préjudiciable » qui constituait « une violation grave des règles de Google et pouvait être illégal. » Les comptes du père ont été immédiatement bloqués après l’avertissement. Google a automatiquement transmis le rapport au National Center for Missing and Exploited Children (NCMEC) pour une enquête plus approfondie.

Mark assure TNY que Google a bloqué votre compte lui a fait perdre l’accès à tous les services et plateformes liés à son utilisateur. Il s’agissait de son courrier électronique, de ses contacts, de ses images et même de son numéro de téléphone, puisque son père utilisait Google Fi, le MVNO de l’entreprise.

👉​A lire également  WhatsApp permet désormais à tous les utilisateurs de transférer les discussions d'Android vers iOS : guide étape par étape

Le système de Google pour détecter les images d’abus sexuels sur des enfants ne convainc pas les utilisateurs et les experts

Mark aussi a fait l’objet d’une enquête de la police de San Francisco en décembre 2021. L’affaire a toutefois été classée après que la police, sur la base des preuves présentées, a conclu qu’aucun crime n’avait été commis.

Le cas de Mark est toutefois une preuve supplémentaire des inconvénients du système de détection des abus sur les enfants que des entreprises telles que Google et Apple utilisent ou utiliseront à l’avenir. Celle-ci fonctionne notamment au moyen d’un système d’intelligence artificielle, qui est analyse les images envoyées par le message pour trouver des correspondances avec la base de données de hachage du Centre national pour les enfants disparus et exploités. En cas de découverte, une personne examinera ces images pour les classer dans la catégorie des MSC, bloquer le compte et ouvrir une enquête. Les citoyens et les experts estiment toutefois que cette méthode constitue une atteinte à la vie privée des utilisateurs.

Google, cependant, a assuré The Verge que l’équipe d’experts chargée d’examiner les images consulte également des pédiatres afin de « identifier les cas où les utilisateurs pourraient demander un avis médical. » L’image de Mark montrant l’infection de son fils a cependant été signalée directement au NCMEC.