Gare au gorille algorithmique

Souvenez-vous. Il y a déjà 6 ans, en 2015, c’est l’algorithme de reconnaissance d’images de Google Photos qui « identifiait » la photo d’un couple afro-américain comme un couple de gorilles. Deux ans plus tard, une enquête de Wired montrait que pour « corriger » cette erreur, Google avait en fait supprimé les mots « gorille », « singe », « chimpanzé » de sa base lexicale de mots-clés. Casser le thermomètre en cas de forte fièvre. Effacer les symptômes de la maladie plutôt que de chercher un remède.

Cela fait longtemps que je chronique ici ainsi que dans mes cours cet ensemble de dérives que l’on continue de présenter comme « algorithmiques » mais qui sont avant tout des dérives et des erreurs … humaines. Comme on dit en latin de cuisine dans la Silicon Valley : »Errare Humanum est. Perseverare Algorithmum.« (l’erreur est humaine, et si ça se voit trop on dira que c’est la faute des algorithmes).

Oui mais voilà : aucun algorithme n’associe jamais la photo d’un homme ou d’une femme noire à une photo de gorille ou de primate. Aucun. Jamais.

Par contre le racisme se manifeste dans les algorithmes comme il se manifeste dans la société. Non pas parce que « la société » ou « les algorithmes » sont racistes mais parce qu’il existe des individus racistes dans la société qui programment des algorithmes. Première raison.

Et parce qu’en termes de représentation, les personnes noires sont moins bien reconnues par les algorithmes de reconnaissance d’image comme par la société. Parce que là encore elles sont victimes d’une forme indirecte mais structurelle de racisme qui fait que, par exemple, les bases de données de reconnaissance faciale sont majoritairement composées de photos d’hommes et de femmes blanches, et que les algorithmes et autres intelligences « s’entraînent » sur des corpus qui sont donc biaisés, et qu’au final on reproduit les formes de racisme qui traversent nos sociétés. Deuxième raison.

La suite ici : Gare au gorille algorithmique