Le robot-test chargé de trier les CV éliminait les femmes : comment Amazon a dû débrancher son DRH virtuel

C’est beau le futur. L’Intelligence artificielle qui doit nous remplacer. Et faire notre job en mieux. Et si c’était pire, au final, que dans la réalité ? Amazon a ainsi eu de belles sueurs froides avec... celui qu'il espérait "nommer" comme nouveau DRH. 

Le géant de la vente en ligne avait en fait décidé d’utiliser un programme de ressources humaines entièrement automatisé. Une évidence, quand on sait que le succès de cette entreprise repose sur l’automatisation à toutes les étapes de son fonctionnement, de la commande aux entrepôts, ou à la fixation des prix. Une manière d’être aussi encore plus efficace : un robot recruteur pouvait, sur le papier, regarder un nombre incalculable de CV et recracher, quelques minutes après, les meilleurs. Une équipe de Seattle a commencé à travailler sur le programme en 2014.

Sauf que tout ne s’est pas vraiment passé comme prévu : il s’est avéré, selon l’agence Reuters qui rapporte l’histoire, qu’Amazon s'est aperçu que ce DRH intelligent artificiellement était... misogyne. Les développeurs ont en effet découvert en 2015 que le robot avait tendance à retirer les CV comportant le mot "femmes", comme celui d'une candidate qui avait marqué "capitaine de club d’échecs pour femmes". Des CV faisant mention de deux universités entièrement féminines américaines ont également été recalés. 

En fait, l’algorithme utilisé par Amazon pour son intelligence artificielle utilisait la technique du "machine learning" : il se basait donc sur des données pré-existantes et les reproduisait pour prendre les meilleures décisions possibles. Et les modèles informatiques ont été élaborés en observant les modèles de CV soumis à Amazon depuis les 10 dernières années. Et la plupart venaient d’hommes, reflétant le peu de diversité à l’époque, dans l’industrie des technologies. L'IA a donc reproduit les comportements humains. Les chercheurs ont tenté de modifier le programme  pour le rendre "neutre" sur ces termes. Mais aucun moyen ne garantissait que les machines ne trouveraient pas d'autres critères, tout aussi discriminatoires, pour trier les candidats.

Le projet a donc été dissous en début d’année, avant même sa mise en ligne. Amazon a refusé d commenter la nouvelle, mais précisé que cet outil n’avait "jamais été utilisé par les recruteurs d’Amazon pour évaluer les candidats". 

Le DRH virtuel est donc mort-né. Mais l’expérience a de quoi faire réfléchir sur les limites de l’apprentissage automatique, alors que de plus en plus de grandes entreprises, comme le groupe Hilton Worldwide Holdings ou Goldman Sachs, cherchent à automatiser les processus de recrutement. Un sondage réalisé en 2017 par la société de développement de logiciels CareerBuilder indiquait par exemple qu’environ 55% des responsables américains des ressources humaines estimaient que l'intelligence artificielle ferait bientôt partie de leur travail habituel.