DeepMind domine deux joueurs pro de Starcraft II, mais il y a (quand même) de l’espoir pour l’humanité

On savait que l’intelligence artificielle (IA) de DeepMind, firme britannique rachetée par Google, était déjà douée pour les échecs ou le jeu de Go. Elle se débrouille plutôt pas mal sur le jeu vidéo également. Jeudi soir, DeepMind a présenté le résultat du travail de sa nouvelle IA entraînée sur le très exigeant jeu StarCraft II*. Et deux joueurs pro en ont fait les frais. 

Dès 2016, DeepMind avait annoncé vouloir faire plancher son IA sur ce jeu de stratégie qui demande des réflexes et de la réflexion en temps réel –et non au tour par tour comme avec les échecs ou le jeu de Go- pour avoir conscience de la tactique adverse tout en élaborant la sienne. En accord avec Blizzard, l'éditeur, un environnement de préparation avait été conçu. Un peu plus de deux ans plus tard, le succès est sans appel pour AlphaStar, la nouvelle IA de DeepMind.

Pour y parvenir, le Supercalculateur de Google a visionné quelque 3.500  matches en trois jours pour former l'un de ses agents du jeu. Une technique d’apprentissage profonde (deep learning) qui lui a ensuite permis de cloner son joueur pour créer une ligue, comme en compte StarCraft II, et faire s’entraîner ces clones en continu afin d’affiner leur compréhension des stratégies et règles.

Comme pour les véritables compétitions, AlphaStar a pu sélectionner ses cinq meilleurs éléments (ou agents dans StarCraft II) à l’issue d’une semaine intensive d’affrontements. L’IA a passé l’équivalent de 200 ans à s’entraîner en accélérer. En décembre, les agents se sont ensuite confrontés à un premier joueur pro de StarCraft II, TLO. Victoire sans appel 5-0 pour AlphaStar malgré un temps de réaction ralenti par les développeurs à un niveau "humain" (300-350 ms en moyenne pour le temps d’analyse, de décision et d’action, comme un humain). 

Les agents de DeepMind ont ensuite procédé à une  nouvelle semaine d’entraînement (200 ans de nouveau en accéléré) avant de se frotter à un nouveau joueur, MaNa. Mais le résultat fut le même pour l’IA (5-0). "Je ne m’attendais pas à ce que l’IA soit aussi douée", explique MaNa. "Tout ce qu’elle a fait était parfait, calculé et bien réalisé. Je pense que j’ai beaucoup appris. Je me considérais comme un bon joueur, mais j’ai perdu tous les matches." Les deux joueur pro ont été impressionnés par la tactique déployée par leur adversaire, capable de  modifier son plan d'attaque à chaque partie et de faire de la micro-gestion d'unités de combat (scinder ses troupes pour attaquer à plusieurs endroits en même temps et faire des roulements de troupes), ce qui n'arrive quasiment jamais sur StarCraft.

Parmi les avantages constatés en faveur de l’IA de DeepMind : la vision globale de la machine qui n’est pas restreinte à la taille de l’écran pour le joueur pro, la précision de ses clics par rapport au doigt humain même aguerri. Lors de la conférence de présentation, un nouveau match a eu lieu, avec une IA. Mais, cette fois, MaNa s’est imposé face à la machine. 

Pour le dernier match, le nouvel agent entraîné spécialement pour l’occasion n’a eu le droit qu’à un champ de vision égal à celui de son adversaire, ne lui donnant pas la capacité de voir toute la carte de jeu. Surtout, MaNa, non averti des changements de configuration de son adversaire, a changé sa stratégie. Une tactique qui a perturbé l’IA. "J’ai remis mon jeu en perspective après la première expérience", explique le joueur. "Je suis revenu à mon style de jeu qui consiste à provoquer l’erreur adverse et à exploiter des réactions humaines". Bref, quand la machine peut aider l’humain à progresser et à obtenir une réaction dont elle n'est pas encore dotée : la remise en question.

* StarCraft II  est un jeu de stratégie se déroulant au XXVIe siècle, dans le cadre d’une bataille pour la domination d’une partie de la Voie Lactée. Chaque joueur doit construire des bâtiments, créer des unités de combat, obtenir des ressources, défendre son territoire face à une faction ennemie.