d

01 juil. 2018 - Scribble Dota 2

OpenAI Five, l'IA à 25 doigts qui veut dominer Dota 2

OpenAI Five, l'IA à 25 doigts qui veut dominer Dota 2

Dans une note de blog, l’organisme de recherche en intelligence artificielle (IA) OpenAI annonce avoir franchi une étape cruciale en la matière. Son programme OpenAI Five est effet parvenu à battre une équipe de cinq joueurs.

Et si la création d’une IA efficace et prétendument bénéfique à l’homme passait par le jeu vidéo ? OpenAI, l’association fondée par Elon Musk en vue de concevoir des intelligences artificielles qui ne soient pas (trop) nocives à l’Homme, a peut-être élaboré une charte pour que l’IA ne cause aucun mal aux humains, elle n’est pas contre un passage à tabac vidéo-ludique en règle.

Dans une note de blog publiée le 25 juin, OpenAI, explique comment elle est parvenue à terrasser plusieurs équipes non professionnelles de Dota 2, et ce, sans aucun joueur. Du moins, sans aucun joueur humain. Ce sont en effet cinq intelligences artificielles, ou plus exactement cinq réseaux de neurones, qui sont venus à bout d’une équipe de joueurs amateurs de Dota 2.  Pour y parvenir, le programme, baptisé « OpenAI Five », s’est entraîné l’équivalent de 180 années à jouer contre lui-même, au moyen de techniques d’apprentissage par renforcement, une des briques de l’apprentissage automatique.

Un extraordinaire terrain d’expérimentation

Comme pour StarCraft II, l'intérêt d’un jeu vidéo tel que Dota 2 pour la recherche en intelligence artificielle réside dans sa complexité, son évolutivité et son imprévisibilité. En effet, pour avancer dans Dota 2, il convient de réaliser une grande diversité de tâches, parfois en quasi-simultané et il faut nécessairement prioriser. Les parties sont en outre relativement longues : une moyenne de 45 minutes à raison de 30 frames par secondes. Elles offrent donc une multiplicité de scénarios et d’actions. D’après OpenAI, son programme doit réaliser 20 000 actions par partie, tandis « qu’une partie d’échecs se termine généralement en 40 coups et le jeu de Go en 150 coups ». Aussi, ont-ils constaté que le programme avait une moyenne de 150-170 actions par minute, sur un maximum hypothétique de 450 APM et un temps de réaction d'environ 80 ms. De même – et à l’inverse de ces deux jeux de réflexion – Dota 2 comporte une part d’inconnu du fait de son brouillard de guerre. Les unités ne disposent que d’une vision limitée et donc d’un nombre d’informations restreint. « Le jeu implique de produire des inférences sur la base de données incomplètes tout en tentant de modéliser ce que l’adversaire est en train de faire » expliquent les chercheurs dans la note.

Un exercice d’autant plus difficile que de nombreux facteurs entrent en jeu : chaque héros dispose d’une douzaine d’actions, des attaques avec différentes portées, cool down, durées, etc. Résultat, OpenAI estime que pour chaque action à un instant T, il existe environ 1000 possibilités.
 


 

Principal défi : la coordination

Composer avec cette multitude de facteurs n’est en rien propre à Dota 2. Les concepteurs d’IA pour StarCraft font face aux mêmes contraintes. Cette expérience est toutefois inédite, car elle repose sur la coordination entre les cinq héros joués par un même programme et ce, sans recourir à « un canal de communication explicite entre les réseaux de neurones de chacun des héros ». Au lieu de ça, les développeurs ont privilégié un « hyper-paramètre » qu’ils ont judicieusement baptisé « Team Spirit ». Celui-ci évalue, dans une situation donnée, le degré de récompense tiré d’une action à titre individuel, opposé au degré de récompense à titre collectif. Autrement dit, l'hyper-paramètre permet à chacun des héros de privilégier l’esprit d’équipe par-dessus son intérêt propre lorsque cela est opportun (coucou vils humains).

Alors que l’an dernier, OpenAI avait publié ses résultats dans des matchs en 1v1, l’annonce du 25 juin, faisant la part belle à la coopération, marque un progrès significatif. « Toute la difficulté réside justement dans la coopération, car la coopération inter-IA est une question importante, mais encore très peu abordée dans la recherche » explique Florian Richoux, chercheur au Laboratoire des Sciences du Numérique de Nantes et concepteur d’IA pour StarCraft. « Des IA qui apprennent à jouer et coopérer sur un jeu comme Dota 2, c’est une belle prouesse » poursuit-il, tout en nuançant cette portée par « les conditions de jeu » fortement cadrées par OpenAI.
 

 

On the road to success

L’équipe derrière OpenAI Five s’est fixée une ambitieuse feuille de route. Première étape, franchie le 15 mai, le programme devait battre la meilleure équipe de joueurs parmi les employés d’OpenAI, soit un MMR de 2,5 k, contre laquelle OpenAI Five a fait match nul. Deuxième étape, franchie le 6 juin, le programme a remporté l’intégralité de ses matchs joués contre des équipes un poil plus coriaces. Enfin, plus récemment, l'association a organisé des matchs contre une équipe amateur à 4,2 k MMR et une autre semi-pro à 5,5 k MMR, et il s’avère que contre toutes attentes, l’IA a remporté deux des trois parties jouées contre chacune d’entre elles.

Ces parties leur ont permis d'identifier aussi bien les points faibles que les points forts de leur IA. Par exemple, les chercheurs ont observé qu'OpenAI Five abandonnait bien trop souvent sa safe lane dans le but de contrôler celle de son adversaire, forçant de fait à engager l'ennemi en terrain désavantageux. Côté bonnes tactiques, le programme avait tendance à entrer plus rapidement dans le mid-game que les humains, il lui arrive de dévier du style de jeu standard, par exemple en faisant plus rapidement monter ses héros de soutien, lui permettant in fine de prendre l'avantage sur son adversaire. 

Si les chercheurs se sont limités à des amateurs et à des parties jouées dans un environnement relativement contraignant (pas d’invisibilité, pas d’invocation ni d'illusion, pas de scan…), ils prévoient déjà d’affronter les meilleurs joueurs de la planète lors du tournoi The International, qui se tiendra en août 2018. Et un premier match de test est d’ores et déjà prévu pour le 28 juillet.

Après DeepBlue en 1997 et AlphaGo en 2016, OpenAI Five marquera-t-il à son tour l’histoire – à tout le moins médiatique – de l’intelligence artificielle ? Le sort en est jeté.

 

Poster un commentaire

Vous devez être connecté pour pouvoir poster un commentaire.