AI in Video Games
The video could not be loaded here. Watch on YouTube and follow the transcript below.
J’ai travaillé pendant 7 ans dans l’industrie du jeu vidéo. Et il y a une chose qui m’a
I worked for 7 years in the video game industry. And there's one thing that
Transcript
J’ai travaillé pendant 7 ans dans l’industrie du jeu vidéo. Et il y a une chose qui m’a
I worked for 7 years in the video game industry. And there's one thing that
surpris au début, c’est l’usage qu’on y faisait du terme IA. D’habitude quand on
surprised me at first, it's the use of the term AI there. Usually when we
parle d’intelligence artificielle, on pense réseaux de neurones, deep learning, modèles
talk about artificial intelligence, we think neural networks, deep learning, language
de langage… Mais quand on parle de l’IA d’un jeu, ça désigne généralement bien autre chose.
models... But when we talk about a game's AI, it generally means something quite different.
[PNJ Ce qu’on appelle « intelligence artificielle » dans le jeu vidéo, c’est l’ensemble
[NPC What we call 'artificial intelligence' in video games is the set
des systèmes qui gèrent les comportements des ennemis, des alliés, des passants.
of systems that manage the behaviors of enemies, allies, passersby.
Tout ce qu’on regroupe parfois sous le terme de « personnage non-joueur » ou PNJ. C’est-à-dire
Everything we sometimes group under the term 'non-player character' or NPC. That is,
toutes les entités autonomes qui peuplent les univers virtuels dans lesquels on joue.]
all the autonomous entities that populate the virtual worlds we play in.]
Et pour donner vie à tous ces PNJs, les développeurs n’utilisent généralement
And to bring all these NPCs to life, developers generally don't use
pas des réseaux de neurones, mais ils s’appuient sur des techniques
neural networks, but they rely on techniques
qui sont en fait assez différentes de celles de l’intelligence artificielle
that are actually quite different from those of modern
moderne. Et c’est de cela dont je vais vous parler aujourd’hui.
artificial intelligence. And that's what I'm going to talk to you about today.
Petite autopromo, si je vous parle de ça, c’est notamment parce que je sors un livre
Small self-promo, if I'm talking about this, it's partly because I'm releasing a book
consacré à la science des jeux vidéo. Ca s’appelle « Le labo du jeu vidéo »,
dedicated to the science of video games. It's called 'The Video Game Lab',
et j’y parle de graphisme, de physique, d’IA, de probabilités, d’économie ou encore de psychologie.
and I talk about graphics, physics, AI, probabilities, economics, and also psychology.
Et j’y explique comment toutes ces disciplines scientifiques interviennent à différents
And I explain how all these scientific disciplines come into play at different
moments de la création d’un jeu vidéo. Je vous en dit plus à la fin de l’épisode !
stages of creating a video game. I'll tell you more at the end of the episode!
Pour comprendre comment fonctionne l’IA des jeux vidéo, il n’est pas inutile de commencer par un
To understand how video game AI works, it's not useless to start with a
bref panorama historique de ce qu’on appelle l’intelligence artificielle. Tout d’abord,
brief historical overview of what's called artificial intelligence. First of all,
l’IA c’est une discipline presque aussi ancienne que l’informatique. Et son objectif en général,
AI is a discipline almost as old as computer science. And its general goal is
c’est de faire réaliser par une machine des tâches cognitives généralement réalisées par des humains.
it's about having a machine perform cognitive tasks generally done by humans.
Dès les années 1950, à partir du moment où la programmation permettait d’utiliser
From the 1950s, once programming allowed using
des fonctions conditionnelles du genre if then , on a pu concevoir
conditional functions like if then, we could design
des programmes informatiques capables de simuler de façon sommaire des comportements de décision,
computer programs capable of roughly simulating decision behaviors,
tels que les humains pourraient les prendre. Il suffisait de cartographier
like those humans might make. You just had to map out
comment les humains s’y prenaient et de répliquer ça dans le programme.
how humans did it and replicate that in the program.
[SCHEMA Ca a été la naissance de ce qu’on appelé l’IA symbolique.
[DIAGRAM That was the birth of what was called symbolic AI.
« Symbolique » ça veut dire en gros que tout ce qu’on veut que la machine effectue,
"Symbolic" basically means everything we want the machine to do,
on l’a explicitement programmé. Ou du moins on arrive à le relier à des consignes précises qu’on
is explicitly programmed. Or at least we can link it to precise instructions we
aura volontairement implémenté, généralement avec l’aide d’un expert du domaine concerné.]
have deliberately implemented, usually with help from an expert in the field.]
[ELIZA Un exemple fameux d’IA symbolique, c’est le chatbot Eliza, conçu en 1966,
[ELIZA A famous example of symbolic AI is the chatbot Eliza, designed in 1966,
plus de 50 ans avant ChatGPT, donc, et qui pouvait faire illusion pendant
more than 50 years before ChatGPT, then, and which could be convincing for
quelques tours de conversation. Il analysait les entrées de l’humain,
a few turns of conversation. It analyzed the human's inputs,
reformulait des questions bateau, et tout ça en suivant des règles précises.]
rephrased generic questions, all by following precise rules.]
En parallèle des approches symboliques, des chercheurs ont commencé à developper ce qu’on
In parallel to symbolic approaches, researchers began developing what
a appelé le machine learning, l’apprentissage automatique. L’idée ici c’est de faire en sorte
became known as machine learning. The idea here is to make
qu’un programme informatique arrive à effectuer une tâche cognitive non pas parce qu’on lui
a computer program perform a cognitive task not because we've
aura dit explicitement comment s’y prendre, mais parce qu’on lui aura montré beaucoup d’exemples.
explicitly told it how to, but because we've shown it lots of examples.
C’est comme ça que fonctionnent par exemple les réseaux de neurones,
That's how neural networks work, for instance,
qui sont si populaires aujourd’hui. Notons tout de même qu’ils ont connu
which are so popular today. Let's note though that they have known
une histoire mouvementée puisqu’après leur invention dans les années 60 et 70,
A turbulent history, since after their invention in the 60s and 70s,
ils ont été peu à peu quasiment abandonnés. Et puis ils ont fait un come-back fracassant
they were gradually almost abandoned. Then they made a striking comeback
à partir de 2012 via ce qu’on appelle le deep learning, les réseaux de neurones profonds.
starting in 2012 via what's called deep learning, deep neural networks.
Si les réseaux de neurones se sont soudainement mis à fonctionner, c’est pour plusieurs raisons.
If neural networks suddenly started working, it's for several reasons.
Les progrès algorithmiques bien sûr. La disponibilité de grandes quantités
Algorithmic progress of course. The availability of large amounts
de données pour les entrainer, merci Internet.
of data to train them, thanks to the Internet.
Mais il y a eu aussi un facteur déterminant: l’utilisation des cartes graphiques.
But there was also a decisive factor: the use of graphics cards.
Des processeurs qui avaient été initialement conçus pour optimiser les graphismes des jeux
Processors initially designed to optimize game graphics
vidéo, et qui se sont révélés très adaptés aux opérations mathématiques
turned out to be very suited to the mathematical operations
demandées par l’entrainement des réseaux de neurones profond. D’une certaine façon,
required for training deep neural networks. In a way,
sans les jeux vidéo, l’IA qu’on connait aujourd’hui n’aurait jamais pu exister.
without video games, the AI we know today could never have existed.
Pour résumer, il faut bien avoir en tête cette distinction entre le machine learning,
To summarize, you need to keep in mind this distinction between machine learning,
qui représente l’essentiel de l’IA moderne, et les approches symboliques qui ont initialement dominé,
which represents most of modern AI, and symbolic approaches that initially dominated,
mais qu’aujourd’hui beaucoup moins de gens utilisent. Parfois dans le milieu,
but far fewer people use today. Sometimes in the field,
l’IA symbolique on appelle ça « Good Old Fashioned AI », la bonne vieille IA traditionnelle.
symbolic AI is called "Good Old Fashioned AI", the good old traditional AI.
Mais pour les PNJs des jeux vidéo, et c’est ce qui m’a surpris donc ,quand j’ai commencé
But for video game NPCs, and this is what surprised me when I started
à travailler dans le domaine il y a 8 ans, c’est quasiment toujours de la bonne vieille
working in the field 8 years ago, it's almost always the good old
IA traditionnelle qu’on utilise. Le jeu vidéo est un des domaines qui repose encore
traditional AI that's used. Video games are one area that still relies
majoritairement sur de l’IA symbolique, et on va voir qu’il y a de très bonnes raisons pour ça.
mostly on symbolic AI, and we'll see there are very good reasons for that.
La forme la plus classique d’IA dans le jeu vidéo,
The most classic form of AI in video games,
c’est pour gérer les adversaires. Si c’est un jeu solo on a généralement besoin d’opposition,
It's for managing opponents. If it's a solo game, you generally need opposition,
et il faut donc faire se comporter le ou les ennemis de façon au moins un peu
and so you have to make the enemy or enemies behave at least somewhat
intelligente. La méthode la plus simple sur le papier, c’est d’utiliser un arbre de décision.
intelligently. The simplest method on paper is using a decision tree.
[ARBRE Vous écrivez une série de conditions pour distinguer dans quelle situation le PNJ se trouve,
[TREE You write a series of conditions to distinguish which situation the NPC is in,
et ces conditions vont être vérifiées de façon successives, pour déterminer
and these conditions are checked successively, to determine
quel comportement l’ennemi va adopter. En fonction de sa position, de son état,
which behavior the enemy will adopt. Based on its position, its state,
de ce qu’il sait de vous, des circonstances etc. C’est super simple à implémenter,
what it knows about you, circumstances, etc. It's super simple to implement,
c’est juste des séries de if/then. Et on a une maitrise totale de ce qu’il va se produire.]
it's just a series of if/then. And you have total control over what will happen.]
Cette technique elle peut marcher par exemple pour un jeu au tour par tour. L’ennemi doit décider
This technique can work, for example, for a turn-based game. The enemy must decide
quel déplacement ou quelle attaque effectuer. On peut calculer plein de choses, prendre en
which move or attack to perform. You can calculate many things, take into
compte des tas de conditions, ça fonctionne. Mais pour un jeu en temps réel, c’est pas terrible.
account lots of conditions, it works. But for a real-time game, it's not great.
Les jeux vidéo modernes tournent à 30 ou 60 images par secondes. Les fameux FPS.
Modern video games run at 30 or 60 frames per second. The famous FPS.
60 images par secondes, ça veut dire que toute la logique du jeu est réappliquée en boucle, environ
60 frames per second means that all the game logic is reapplied in a loop, about
toutes les 16ms. Toutes les 16 ms, le code du jeu calcule les graphismes, les animations, les sons,
every 16ms. Every 16ms, the game code calculates graphics, animations, sounds,
gère les contrôles et l’interface, et doit donc décider du comportement des ennemis. Si on utilise
handles controls and interface, and must therefore decide enemy behavior. If you use
un arbre de décision pour ça, ça veut dire qu’on doit le reparcourir entièrement toutes les 16ms.
a decision tree for this, it means you have to traverse it entirely every 16ms.
Alors déjà ça peut être coûteux en temps de calcul si les arbres sont grands et qu’il y
Now, that can already be costly in computation time if the trees are large and there
a beaucoup d’entités à gérer. Mais surtout ça fait qu’il n’y a aucune logique de continuité
are many entities to manage. But above all, it means there's no logic of continuity
dans les comportements. Toutes les 16ms, notre PNJ va potentiellement faire un truc différent,
in behaviors. Every 16ms, our NPC might potentially do something different,
sans cohérence, sans mémoire de ce qui a été fait avant. Comme s’il rebootait son
without coherence, without memory of what was done before. As if it rebooted its
raisonnement 60 fois par seconde. Et pour un jeu en temps réel, c’est assez moyen.
Reasoning 60 times per second. And for a real-time game, that's pretty average.
Une façon plus efficace dans ce cas, c’est d’utiliser ce qu’on appelle des machines à
A more efficient way in this case is to use what are called finite-state
états finis. Il s’agit d’un modèle de calcul qui a été étudié en informatique théorique, et qui
machines. It's a computational model studied in theoretical computer science, and it's
est très utilisé en automatique industrielle, par exemple pour gérer le comportement d’un ascenseur.
widely used in industrial automation, for example to manage the behavior of an elevator.
[FSM Pour gérer un PNJ avec une machine à états finis, on définit un certain nombre
[FSM To handle an NPC with a finite-state machine, you define a certain number of
d’états dans lesquels notre personnage peut se trouver. Par exemple pour un ennemi,
states in which our character can be. For example, for an enemy,
il peut être passif, en alerte, en train de nous poursuivre ou bien en train de
it can be passive, alert, chasing us, or busy
nous attaquer. L’état dans lequel se trouve notre personnage va dicter son comportement.
attacking us. The state our character is in will dictate its behavior.
Et puis on définit des règles de transition entre les états : quels sont les événements
Then you define transition rules between states: what events
ou les situations qui peuvent amener le PNJ à passer d’un état à un autre. Par
or situations can make the NPC move from one state to another. For
exemple si l’ennemi vous entend, il peut passer de passif à alerté. S’il vous voit,
example, if the enemy hears you, it can go from passive to alert. If it sees you,
il passe de alerté à poursuite. S’il est à portée de vous il vous met en joue, etc.
it moves from alert to chasing. If you're in range, it aims at you, etc.
L’intérêt de ce système, c’est qu’il fournit une continuité : le PNJ reste a priori dans l’état où
The benefit of this system is that it provides continuity: the NPC generally stays in the state it
il se trouvait avant, sauf s’il se passe quelque chose de significatif qui le pousse à changer
was in before, unless something significant happens to push it to change
d’état. Et le code du jeu a juste à déclencher les transitions quand c’est nécessaire.]
state. And the game code just has to trigger transitions when needed.]
[PAC MAN Un jeu vidéo célèbre qui a popularisé ce modèle de comportement, c’est le bon vieux PacMan.
[PAC-MAN A famous video game that popularized this behavior model is good old Pac-Man.
Les ennemis sont les 4 fantômes, et ils ont 3 états possibles : en chasse, effrayé, donc
The enemies are the 4 ghosts, and they have 3 possible states: hunting, scared, so
en fuite, ou bien neutralisé, donc en déroute. De base il sont en chasse, il essayent de vous
fleeing, or neutralized, so retreating. By default they're hunting, they try to
choper. Si vous mangez une super Pac-gomme, il passent dans l’état « effrayé » et se mettent à
catch you. If you eat a power pellet, they switch to the 'scared' state and start
fuir. Et si vous les croquez, ils deviennent « en déroute » et retournent dans leur coin d’origine.]
fleeing. And if you chomp them, they become 'retreating' and return to their corner.]
Chaque fantôme du jeu a des règles de chasse différentes des autres, mais la machine à états
Each game ghost has hunting rules different from the others, but the finite state machine
finis est essentiellement la même. Dans le cas de PacMan, c’est vraiment une implémentation simple,
is essentially the same. In Pac-Man's case, it's really a simple implementation,
mais des tas de jeux ont poussé assez loin l’utilisation de cette technique. On
but lots of games have pushed this technique quite far. One
peut ajouter par exemple des transitions probabilistes pour avoir de la variété,
can for example add probabilistic transitions for variety,
surveiller tout un tas de conditions différentes, etc.
monitor a whole bunch of different conditions, etc.
[DOOM Le shooter DOOM sorti en 1993 a aussi utilisé une version plus sophistiquée des
[DOOM The shooter DOOM released in 1993 also used a more sophisticated version of
machines à états finis, avec 8 états de base et un certains nombres de
finite state machines, with 8 base states and a certain number of
sous-conditions permettant de gérer tout un tas de variétés d’ennemis.
sub-conditions to manage a whole range of enemy varieties.
Mais c’est certainement le mythique Half-Life 2, sorti en 1998, qui aura poussé le plus loin
But it's certainly the legendary Half-Life 2, released in 1998, that pushed the
la méthode des machines à états finis, en donnant notamment à cette technique des sous-structures
finite state machine method the furthest, notably giving this technique sub-structures
à chaque état pour favoriser le réalisme et la finesse des comportements des ennemis.]
to each state to promote realism and finesse in enemy behaviors.]
Il faut dire qu’un des défauts de cette méthode, c’est qu’elle supporte assez mal la croissance
It must be said that one drawback of this method is that it handles growth poorly
du nombre d’états. Imaginez que vous vouliez prendre en compte la barre de vie du personnage,
in the number of states. Imagine you wanted to account for the character's health bar,
les armes dont il dispose, sa situation par rapport au joueur, la visibilité, etc.
the weapons they have, their situation relative to the player, visibility, etc.
[SPAGHETTI Ca fait toute une combinatoire de conditions qui conduisent à l’explosion du
[SPAGHETTI That makes a whole combinatorial of conditions that lead to the explosion of
nombre d’états et donc des transitions entre ces états. Si vous avez N états,
the number of states and thus the transitions between them. If you have N states,
vous avez a priori N^2 transitions possibles. Pour les designers et les développeurs,
you have in principle N^2 possible transitions. For designers and developers,
ça devient très difficile à lire, à débuguer et à faire évoluer.]
it becomes very hard to read, debug, and evolve.]
Plusieurs méthodes ont été imaginées, comme les machines à états hiérarchique, où chaque état
Several methods have been imagined, like hierarchical state machines, where each main
principal est lui-même une machine à états. Mais sans complètement résoudre tous les problèmes.
state is itself a state machine. But that doesn't fully solve all problems.
La solution que presque tout le monde utilise aujourd’hui est venue d’un changement de méthode,
The solution that almost everyone uses today came from a change of method,
inspiré là aussi d’algorithmes d’informatique industrielle : les arbres de comportement.
inspired there too by industrial computing algorithms: behavior trees.
[jingle]
[jingle]
Dans une publication de 2003 un chercheur en ingénierie logicielle, Geoff Dromey,
In a 2003 publication, a software engineering researcher, Geoff Dromey,
a proposé une nouvelle méthode pour formaliser la façon dont on articulait le lien entre
proposed a new method to formalize how one articulated the link between
les spécifications d’un produit et les comportements qu’il adoptait.
the specifications of a product and the behaviors it adopted.
Dans sa publication, le cas typique qu’il illustrait c’était : un four à micro-ondes.
In his publication, the typical case he illustrated was: a microwave oven.
Mais la technique a très rapidement été repérée et adaptée d’un côté par
But the technique was very quickly spotted and adapted on one side by
les roboticiens, et de l’autre par les programmeurs IA des jeux vidéo,
roboticists, and on the other by AI programmers of video games,
et notamment les développeurs du jeu Halo 2, sorti en 2005.
and notably the developers of the game Halo 2, released in 2005.
[TREE Un arbre de comportement, c’est donc un arbre, dont les feuilles sont des comportements
[TREE A behavior tree is thus a tree, whose leaves are elementary
élémentaires que votre personnage pourra adopter. Courir vers l’ennemi,
behaviors that your character can adopt. Run toward the enemy,
tirer, ouvrir une porte etc. Et les noeuds intermédiaires sont ce qu’on
shoot, open a door, etc. And the intermediate nodes are what one
appelle des noeuds de contrôle. On va prendre un exemple concret.
calls control nodes. Let's take a concrete example.
Imaginons qu’un personnage veuille rentrer dans un bâtiment et ait une porte devant lui. Que fait-il
Imagine a character wants to enter a building and has a door in front of him. What does he do
? Voici un arbre qui permet de traiter cette situation. En bas vous avez tous les comportements
? Here's a tree that handles this situation. At the bottom you have all the elementary
élémentaires. Et chaque comportement élémentaire peut se solder par un succès ou un échec.
behaviors. And each elementary behavior can end in a success or a failure.
Les noeuds de contrôle eux sont de deux types : les sélecteur et les séquenceurs.
The control nodes themselves are of two types: selectors and sequencers.
Un sélecteur va executer toutes ses branches jusqu’à en trouver une qui renvoie un succès.
A selector will execute all its branches until finding one that returns success.
Ca permet donc de lister différentes options pour réaliser la même chose. Un séquenceur
That thus allows listing different options to achieve the same thing. A sequencer
va executer toutes ses branches dans l’ordre, tant qu’elles renvoient des succès. Ca permet
It will execute all its branches in order, as long as they return successes. This allows
de décomposer un comportement en une liste de sous-comportements à enchainer pour y parvenir.
decomposing a behavior into a list of sub-behaviors to chain together to achieve it.
Voyons cet exemple, le séquenceur commence par executer l’action,
Let's see this example, the sequencer starts by executing the action,
aller à la porte. Puis il passe dans la seconde branche qui est un sélecteur. Ce sélecteur va
go to the door. Then it moves to the second branch, which is a selector. This selector will
essayer successivement 3 techniques : ouvrir la porte. Si c’est un succès, il renvoie ce
try 3 techniques in succession: open the door. If it's a success, it returns this
succès au noeud précédent qui continue dans la séquence et passe à travers la porte.
success to the previous node, which continues in the sequence and goes through the door.
Si ouvrir la porte est un échec, le sélecteur essaye l’option suivante,
If opening the door is a failure, the selector tries the next option,
qui est elle-même une séquence : déverrouiller la porte, puis ouvrir la porte. Si ça ne marche pas,
which is itself a sequence: unlock the door, then open the door. If that doesn't work,
dernière option : la défoncer. Si jamais aucune de ces 3 options ne fonctionne,
last option: smash it down. If none of these 3 options work,
le sélecteur renverra un échec et l’arbre s’arrêtera, puisque le séquenceur à la
the selector will return a failure and the tree will stop, since the sequencer at the
racine a besoin que toutes les actions fonctionnent les unes après les autres.]
root needs all actions to work one after another.
Un des grands intérêts des arbres de comportement, c’est qu’il s’accommodent très bien du fait que
One of the big advantages of behavior trees is that they handle very well the fact that
chaque comportement élémentaire peut prendre un certain temps. Donc en réalité chaque feuille
each elementary behavior can take some time. So in reality each leaf
de l’arbre, outre « succès » et « échec », peut renvoyer « en cours ». Et tant qu’une
of the tree, besides
branche est « en cours », on y reste. Ca évite d’avoir à retraverser tout l’arbre 60 fois
branch is
par seconde, et on économise pas mal de temps de calcul. Et ça évite les comportements erratiques.
per second, and saves quite a bit of computation time. And it avoids erratic behaviors.
L’autre intérêt majeur des arbres de comportement,
The other major advantage of behavior trees,
c’est leur modularité. Tout à l’heure je vous ai parlé des machines à états finis,
is their modularity. Earlier I told you about finite state machines,
et de l’explosion combinatoire des états et des transitions qui rendait leur maintenance
and the combinatorial explosion of states and transitions that made their maintenance
difficile. Avec les arbres de comportement, c’est différent. On peut facilement isoler
difficult. With behavior trees, it's different. You can easily isolate
et réutiliser des sous-arbres en les greffant sur des arbres plus grands.
and reuse subtrees by grafting them onto larger trees.
Ici vous vous doutez bien que mon exemple du franchissement de la porte n’est pas
Here you can guess that my door-crossing example isn't
le seul comportement du personnage. Mais on peut avoir dans un arbre de
the character's only behavior. But in a higher-level tree,
plus haut niveau une feuille « Franchir la porte » qui cachera en fait ce sous-arbre
we can have a leaf 'Cross the door' that will actually hide this subtree,
sur lequel on pourra travailler indépendamment de l’arbre principal.
which can be worked on independently of the main tree.
C’est plus facile à maintenir et à débuguer, et ça permet aussi de recycler des comportements qu’on
It's easier to maintain and debug, and it also lets you recycle behaviors
aura déjà programmés pour une autre situation, un autre personnage, voire un autre jeu.
already programmed for another situation, another character, or even another game.
Les arbres de comportement, c’est rapidement devenu LA technique utilisée aujourd’hui par
Behavior trees quickly became THE technique used today by
la majorité des jeux 3D temps réel : les jeux de tir, d’aventure, d’action, tous les grands jeux
most real-time 3D games: shooters, adventure, action, all the big games
dits « AAA » utilisent cette technique, qui fait maintenant partie de la panoplie des moteurs de
called 'AAA' use this technique, which is now part of the engine toolkit for
jeu pour gérer les PNJs, aussi bien les ennemis, les alliés, les passants que même les animaux.
managing NPCs—enemies, allies, bystanders, and even animals.
Malgré tout, certains jeux se sont essayés à des techniques différentes,
Still, some games have tried different techniques,
et c’est le cas notamment des Sims. Dans les Sims, votre personnage,
especially The Sims. In The Sims, your character,
ainsi que tous les personnages non-joueurs qui vous entourent,
as well as all the non-player characters around you,
ont des besoins. Le système est grossièrement inspiré de la fameuse pyramide des besoins
have needs. The system is roughly inspired by the famous hierarchy of needs
de Maslow. Besoins physiologiques, besoin de sécurité, d’appartenance, d’accomplissement, etc.
from Maslow. Physiological needs, safety, belonging, accomplishment, etc.
Une des choses qu’on sait sur cette pyramide, c’est que contrairement à ce que pensait Maslow,
One thing known about this pyramid is that, contrary to what Maslow thought,
ça n’est justement pas une pyramide hiérachisée. Très souvent les humains
it's precisely not a hierarchical pyramid. Very often, humans
n’attendent pas d’avoir complètement satisfait un besoin d’un niveau inférieur pour se soucier
don't wait until fully satisfying a lower-level need to care about
d’un autre besoin situé plus haut. Le besoin social peut être fort,
a higher-level need. The social need can be strong,
même en absence de sécurité, ou même si vous avez faim ou soif.
even in the absence of safety, or even if you're hungry or thirsty.
Pour intégrer tous ces besoins aux comportements des Sims, les créateurs du jeu se sont inspirés
To integrate all these needs into the Sims' behaviors, the game's creators drew inspiration
d’un concept issu de la micro-économie et des théories de la décision : l’utilité.
from a concept rooted in microeconomics and decision theory: utility.
Ce que les économistes appellent l’utilité d’une personne, c’est
What economists call a person's utility is
en gros son niveau de bonheur de bonheur général.
roughly their level of overall happiness.
Alors attention, le terme en français porte un peu à
Now, careful—the term in French is a bit
confusion. On parle pas de à quel point quelque chose ou quelqu’un est utile,
misleading. We're not talking about how useful something or someone is,
mais bien de son niveau de satisfaction, de son bonheur général. Pour les anglophones,
but rather their level of satisfaction, their overall happiness. For English speakers,
c’est une traduction un peu littérale de utility, qui n’est pas la même chose que usefulness.
it's a somewhat literal translation of utility, which isn't the same as usefulness.
En économie, on modélise parfois les comportements en disant que les agents humains sont rationnels,
In economics, behaviors are sometimes modeled by saying human agents are rational,
et prennent des décisions qui cherchent à maximiser leur utilité. Et c’est comme
and make decisions that seek to maximize their utility. And that's how
ça que fonctionne une partie des modélisations en microéconomie.
part of the modeling in microeconomics works.
[UTILITÉ Dans un jeu vidéo, l’utilité d’un personnage, c’est donc un nombre qui quantifie
[UTILITY In a video game, a character's utility is thus a number quantifying
à quel point il est content à un instant t. Et c’est une combinaison de à quel point ses
how happy they are at a given moment t. And it's a combination of how well their
différents besoins sont satisfaits. On peut leur affecter des coefficients et fabriquer
various needs are met. We can assign coefficients to them and create
une sorte de somme pondérée, et vous voyez que contrairement à l’idée de la pyramide,
a sort of weighted sum, and you see that unlike the pyramid idea,
tous les besoins peuvent compter simultanément dans le calcul, à des divers degrés.]
all needs can count simultaneously in the calculation, to varying degrees.]
Et donc un jeu comme les Sims calcule en permanence l’utilité de chaque personnage,
So a game like the Sims constantly calculates each character's utility,
et celui-ci, en bon agent rationnel, va à tout instant sélectionner l’action qui
and this one, as a good rational agent, will at every moment select the action that
lui permet de maximiser son utilité. S’il a un peu soif et un fort besoin de socialiser,
lets them maximize their utility. If they're a bit thirsty and have a strong need to socialize,
il va aller parler à quelqu’un. Mais s’il a très faim il va d’abord aller manger.
He will go talk to someone. But if he is very hungry he will first go eat.
Parmi toutes les actions et objets disponibles dans son environnement,
Among all the actions and objects available in his environment,
il choisit ce qui augmente au maximum sa satisfaction. Simple et efficace.
he chooses what maximizes his satisfaction. Simple and effective.
Un des inconvénients de ce système, qu’on retrouve aussi avec les arbres de comportement,
One downside of this system, also found with behavior trees,
c’est qu’ils sont essentiellement toujours dans la réaction. C’est très reptilien finalement,
is that they are essentially always in reaction. It's very reptilian ultimately,
il n’y a aucune notion de mémoire, de planification, d’objectifs de plus long terme.
there is no notion of memory, planning, longer-term goals.
Un jeu qui a essayé de dépasser cela, c’est le shooter FEAR, sorti en 2005. Dans ce jeu,
A game that tried to go beyond this is the shooter FEAR, released in 2005. In that game,
les ennemis sont capables de planifier et d’executer des tâches complexes notamment
enemies are able to plan and execute complex tasks, especially
de façon coordonnée. Le système d’IA qui gère l’ensemble a été baptisé GOAP pour Goal
in a coordinated way. The AI system managing it all is called GOAP for Goal
Oriented Action Planning, la planification des actions orientée vers un objectif.
Oriented Action Planning, goal-oriented action planning.
Dans ce système, chaque entité possède un objectif, par exemple éliminer le joueur,
In this system, each entity has a goal, for example eliminating the player,
et chaque objectif a des préconditions : avoir repéré le joueur, avoir une arme, être à portée,
and each goal has preconditions: having spotted the player, having a weapon, being in range,
etc. Et quand une précondition est satisfaite, elle contribue à débloquer la réalisation de
etc. And when a precondition is met, it helps unlock the completion of
l’action. Sauf que chaque précondition devient alors un sous-objectif en soi.
the action. Except each precondition then becomes a subgoal in itself.
[CARTE Et quand il y a beaucoup de conditions et d’objectifs, l’ensemble forme une sorte de
[MAP And when there are many conditions and goals, the whole forms a sort of
graphe qui ressemble un peu à un réseau de routes et de villes. Des villes par
graph that resembles a network of roads and cities. Cities you'd
lesquelles il faudrait passer pour arriver à l’objectif final. Une fois mis sous cette forme,
need to pass through to reach the final goal. Once put in this form,
on peut alors utiliser les algorithmes classiques de parcours dans des graphes, les mêmes que ceux
you can then use classic graph traversal algorithms, the same ones
de Google Maps ou Waze, pour mettre au point un plan qui va nous amener à l’objectif.]
as Google Maps or Waze, to devise a plan that will lead to the goal.]
Je schématise pas mal, mais l’intérêt de cette méthode c’est qu’elle favorise
I'm simplifying a lot, but the appeal of this method is that it favors
l’émergence d’enchainements d’actions par les personnages, sans que les designers
the emergence of chains of actions by characters, without the designers
n’aient eu à explicitement imaginer ces types de plan. Le personnage peut ramasser une arme,
having to explicitly imagine these types of shots. The character can pick up a weapon,
grimper une échelle, se mettre en position, et faire ces choix de façon coordonnée parce qu’il
climb a ladder, take a position, and make these choices in a coordinated way because it
aura déterminé que l’ensemble formait le meilleur plan possible pour arriver à son objectif final.
will have determined that the whole formed the best possible plan to reach its final goal.
Une chose qui vous choque peut-être dans tout ce que je viens de raconter,
Something that may shock you in all I've just told you,
c’est que les techniques que j’ai mentionnée sont toutes assez anciennes, plus de 20 ans.
is that the techniques I mentioned are all quite old, over 20 years.
Et ce sont toujours plus ou moins les mêmes qui sont utilisées aujourd’hui. Comment ça se fait ?
And it's still more or less the same ones used today. How come?
Je vous ai expliqué au début la différence entre l’IA symbolique et le machine learning.
I explained at the start the difference between symbolic AI and machine learning.
Tout ce que je viens de vous décrire relève de l’IA symbolique : on programme
Everything I've just described falls under symbolic AI: we program
explicitement des règles qui régissent le comportement des personnages. Mais
explicit rules that govern character behavior. But
pourquoi ne pas utiliser du machine learning ?
why not use machine learning?
Le machine learning a deux différences avec l’IA symbolique : la première c’est
Machine learning has two differences from symbolic AI: the first is
qu’il marche souvent beaucoup mieux, la seconde c’est que quand il marche,
that it often works much better, the second is that when it works,
on n’est pas vraiment capable d’expliquer pourquoi. C’est une boite noire, comme on dit.
we're not really able to explain why. It's a black box, as they say.
Et ces deux caractéristiques, elles ne sont pas très adaptées au jeu vidéo. Commençons
And these two characteristics aren't very suited to video games. Let's start
par l’efficacité. Le but d’un PNJ de jeu vidéo, c’est de rendre le jeu amusant,
with effectiveness. The goal of a video game NPC is to make the game fun,
plaisant, agréable à jouer, avec le bon niveau de difficulté. Avoir des ennemis qui soient des
pleasant, enjoyable to play, with the right level of difficulty. Having enemies that are
tueurs ultra-optimisés, en fait on s’en fout, ce serait frustrant et ça n’aurait aucun intérêt.
ultra-optimized killers, actually who cares, it would be frustrating and pointless.
Dans l’IA du jeu vidéo, on cherche le fun, pas des PNJs super performants à tout prix.
In video game AI, we seek fun, not super efficient NPCs at any cost.
Et puis le côté boite noire, c’est vraiment un problème. Les designers et les programmeurs
And then the black box side is really a problem. Designers and programmers
ont besoin de comprendre et maitriser la façon dont vont se comporter leurs
need to understand and master how their
personnages. De pouvoir débuguer, ajuster, itérer. Avec des méthodes d’IA symbolique,
characters will behave. To be able to debug, adjust, iterate. With symbolic AI methods,
c’est plutôt facile, encore que. Mais avec du machine learning, c’est presque impossible.
it's fairly easy, although. But with machine learning, it's almost impossible.
Alors malgré tout les techniques évoluent, et on trouve de plus de machine learning dans les jeux
So despite everything, techniques evolve, and we find more machine learning in video
vidéo. Déjà pour d’autres objectifs que la gestion de l’IA des PNJs : pour du rendu graphique, des
games. Already for other goals than managing NPC AI: for graphics rendering,
animations ou dans les jeux compétitifs en ligne pour du matchmaking ou de la détection de triche.
animations, or in competitive online games for matchmaking or cheat detection.
Et puis il y a eu plusieurs publications récentes sur le fait d’utiliser du machine
And then there have been several recent publications about using machine
learning pour gérer des véhicules ou des ennemis, qui auront été entrainés soit à
learning to manage vehicles or enemies, which will have been trained either
partir de comportements de vrais joueurs, soit par renforcement,
from real player behaviors, or by reinforcement,
c’est-à-dire en jouant contre eux-même des milliers de parties virtuelles.
that is, by playing against themselves thousands of virtual games.
Plus récemment, beaucoup de studios ont commencé à étudier comment les modèles de langage, les LLMs,
More recently, many studios have started studying how language models, LLMs,
pouvaient modifier notamment la façon d’intéragir avec les PNJ. Pas seulement papoter avec eux comme
could change especially the way of interacting with NPCs. Not just chatting with them like
avec un chatbot, mais par exemple pour des personnages alliés : leur donner des ordres,
with a chatbot, but for example for allied characters: giving them orders,
discuter des stratégies, et se comporter avec eux comme avec une vraie équipe.
discussing strategies, and behaving with them like with a real team.
J’ai moi-même travaillé pendant 3 ans sur ces questions, je peux pas forcément dévoiler
I myself worked for 3 years on these questions, I can't necessarily reveal
les détails mais je vous mettrai des liens en description pour celles et ceux que ça intéresse.
the details but I'll put links in the description for those interested.
Et donc je vous l’ai annoncé en début de vidéo, je sors un livre consacré à la science des jeux
And so I announced it at the start of the video, I'm releasing a book dedicated to video game
vidéo. L’idée c’est de montrer à travers 30 chapitres illustrés comment la physique,
science. The idea is to show through 30 illustrated chapters how physics,
la mécanique, l’optique, les mathématiques ou les sciences sociales sont utilisés dans
mechanics, optics, mathematics, or social sciences are used in
la conception et le développement des jeux vidéo.
the design and development of video games.
Pour le rendu graphique bien sûr, mais aussi pour la physique des objets et des personnages, pour la
For the graphics rendering of course, but also for the physics of objects and characters, for the
génération procédurale, la gestion des animaux, l’animation, le jeu en réseau etc. C’est un
procedural generation, animal management, animation, online multiplayer, etc. It's a
beau bébé, 432 pages, 30 chapitres, avec plein de chouettes illustrations. Et vous
big baby, 432 pages, 30 chapters, with plenty of cool illustrations. And you
pouvez le commander ou le précommander chez votre libraire ou sur les plateformes de vente en ligne.
can order or pre-order it at your bookstore or on online sales platforms.
Si vous regardez cette vidéo à sa sortie, le livre est pour l’instant en précommande et
If you're watching this video upon its release, the book is currently on pre-order and
sortira dans un peu plus de 2 semaines, mais n’hésitez pas à le précommander justement,
will come out in just over 2 weeks, but go ahead and pre-order it, actually,
ça aide les libraires et les sites en lignes à prévoir du stock, et ça permet de mettre le livre
that helps bookstores and online sites plan stock, and it puts the book
en avant et de le faire connaitre. Dites moi dans les commentaires si l’idée de ce livre vous tente,
in the spotlight and gets it known. Tell me in the comments if this book's idea appeals to you,
et moi je vous dit à très vite pour une prochaine vidéo ! A bientôt !
and I'll see you very soon for the next video! Bye for now!
Video and French captions: L'intelligence artificielle dans les jeux vidéo by ScienceEtonnante. English: machine translation.




