How AI generates images
The video could not be loaded here. Watch on YouTube and follow the transcript below.
Depuis maintenant plusieurs mois, vous n’avez certainement pas échappé à la déferlante
For several months now, you certainly haven't missed the wave
Transcript
Depuis maintenant plusieurs mois, vous n’avez certainement pas échappé à la déferlante
For several months now, you certainly haven't missed the wave
des images qui sont générées par des intelligences artificielles, des IA. Qu’il s’agisse
of images generated by artificial intelligences, AIs. Whether it's
de DALL·E, de Midjourney ou encore de Stable Diffusion, il existe maintenant plusieurs
DALL·E, Midjourney, or even Stable Diffusion, there are now several
programmes extrêmement efficaces, capables de créer de toute pièce une image à partir
extremely effective programs, capable of creating from scratch an image from
d’une description.
a description.
Et ce que font ces IA, ça n’est pas du Google Image. Elles ne vont pas chercher une
And what these AIs do isn't Google Images. They don't search for an
image existante, mais elles produisent des images nouvelles, qui n’existent pas, et
existing image, but they produce new images, which don't exist, and
qu’elle créent à la demande. Il peut s’agit de photographies, de peinture ou d’art numérique,
which they create on demand. It can be photographs, paintings, or digital art,
et on peut même parfois spécifier le type d’objectif photo ou le style du peintre
and you can even sometimes specify the type of photo lens or the painter's style
que l’on souhaite retrouver.
you want to find.
On appelle ces types d’algorithmes des IA génératives, car elles sont capables de
We call these types of algorithms generative AIs, because they are capable of
créer du contenu à la demande, en intégrant à la conception une part d’aléatoire,
creating content on demand, incorporating a degree of randomness into the design,
de façon à pouvoir obtenir plein de variations à partir de la même demande.
so you can get lots of variations from the same request.
Si vous avez essayé ces IA génératives, vous avez peut-être été comme moi ébahis
If you've tried these generative AIs, you might have been, like me, amazed
par leurs capacités à faire quelque chose qui semblait impossible il y a seulement quelques
by their ability to do something that seemed impossible only a few
années. Ca parait presque magique tellement ça fonctionne bien. Mais au fait, comment
years ago. It seems almost magical, it works so well. But actually, how
ça fonctionne vraiment ? Eh bien c’est ce qu’on va voir ensemble aujourd’hui
does it really work? Well, that's what we'll see together today
!
!
[jingle]
[jingle]
Commençons par quelques remarques de base sur la terminologie. Ce qu’on appelle l’intelligence
Let's start with some basic remarks on terminology. What we call intelligence
artificielle, c’est un domaine aux contours un peu flous. On peut dire que son objectif
artificial, it's a field with somewhat blurry boundaries. One can say its goal
est de réaliser à l’aide de machines, des tâches traditionnellement réalisées
is to carry out with machines tasks traditionally performed
par des humains, et dont on estime qu’elle requièrent de l’intelligence. Sans trop
by humans, and which are deemed to require intelligence. Without over
préciser le sens qu’on donne à ce terme.
specifying the meaning given to that term.
[DIAGRAMME Au sein de l’IA, il y a un champ de recherche assez bien identifié qu’on
[DIAGRAM Within AI, there's a fairly well-identified research field that we
appelle le machine learning, ou apprentissage automatique. L’idée est de s’attaquer
call machine learning, or automatic learning. The idea is to tackle
notamment à des questions d’IA, en mettant au point des algorithmes capables d’apprendre.
notably AI questions by developing algorithms capable of learning.
Et qui réalisent leur apprentissage à partir de données auxquelles ils ont accès.
And they carry out their learning from data they have access to.
Et dans le machine learning, il y a le deep learning. Et ça, c’est l’idée d’utiliser
And within machine learning, there's deep learning. And that's the idea of using
une classe assez spécifique d’algorithmes que sont les réseaux de neurones profonds,
a fairly specific class of algorithms, namely deep neural networks,
et qui ont connu un énorme succès depuis une dizaine d’années.]
which have seen tremendous success over the past decade.]
Aujourd’hui quand on utilise le terme IA, il s’agit presque systématiquement de deep
Today when we use the term AI, it's almost systematically deep
learning, tant cette approche est efficace. Je ne vais pas évoquer ici les principes
learning, so effective is this approach. I won't discuss here the basics
de base du deep learning, j’avais fait toute une vidéo sur le sujet il y a quelques temps,
of deep learning; I made a whole video on the subject some time ago,
je vous invite à aller la voir si ça vous intéresse.
I invite you to go watch it if you're interested.
Quand on parle d’algorithmes capables d’apprendre, cela fonctionne souvent selon le même principe.
When we talk about algorithms capable of learning, it often works on the same principle.
Imaginez qu’on veuille créer un algorithme qui soit capable de reconnaitre ce qu’il
Imagine we want to create an algorithm that can recognize what's
y a sur une image.
in an image.
[ALGO On veut un programme à qui on donne une image en entrée, et qui produise un mot
[ALGO We want a program that takes an image as input and produces a word
en sortie. Et on veut que cet algorithme réponde « Chat » sur cette image, sur celle-ci
as output. And we want this algorithm to answer "Cat" on this image, on this one
« Voiture », etc. Pour réaliser cela, on va utiliser ce qu’on appelle de l’apprentissage
"Car", etc. To do this, we'll use what's called learning
supervisé.
supervised.
Au départ notre algorithme va être ignorant, et répondre n’importe quoi quand on lui
At first, our algorithm will be ignorant, and answer anything when we show it
présente une image. Et puis on va lui fournir une grande base de données d’exemples.
an image. Then we'll give it a large database of examples.
C’est-à-dire des milliers d’images de chats, de voiture, de tasses, avec à chaque
That is, thousands of images of cats, cars, cups, each with the
fois la réponse qu’on attendrait de lui.]
answer expected from it.
En utilisant ces exemples, l’algorithme va peu à peu ajuster ses paramètres pour
Using these examples, the algorithm will gradually adjust its parameters to
s’améliorer, il va apprendre. Jusqu’à être capable de réaliser lui-même le travail
improve, it will learn. Until it's able to do the job itself
de façon suffisamment correcte. On dit alors que l’algorithme aura été entrainé, et
correctly enough. We then say the algorithm has been trained, and
on pourra commencer à l’utiliser.
we can start using it.
Cette façon de faire, c’est donc l’apprentissage supervisé. De façon plus générale si on
This way of doing it is supervised learning. More generally, if we
veut qu’un algorithme prenne en entrée X et réponde Y, on lui donne une base de
want an algorithm to take input X and output Y, we give it a database
données d’exemples (x,y), et on l’entraine en espèrant qu’il va finir par savoir faire
of examples (x,y), and we train it hoping it will eventually learn to make
le lien.
the connection.
C’est ce qu’on appelle parfois une tâche de prédiction, puisqu’on donne X en entrée
This is sometimes called a prediction task, since we give X as input
et on demande à l’algorithme de prédire Y. Dans mon premier exemple X ce sont des
and ask the algorithm to predict Y. In my first example, X is images
images et Y ce sont des mots. On classifie les images avec des mots. Mais le principe
and Y is words. We classify images with words. But the principle
fonctionne avec plein d’autres concepts.
works with many other concepts.
Par exemple X ce peut-être toutes les caractéristiques d’une transaction bancaire, et Y est une
For example, X could be all the features of a bank transaction, and Y is a
classification pour estimer si la transaction est frauduleuse ou pas. Ou bien X c’est
classification to estimate if the transaction is fraudulent or not. Or X could be
le texte d’un e-mail et Y c’est une classification entre Spam/Non-spam. Beaucoup des applications
The text of an email and Y is a classification between Spam/Non-spam. Many current
actuelles concrètes du machine learning reposent sur ce principe d’apprentissage supervisé,
concrete applications of machine learning rely on this principle of supervised learning,
qui permet de réaliser des tâches de prédiction.
which allows us to carry out prediction tasks.
Ca semble un peu magique présenté comme ça, de penser qu’un algorithme peut reconnaitre
It seems a bit magical presented like that, to think that an algorithm can recognize
des images et associer les bons mots, mais il faut bien voir que tout ce que fait l’algorithme,
images and associate the right words, but we must see that all the algorithm does,
c’est de manipuler des nombres. Tout se fait via des opérations mathématiques.
is manipulate numbers. Everything happens through mathematical operations.
[CHIFFRES Par exemple sur la classification des images, voici comment on fait en pratique.
[NUMBERS For example on image classification, here's how it's done in practice.
On définit d’abord un nombre fini de catégories : « Chat », « Voiture », « Tasse »,
First we define a finite number of categories: 'Cat', 'Car', 'Cup',
etc. Et on leur attribue des numéros : 1,2,3 etc. On peut faire disons 1000 catégories,
etc. And we assign them numbers: 1,2,3 etc. We can say 1000 categories,
et à chaque image de notre base de données on va associer une de ces 1000 catégories.
and to each image in our database we will associate one of these 1000 categories.
Et pour l’image elle-même, on va aussi la représenter comme une série de nombres.
And for the image itself, we will also represent it as a series of numbers.
Une image 600x600, ce sont 360 000 pixels, chacun de ces pixels va être codé en rouge/vert/bleu
A 600x600 image is 360,000 pixels, each of these pixels will be coded in red/green/blue
donc il faut 3 nombres par pixel. Au total je peux décrire complètement mon image en
so 3 numbers per pixel are needed. In total I can completely describe my image in
un peu plus d’un million de nombres.
a little over a million numbers.
Donc ce que je cherche à faire, c’est un algorithme qui prenne en entrée une série
So what I'm trying to do is have an algorithm that takes as input a series
d’un million de nombres qui représentent l’image, et qui me crache en sortie un nombre
of a million numbers representing the image, and spits out a number
entre 1 et 1000 représentant la catégorie qu’il pense être la bonne.]
between 1 and 1000 representing the category it thinks is the right one.]
On n’a pas besoin d’expliquer à l’algorithme ce qu’est une image, un chat ou une voiture;
We don't need to explain to the algorithm what an image, a cat, or a car is;
lui, il manipule juste des nombres. Et il va s’en faire une idée tout seul en essayant
it just manipulates numbers. And it will get an idea on its own by trying
de mettre en relation les valeurs des pixels des images et les 1000 catégories qu’on
to relate the pixel values of images and the 1000 categories we
aura prédéfinies.
predefined shapes.
Ces algorithmes de classification d’images fonctionnent maintenant extrêmement bien,
These image classification algorithms now work extremely well,
avec des performances proches de celles des humains. Alors intuitivement, on se dit que
with performance close to that of humans. So intuitively, we think that
ça, ça n’a pas l’air très très éloigné de ce qu’on voudrait faire pour générer
this isn't very far from what we'd want to do to generate
des images.
images.
[REVERSE Pour classifier des images existantes, en entrée X on a des images, et en sortie
[REVERSE To classify existing images, input X is images, and output
Y un mot qui les décrit, et une base de données pour réaliser l’entrainement. On n’a
Y is a word describing them, and a database for training. We just
qu’à entrainer un algorithme du même genre sur la même base de données, mais à l’envers.
train a similar algorithm on the same database, but in reverse.
On lui donne un mot en entrée, et on attend qu’il produise une image en sortie. Facile,
We give it a word as input, and expect it to produce an image as output. Easy,
non ?]
right?]
Eh bien non, ça ne marche pas comme ça. Il y a plusieurs raisons à cela. Dans une
Well no, it doesn't work that way. There are several reasons. In a
tâche de prédiction, comme la classification des images, on donne en entrée beaucoup d’informations,
prediction task, like image classification, we input a lot of information,
des centaines de milliers de pixels, et en sortie on récupère quelque chose de très
hundreds of thousands of pixels, and we get something very
limité, juste un numéro de catégorie par exemple. L’algorithme de classification
limited in output, just a category number for example. The classification algorithm
réalise en quelque sorte de la synthèse d’information.
kind of performs information synthesis.
Ici c’est l’inverse qu’on veut, on donne très peu de choses en entrée, disons juste
Here it's the opposite we want, we input very little, say just
un mot. Et on s’attend en sortie à récupérer une image entière, qui contient donc beaucoup
a word. And we expect to get a whole image in output, which contains much
plus d’information que ce qu’on a mis au départ. Ca ne peut pas marcher avec un
more information than what we put in initially. That can't work with
simple apprentissage supervisé.
simple supervised learning.
En fait si, on peut essayer. Mais ce qu’il risque de se passer c’est que notre algorithme,
Actually, we can try. But what might happen is that our algorithm,
une fois entrainé, chaque fois qu’on lui demande une image de chat il va nous ressortir
Once trained, whenever we ask it for a cat image, it gives us back
exactement l’image de chat qu’il avait dans sa base de données. Ou bien une sorte
exactly the cat image it had in its database. Or a kind of
de moyenne de toutes les images de chat qu’on lui a fournies. Et c’est pas ça qu’on
average of all the cat images we gave it. And that's not what we
veut.
want.
L’autre aspect important, c’est qu’on veut que notre algorithme de génération
The other important aspect is that we want our image generation
d’image ait une part d’aléatoire. Si je lui demande 50 fois un chat, je veux qu’il
algorithm to have an element of randomness. If I ask it 50 times for a cat, I want it to
me produise 50 images différentes, pas 50 fois le même chat.
produce 50 different images, not the same cat 50 times.
Générer ça n’est pas la même chose que prédire. Donc vous voyez que pour créer
Generating this is not the same as predicting. So you see that to create
des images à partir d’un texte, prendre une approche traditionnelle de prédiction
images from text, taking a traditional prediction approach
par apprentissage supervisé, eh bien ça ne va pas marcher. Il faut faire autrement.
through supervised learning just won't work. We need to do something else.
Alors voyons comment.
So let's see how.
[jingle]
[jingle]
En 2014, une première façon de faire assez efficace a été proposée par une équipe
In 2014, a fairly effective first method was proposed by a team
de l’Université de Montréal : les réseaux adversariaux génératifs, ou GAN en anglais.
from the University of Montreal: generative adversarial networks, or GANs in English.
Alors qu’est-ce que ça veut dire ce truc. Pour voir ça, prenons un problème plus simple
So what does that mean? To see this, let's take a simpler problem
que celui que j’ai évoqué. Imaginons pour commencer que je veuille uniquement créer
than the one I mentioned. Imagine for starters that I only want to create
des images de chat.
cat images.
[GAN Je dispose d’une grande base de données d’images de chat, je veux juste être capable
[GAN I have a large database of cat images, I just want to be able
d’en créer plein d’autres, de nouvelles, qui n’existent pas initialement dans la
to create lots more, new ones, that don't initially exist in the
base, et qui ressemblent bien à des chats. Pour cela, je vais entrainer non pas un, mais
database, and that look like cats. To do that, I'm going to train not one, but
deux réseaux de neurones.
two neural networks.
Le premier, on va l’appeler le faussaire. Il aura pour rôle de générer aléatoirement
The first one, we'll call it the forger. Its role will be to randomly generate
des images à partir d’une série de paramètres. Et le deuxième, on va l’appeler l’expert,
images from a set of parameters. And the second one, we'll call it the expert,
et sa tâche va être simple : si on lui présente une image, il va devoir apprendre à reconnaitre
and its task will be simple: if you show it an image, it will have to learn to recognize
si l’image est une vraie image de chat, qui provient de la base, ou bien une image
whether the image is a real cat image, from the database, or an image
inventée.
that's made up.
Rappelez-vous le principe de l’apprentissage, au début ces algorithmes sont mauvais. Le
Remember the principle of learning, at first these algorithms are bad. The
faussaire, quand on lui demande de produire une image de chat, il va produire des images
forger, when asked to produce a cat image, will produce images
de ce genre, du bruit complet. Et l’expert, quand on lui présente deux images en lui
like this, pure noise. And the expert, when shown two images and asked
demandant quelle est la « vraie », au début il va répondre au pif.
which one is the “real” one, at first it will answer randomly.
Et puis à force d’essais et d’erreurs, ces réseaux vont progresser car à chaque
And then through trial and error, these networks will improve because each
fois on leur donne le résultat. On indique au faussaire s’il a réussi à berner l’expert.
time they're given the result. The forger is told if it managed to fool the expert.
Et l’expert lui sait s’il a correctement discriminé les images qu’on lui présente.
And the expert knows if it correctly distinguished the images shown to it.
Au départ, l’expert va assez vite apprendre à reconnaitre les vrais chats des fausses
At the start, the expert will quickly learn to tell real cats from fake
images, qui sont initialement assez pourries. Et puis peu à peu le faussaire va progresser
images, which are initially quite bad. And then little by little the forger will improve
et faire des images qui seront de mieux en mieux, et ça va forcer l’expert à améliorer
and make images that get better and better, and that will force the expert to raise
son niveau.]
its level.
Et en laissant les deux s’entrainer ensemble suffisamment longtemps, on finira si tout
And by letting the two train together long enough, we'll end up, if all
va bien par avoir un faussaire capable de produire des images très semblables aux vraies,
goes well, with a forger capable of producing images very similar to real ones,
et un expert qui aura bien du mal à faire la différence. Ce principe d’entrainement,
and an expert that will have a hard time telling the difference. This training principle,
on l’appelle « adversarial », puisque les deux réseaux de neurones s’affrontent
we call it “adversarial”, since the two neural networks compete against each other
et progressent de concert. C’est comme si vous demandiez à deux joueurs de foot de
and progress together. It's like asking two football players to
s’entrainer ensemble : l’un fait le tireur de pénalty et l’autre le gardien, avec
train together: one takes penalties and the other is the goalkeeper, with
l’idée qu’ils vont conjointement progresser.
the idea that they'll both improve jointly.
Ces réseaux adversariaux génératifs, ou GAN, existent maintenant depuis plusieurs
These generative adversarial networks, or GANs, have existed for several
années, et vous les avez certainement vus à l’oeuvre si vous connaissez le site This
years now, and you've certainly seen them in action if you know the site This
Person Does Not Exist.
Person Does Not Exist.
[THIS PERSON Sur ce site, on a des réseaux ont été entrainé à partir de photos de
[THIS PERSON On this site, networks have been trained from photos of
visages, et qui sont donc excellent à inventer de nouveaux visages de toute pièce. Il y
faces, and are therefore excellent at inventing brand-new faces from scratch. There
a parfois des défauts mineurs mais dans l’ensemble c’est assez bluffant.
are sometimes minor flaws, but overall it's quite impressive.
Dans le même genre, vous avez aussi pour les voitures This Car Does Not Exist, pour
In the same vein, you also have for cars This Car Does Not Exist, for
les maisons This House Does Not Exist, et ah oui, bien évidemment : This Cat Does Not
houses This House Does Not Exist, and oh yes, of course: This Cat Does Not
Exist.]
Exist.]
Ce type d’algorithme donc est très efficace pour produire des images d’un type donné
This type of algorithm is thus very effective at producing images of a given type
et fixé à l’avance. Si l’entrainez sur des chats, il vous fera des chats. Mais vous
and fixed in advance. If you train it on cats, it'll make cats. But you
voyez qu’on n’est pas encore au stade où on peut rentrer librement du texte et
can see we're not yet at the stage where you can freely enter text and
avoir une image qui mélange plusieurs concepts.
get an image that mixes several concepts.
On va y venir, mais avant ça, prenons un peu de recul et essayons de comprendre la
We'll get there, but before that, let's step back and try to understand the
différence entre ce que font les réseaux génératifs, et l’apprentissage supervisé
difference between what generative networks do, and the supervised learning
qu’on a vu avant, celui qui permet par exemple de classifier des images.
we saw before, the one that allows for example classifying images.
[COMPARAISON Dans l’apprentissage supervisé, on donne X en entrée, et on attend que l’algorithme
[COMPARISON In supervised learning, you give X as input, and you expect the algorithm
nous prédise Y en sortie, et pour ça on lui donne plein d’exemples de X et de Y.
we predict Y as output, and for that we give it lots of examples of X and Y.
Avec les réseaux génératifs, on donne plein de X en entrée, par exemple des images de
With generative networks, we give lots of X as input, for example images of
chat, et on dit à l’algorithme « Vas-y donne m’en d’autres ».]
cats, and we tell the algorithm: "Go ahead, give me more of them."
[2D Essayons de se représenter la différence en imaginant qu’il n’y ait que deux dimensions.
[2D] Let's try to picture the difference by imagining there are only two dimensions.
Par exemple si X et Y sont chacun de simples nombres réels. Dans ce cas là on peut représenter
For example, if X and Y are each simple real numbers. In that case, we can represent
chaque exemple (x,y) de la base de données comme un point dans un diagramme en 2D.
each example (x,y) in the database as a point in a 2D diagram.
Dans l’apprentissage supervisé, on veut que l’algorithme puisse prédire Y à partir
In supervised learning, we want the algorithm to predict Y from
de X. Donc en gros on veut que notre algorithme arrive à faire une sorte de régression,
X. So basically we want our algorithm to manage to do some kind of regression,
qui lui permette de deviner à peu près la valeur de Y si on lui présente une nouvelle
which lets it roughly guess the value of Y if we present it with a new
valeur de X qu’il n’a jamais vu dans la base.
value of X it has never seen in the database.
Ok maintenant comment ça se passe pour un algorithme génératif, à qui on demande
Okay, now how does it work for a generative algorithm, which we ask
de construire de nouveaux exemples à partir d’une liste de X. Imaginez que dans mon
to build new examples from a list of X. Imagine that in my
cas X soit en 2 dimensions, donc décrit par deux nombres. Deux c’est pas beaucoup, tout
case X is in 2 dimensions, so described by two numbers. Two isn't much, just
à l’heure une image on a dit que c’était 1 million valeurs, mais nous on va en regarder
now an image we said was 1 million values, but we're going to look at only
que deux. Appelons les x1 et x2.
two. Let's call them x1 and x2.
Donc ma base d’exemple c’est une liste de valeurs (x1,x2). Imaginez que je représente
So my example database is a list of values (x1,x2). Imagine I represent
chaque exemple dans un diagramme et que j’obtienne ça. Ou bien ça. Manifestement il se passe
each example in a diagram and I get that. Or that. Clearly, something is going on.
quelque chose. Dans mon premier cas on voit que tous les exemples sont groupés dans un
In my first case, we see all examples are grouped in a
certain coin. Dans mon second cas, on voit qu’il y a comme une structure sous-jacente.
certain corner. In my second case, we see there's like an underlying structure.
Si on me présentait une base de données de ce genre, je serai capable de dire quelque
If I were presented with a database of this kind, I'd be able to say something
chose d’intéressant sur la façon dont sont répartis les exemples, sur leur distribution.
interesting thing about how examples are distributed, their distribution.
Ils ne sont pas quelconques, il ne sont qu’une petite partie de l’espace total des possibilités.
They aren't arbitrary, they're only a small part of the total space of possibilities.
Et avec les images de chat c’est pareil. Ok il y a 1 million de dimensions donc c’est
And with cat images it's the same. Okay, there are 1 million dimensions, so it's
dur à visualiser, mais les images de chat sont ne sont pas des images quelconques. Dans
hard to visualize, but cat images aren't arbitrary images. In
l’espace immense de toutes les images possibles et imaginables, les images de chat ne sont
the immense space of all possible and imaginable images, cat images are only
qu’une minuscule région. Et ce qu’on veut faire, c’est en savoir plus sur cette
a tiny region. And what we want to do is learn more about this
région.
region.
Car si on arrive à dire un truc intelligent sur la manière dont sont distribués les
Because if we can say something smart about how examples in a database are distributed,
exemples d’une base de données, on sera capable de faire de l’échantillonnage.
we'll be able to do sampling.
C’est à dire de produire de nouveaux points qui ont de bonnes chances d’être du même
That is, to produce new points that have a good chance of being the same
genre.
kind.
Dans mes exemples simples en deux dimensions, si je considère par exemple ces points-ci.
In my simple two-dimensional examples, if I consider for instance these points here.
Ou ceux-là dans le diagramme d’à côté. Ce sont des points qui n’étaient pas dans
Or those in the diagram next door. These are points that weren't in
les bases initiales, mais dont on a bien envie de parier qu’ils auraient pu y figurer,
the initial databases, but we'd bet they could have been there,
qu’ils ont certainement les mêmes caractéristiques qui nous intéressent.
that they certainly have the same characteristics that interest us.
Et pareil pour mes chats, je voudrais être capable de créer une image qui soit nouvelle,
And same for my cats, I'd like to be able to create an image that's new,
et que j’aille la prendre dans la sous-région qui contient les images de chat.]
and take it from the sub-region that contains cat images.
Et vous voyez que cette gymnastique est différente de l’apprentissage supervisé. On ne fait
And you see this exercise is different from supervised learning. We're not
pas de la prédiction au sens on me donne X et je prédis Y. Non, ici, on a ce qu’on
doing prediction in the sense of give me X and I predict Y. No, here, we have what we
appelle de l’apprentissage non-supervisé.
call unsupervised learning.
L’apprentissage non-supervisé, c’est quand on a des données en entrée qui ne
Unsupervised learning is when we have input data that
sont pas séparées en X et Y, ce sont juste des exemples X, et qu’on essaye de comprendre
is not split into X and Y, they're just X examples, and we try to understand
comment ces X sont distribués dans l’espace de toutes les possibilités. De façon à
how these X's are distributed in the space of all possibilities. So that
pouvoir, par exemple, en générer de nouveaux par échantillonnage.
we can, for example, generate new ones by sampling.
Evidemment à nouveau d’une part ça ne se passe pas dans un espace à deux dimensions,
Obviously again, on one hand this doesn't happen in a two-dimensional space,
et d’autre part les régions qu’on cherche à identifier n’ont pas des formes simples.
and on the other hand the regions we're trying to identify aren't simple shapes.
Ca se voit très bien par exemple par le fait que la moyenne de deux images de chat ne donne
This is very visible, for example, in the fact that the average of two cat images doesn't give
pas une bonne image de chat.
a good cat image.
Mais si vous arrivez à correctement caractériser la région dans laquelle se trouvent toutes
But if you manage to correctly characterize the region in which all
les images de chat de votre base initiale, vous pouvez avec une certaine confiance échantillonner
the cat images from your initial base are, you can with some confidence sample
de nouvelles images en allant chercher au même endroit.
new images by going to the same place.
Bien, donc générer de nouvelles images, ça n’est pas une tâche d’apprentissage
Well, so generating new images isn't a supervised learning task
supervisé mais c’est une tâche d’apprentissage non-supervisé. Et on l’a dit, les réseaux
but it is an unsupervised learning task. And as we said, adversarial
adversariaux GAN marchent bien pour ça, mais ne fonctionnent que si on donne plein d’exemples
GAN networks work well for this, but only work if you give plenty of examples
en entrée. Et il faut le faire pour chaque type de catégorie qu’on veut générer
as input. And you have to do it for each type of category you want to generate
: des chats, des voitures, des appartements, etc.
: cats, cars, apartments, etc.
Les applications sont donc limitées, et cela explique que l’on n’ait pas vu de choses
The applications are therefore limited, and this explains why we haven't seen anything
très spectaculaire depuis This Person Does Not Exist. Sauf depuis l’été 2022 avec
very spectacular since This Person Does Not Exist. Except since summer 2022 with
l’apparition de DALL·E et Stable Diffusion, qui n’utilisent pas les GAN. Et donc voyons
the appearance of DALL·E and Stable Diffusion, which don't use GANs. So let's look
maintenant cette nouvelle technique qui fait fureur en ce moment : les algorithmes de diffusion.
now at this new technique that's all the rage right now: diffusion algorithms.
[jingle]
[jingle]
Avant de voir comment les algorithmes de diffusion sont capables de créer des images en prenant
Before seeing how diffusion algorithms can create images starting from
un texte libre comme point de départ, voyons déjà comment ils fonctionnent sur la même
free text, let's see how they work on the same
tâche que celle des GAN : générer plus d’images d’un type donné. Le principe
task as GANs: generating more images of a given type. The principle
de base est assez simple, et ça semble presque miraculeux que cela fonctionne.
is quite simple, and it almost seems miraculous that it works.
[BRUIT Imaginez une image de chat. Je peux essayer de dégrader cette image en la bruitant.
[NOISE Imagine a cat image. I can try to degrade it by adding noise.
C’est facile, je génère une image qui est du pur bruit, c’est-à-dire que chaque
That's easy, I generate an image that is pure noise, i.e., each
pixel a une couleur totalement aléatoire. Et puis je mélange les deux images avec certaines
pixel has a totally random color. Then I mix both images with certain
proportions. Disons 95% de chat et 5% de bruit.
proportions. Say 95% cat and 5% noise.
J’obtiens une image de chat légèrement dégradée. Et ce que je vais faire, c’est
I get a slightly degraded cat image. What I'll do is
d’abord une étape d’apprentissage supervisé : je vais entrainer un réseau de neurones
first a supervised learning step: I'll train a neural network
à débruiter les images.
to denoise images.
C’est à dire que je crée une base de données avec en entrée des images bruitées et en
That is, I create a database with noisy images as input and
sortie les images d’origine. Et je donne ça à mon réseau pour lui apprendre à enlever
original images as output. I give that to my network to teach it to remove
le bruit. Ici il doit enlever 5% de bruit.
noise. Here it must remove 5% noise.
Et ce qui est intéressant, c’est que je peux faire ça avec différents niveaux de
What's interesting is that I can do this with different noise
bruit. Par exemple je peux bruiter une image à 45% et à 50%, et entrainer mon réseau
levels. For example, I can add noise to an image at 45% and 50%, and train my network
à retirer 5% de bruit pour passer de 50 à 45. Et pareil avec 90 et 95%.
to remove 5% noise to go from 50 to 45. Same with 90 and 95%.
Donc si j’ai une base de données d’images de chat, je peux toutes les bruiter à plein
So if I have a database of cat images, I can add noise to all of them at many
de niveaux différent niveaux et entrainer mon algorithme avec. Et à la fin de son entrainement,
different levels and train my algorithm with that. At the end of its training,
mon algorithme sera devenu super fort à débruiter des images de chat.]
my algorithm will have become super good at denoising cat images.]
Maintenant une fois que mon algorithme de débruitage est entrainé, imaginez que je
Now, once my denoising algorithm is trained, imagine that I
lui donne une image qui soit 100% de bruit, j’ai tiré chaque pixel au hasard. Et que
give it an image that is 100% noise; I drew each pixel at random. And that
je lui dise : vas-y débruite là progressivement. Retire 5% de bruit, puis encore 5%, puis encore
I tell it: go ahead, denoise this progressively. Remove 5% noise, then another 5%, then another
5%. Qu’est-ce qu’il va se passer ?
5%. What will happen?
[DEBRUITAGE Eh bien comme mon algorithme aura été uniquement entrainé à débruiter des
[DENOISING Well, since my algorithm will have been trained only to denoise
images de chats, il va progressivement m’inventer une image de chat à partir du bruit initial.
images of cats, it will progressively invent a cat image for me from the initial noise.
Et cette image ne sera aucune des images de la base initiale, ce sera une nouvelle image.
And this image won't be any of the images in the initial base; it will be a new image.
Il va en quelque sorte « halluciner » une image de chat à partir du pur bruit qu’on
It will, in a way, "hallucinate" a cat image from the pure noise we
lui donne en entrée.
give it as input.
Et en faisant ça, notre algorithme fait de l’échantillonnage parmi la distribution
And by doing this, our algorithm samples from the distribution
de toutes les images de chat possibles et imaginables. On tire un bruit au hasard, et
of all possible and imaginable cat images. We draw random noise, and
il nous fait une image de chat avec. Cet échantillonnage est donc une forme d’apprentissage non-supervisé
it makes a cat image with it. This sampling is thus a form of unsupervised learning
de la distribution des images de chat.]
of the distribution of cat images.]
Cette idée de génération à partir d’un débruitage progressif, c’est ça qu’on
This idea of generation from progressive denoising—that's what
appelle les méthodes de diffusion. La technique a été proposée il y a quelques années
we call diffusion methods. The technique was proposed a few years ago
déjà, mais elle vient de connaitre une accélération grâce à de nombreuses améliorations récentes.
already, but it has just seen acceleration thanks to many recent improvements.
A ce stade de ma description, ce type d’approche ne fait pas mieux que les GAN. Si vous faites
At this stage of my description, this type of approach doesn't do better than GANs. If you do
ça avec des images de voiture au lieu d’images de chat, vous allez entrainer un réseau de
this with images of cars instead of cat images, you'll train a denoising
débruitage qui aura la capacité à halluciner des images de voiture. Donc on peut génèrer
network that has the ability to hallucinate car images. So we can generate
des images d’un certain type à condition d’en avoir donné suffisamment d’exemples
images of a certain type, provided we've given enough examples of them
en entrée, et de refaire l’entrainement.
as input, and to redo the training.
Mais il est possible d’étendre le concept pour le rendre plus polyvalent. Vous vous
But it is possible to extend the concept to make it more versatile. You
souvenez du problème de classification d’images : on a une grande base de données d’images,
remember the image classification problem: we have a large database of images,
et chacune est associée à une classe : chat, voiture, visage, etc. Ce qu’on peut faire,
and each one is associated with a class: cat, car, face, etc. What we can do,
c’est traiter tout d’un coup.
is process everything at once.
[CONDITIONNEMENT Pour ça on va bruiter ces images et les donner à notre algorithme pour
For that we will add noise to these images and give them to our algorithm so
qu’il apprenne à les débruiter, mais en lui spécifiant à chaque fois la catégorie
it learns to denoise them, but specifying each time the category
à laquelle appartient chaque image.
to which each image belongs.
L’algorithme de débruitage sera ainsi capable de s’ajuster en fonction de la catégorie.
The denoising algorithm will thus be able to adjust based on the category.
C’est un principe qu’on appelle le conditionnement. On va conditionner notre débruitage par la
This is a principle called conditioning. We will condition our denoising by the
catégorie de l’image.
category of the image.
Et si on fait ça avec une base de données suffisamment grande, une fois l’entrainement
And if we do that with a sufficiently large database, once the training
terminé on aura un algorithme capable d’halluciner une image en étant conditionné par une classe.
is done we will have an algorithm capable of hallucinating an image conditioned by a class.
Si on lui dit voiture il va halluciner une voiture, et chat il va halluciner un chat.]
If we tell it car it will hallucinate a car, and cat it will hallucinate a cat.
Alors c’est bien, mais ça n’est pas encore tout à fait ce qu’on veut. Ici on est limités
So that's good, but it's not quite what we want yet. Here we are limited
par les catégories qui ont été choisies au départ pour classifier les images. Or
by the categories chosen at the start to classify the images. However
vous voyez que dans DALLE ou Stable Diffusion, on peut entrer librement du texte, faire des
you see that in DALLE or Stable Diffusion, you can freely enter text, make
phrases, des descriptions. Comment on procède ?
sentences, descriptions. How do we proceed?
Eh bien il va falloir faire appel à certains algorithmes de traitement du langage naturel,
Well, we will need to use certain natural language processing algorithms,
comme ceux que j’évoquais dans ma vidéo sur le sujet. Et notamment les algorithmes
like those I mentioned in my video on the subject. And notably the algorithms
permettant de faire ce qu’on appelle de du plongement, embedding en anglais.
allowing for what's called embedding, embedding in English.
[EMBEDDING L’idée du plongement, c’est de partir d’un mot ou d’un phrase, et
[EMBEDDING The idea of embedding is to start from a word or phrase, and
de lui associer une série de nombres qui en quelque sorte représente numériquement
associate with it a series of numbers that, in a way, numerically represents
son sens, sa signification. Mais plongée dans un espace mathématique abstrait. De
its meaning, its significance. But embedded in an abstract mathematical space. So
façon à ce que deux phrases proches aient des plongements qui soient proches.]
that two close phrases have embeddings that are close.]
Il existe des réseaux de neurones qui peuvent réaliser ces plongements, et si on les utilise
There are neural networks that can perform these embeddings, and if you use them
avec un algorithme de diffusion, on peut alors utiliser le plongement pour conditionner le
with a diffusion algorithm, you can then use the embedding to condition the
débruitage.
denoising.
[CONDITIONNEMENT Ca marche comme tout à l’heure, mais au lieu d’être conditionné par une
[CONDITIONING It works like before, but instead of being conditioned by a
catégorie d’image, notre processus de débruitage sera conditionné par le plongement de la
image category, our denoising process will be conditioned by the embedding of the
description de l’image.
image description.
En pratique, on prend des toujours des images mais cette fois accompagnées d’une description
In practice, we still take images but this time accompanied by a free
libre, par exemple une légende. On calcule le plongement de la légende, et on entraine
description, for example a caption. We compute the embedding of the caption, and we train
notre réseau à débruiter ces images, tout en étant conditionné par le plongement de
our network to denoise these images, while being conditioned by the embedding of
la légende.
the caption.
Et si on fait ça avec suffisamment d’images légendées, eh bien on obtient un algorithme
And if we do this with enough captioned images, well, we get an algorithm
de génération d’image à partir d’une description.
for generating images from a description.
Vous tapez un texte, l’algorithme calcule son plongement. Il génère ensuite une image
You type text, the algorithm computes its embedding. It then generates an image
100% bruitée et ensuite va la débruiter progressivement, tout en étant conditionné
100% noisy and then gradually denoises it, while being conditioned
par le plongement de la description qu’on a donné.
by the embedding of the description you gave.
Et si tout va bien l’algorithme va halluciner une image en prenant comme contexte la description
And if everything goes well, the algorithm will hallucinate an image using the description as context
qu’on a donné.]
we gave.]
Voici dans les grandes lignes comment fonctionnent les algorithmes de diffusion comme Stable
Here’s a broad outline of how diffusion algorithms like Stable
Diffusion ou encore DALLE. Bon il y a encore pas mal de subtilités mais je pense que la
Diffusion or even DALL-E work. There are still quite a few subtleties, but I think the
vidéo est déjà bien assez lourde, et je vous renvoie au billet de blog qui accompagne
video is already heavy enough, and I’ll refer you to the blog post accompanying
la vidéo si vous voulez plus de détails techniques.
the video if you want more technical details.
Avant de conclure, il y a un point que je dois quand même évoquer, ce sont les problèmes
Before concluding, there’s one point I must still bring up, and that’s the ethical
éthiques et juridiques posés par ces algorithmes. Il y a bien sûr la possibilité qu’ils
and legal issues raised by these algorithms. There’s of course the possibility they
offrent de créer de fausses images ayant l’air complètement plausibles, donc potentiellement
offer to create fake images that seem completely plausible, so potentially
de faire de la désinformation avec.
to spread misinformation with them.
Il y aussi les question de propriété intellectuelle, puisque ces algorithmes ont été entrainés
There are also intellectual property questions, since these algorithms were trained
à partir d’images trouvées sur Internet, et qui ne sont pas forcément libres de droits.
on images found on the Internet, which aren’t necessarily royalty-free.
C’est particulièrement criant pour les dessins ou l’art numérique en général,
This is especially striking for drawings or digital art in general,
puisqu’on peut demander à l’algorithme d’imiter le style d’un artiste sans que
since you can ask the algorithm to imitate an artist’s style without
ce dernier ait eu son mot à dire.
that artist having had any say.
Ces questions sont plus complexes qu’il n’y parait, et je n’ai pas vraiment les
These questions are more complex than they seem, and I don’t really have the
compétences artistiques ou juridiques pour les traiter correctement. D’autant que les
artistic or legal skills to address them properly. Especially since
choses évoluent très vite et qu’il y aura certainement des effets de jurisprudence.
things are evolving very fast and there will certainly be case-law effects.
Donc gardez à l’esprit ces interrogations car on risque d’entendre parler pas mal
So keep these concerns in mind, because we’re likely to hear quite a bit about them
prochainement.
very soon.
Voilà c’est tout pour aujourd’hui, merci d’avoir suivi cette vidéo. N’hésitez
Well, that's it for today, thanks for watching this video. Don't hesitate
pas à aller voir mes vidéos connexes sur le deep learning ou le traitement du langage.
to check out my related videos on deep learning or language processing.
Abonnez-vous si ça n’est pas déjà le cas et n’hésitez pas à venir vérifier
Subscribe if you haven't already, and feel free to come check
régulièrement les nouvelles vidéos, même si Youtube ne vous les propose plus.
new videos regularly, even if YouTube no longer suggests them.
Pour celles et ceux que ça intéresse, j’ai aussi créé récemment un serveur Discord
For those interested, I also recently created a community Discord server.
communautaire, n’hésitez pas à le rejoindre pour venir discuter. Le lien est en description.
Feel free to join it to come chat. The link is in the description.
Et moi je vous dit à très vite pour de nouvelles vidéos. A bientôt.
And I'll tell you, see you soon for new videos. Bye for now.
Video and French captions: Comment ces IA inventent-elles des images ? by ScienceEtonnante. English: machine translation.




