How AI generates images

C223 minScienceEtonnante

Depuis maintenant plusieurs mois, vous n’avez certainement pas échappé à la déferlante

For several months now, you certainly haven't missed the wave

Transcript

  1. Depuis maintenant plusieurs mois, vous n’avez certainement pas échappé à la déferlante

    For several months now, you certainly haven't missed the wave

  2. des images qui sont générées par des intelligences artificielles, des IA. Qu’il s’agisse

    of images generated by artificial intelligences, AIs. Whether it's

  3. de DALL·E, de Midjourney ou encore de Stable Diffusion, il existe maintenant plusieurs

    DALL·E, Midjourney, or even Stable Diffusion, there are now several

  4. programmes extrêmement efficaces, capables de créer de toute pièce une image à partir

    extremely effective programs, capable of creating from scratch an image from

  5. d’une description.

    a description.

  6. Et ce que font ces IA, ça n’est pas du Google Image. Elles ne vont pas chercher une

    And what these AIs do isn't Google Images. They don't search for an

  7. image existante, mais elles produisent des images nouvelles, qui n’existent pas, et

    existing image, but they produce new images, which don't exist, and

  8. qu’elle créent à la demande. Il peut s’agit de photographies, de peinture ou d’art numérique,

    which they create on demand. It can be photographs, paintings, or digital art,

  9. et on peut même parfois spécifier le type d’objectif photo ou le style du peintre

    and you can even sometimes specify the type of photo lens or the painter's style

  10. que l’on souhaite retrouver.

    you want to find.

  11. On appelle ces types d’algorithmes des IA génératives, car elles sont capables de

    We call these types of algorithms generative AIs, because they are capable of

  12. créer du contenu à la demande, en intégrant à la conception une part d’aléatoire,

    creating content on demand, incorporating a degree of randomness into the design,

  13. de façon à pouvoir obtenir plein de variations à partir de la même demande.

    so you can get lots of variations from the same request.

  14. Si vous avez essayé ces IA génératives, vous avez peut-être été comme moi ébahis

    If you've tried these generative AIs, you might have been, like me, amazed

  15. par leurs capacités à faire quelque chose qui semblait impossible il y a seulement quelques

    by their ability to do something that seemed impossible only a few

  16. années. Ca parait presque magique tellement ça fonctionne bien. Mais au fait, comment

    years ago. It seems almost magical, it works so well. But actually, how

  17. ça fonctionne vraiment ? Eh bien c’est ce qu’on va voir ensemble aujourd’hui

    does it really work? Well, that's what we'll see together today

  18. !

    !

  19. [jingle]

    [jingle]

  20. Commençons par quelques remarques de base sur la terminologie. Ce qu’on appelle l’intelligence

    Let's start with some basic remarks on terminology. What we call intelligence

  21. artificielle, c’est un domaine aux contours un peu flous. On peut dire que son objectif

    artificial, it's a field with somewhat blurry boundaries. One can say its goal

  22. est de réaliser à l’aide de machines, des tâches traditionnellement réalisées

    is to carry out with machines tasks traditionally performed

  23. par des humains, et dont on estime qu’elle requièrent de l’intelligence. Sans trop

    by humans, and which are deemed to require intelligence. Without over

  24. préciser le sens qu’on donne à ce terme.

    specifying the meaning given to that term.

  25. [DIAGRAMME Au sein de l’IA, il y a un champ de recherche assez bien identifié qu’on

    [DIAGRAM Within AI, there's a fairly well-identified research field that we

  26. appelle le machine learning, ou apprentissage automatique. L’idée est de s’attaquer

    call machine learning, or automatic learning. The idea is to tackle

  27. notamment à des questions d’IA, en mettant au point des algorithmes capables d’apprendre.

    notably AI questions by developing algorithms capable of learning.

  28. Et qui réalisent leur apprentissage à partir de données auxquelles ils ont accès.

    And they carry out their learning from data they have access to.

  29. Et dans le machine learning, il y a le deep learning. Et ça, c’est l’idée d’utiliser

    And within machine learning, there's deep learning. And that's the idea of using

  30. une classe assez spécifique d’algorithmes que sont les réseaux de neurones profonds,

    a fairly specific class of algorithms, namely deep neural networks,

  31. et qui ont connu un énorme succès depuis une dizaine d’années.]

    which have seen tremendous success over the past decade.]

  32. Aujourd’hui quand on utilise le terme IA, il s’agit presque systématiquement de deep

    Today when we use the term AI, it's almost systematically deep

  33. learning, tant cette approche est efficace. Je ne vais pas évoquer ici les principes

    learning, so effective is this approach. I won't discuss here the basics

  34. de base du deep learning, j’avais fait toute une vidéo sur le sujet il y a quelques temps,

    of deep learning; I made a whole video on the subject some time ago,

  35. je vous invite à aller la voir si ça vous intéresse.

    I invite you to go watch it if you're interested.

  36. Quand on parle d’algorithmes capables d’apprendre, cela fonctionne souvent selon le même principe.

    When we talk about algorithms capable of learning, it often works on the same principle.

  37. Imaginez qu’on veuille créer un algorithme qui soit capable de reconnaitre ce qu’il

    Imagine we want to create an algorithm that can recognize what's

  38. y a sur une image.

    in an image.

  39. [ALGO On veut un programme à qui on donne une image en entrée, et qui produise un mot

    [ALGO We want a program that takes an image as input and produces a word

  40. en sortie. Et on veut que cet algorithme réponde « Chat » sur cette image, sur celle-ci

    as output. And we want this algorithm to answer "Cat" on this image, on this one

  41. « Voiture », etc. Pour réaliser cela, on va utiliser ce qu’on appelle de l’apprentissage

    "Car", etc. To do this, we'll use what's called learning

  42. supervisé.

    supervised.

  43. Au départ notre algorithme va être ignorant, et répondre n’importe quoi quand on lui

    At first, our algorithm will be ignorant, and answer anything when we show it

  44. présente une image. Et puis on va lui fournir une grande base de données d’exemples.

    an image. Then we'll give it a large database of examples.

  45. C’est-à-dire des milliers d’images de chats, de voiture, de tasses, avec à chaque

    That is, thousands of images of cats, cars, cups, each with the

  46. fois la réponse qu’on attendrait de lui.]

    answer expected from it.

  47. En utilisant ces exemples, l’algorithme va peu à peu ajuster ses paramètres pour

    Using these examples, the algorithm will gradually adjust its parameters to

  48. s’améliorer, il va apprendre. Jusqu’à être capable de réaliser lui-même le travail

    improve, it will learn. Until it's able to do the job itself

  49. de façon suffisamment correcte. On dit alors que l’algorithme aura été entrainé, et

    correctly enough. We then say the algorithm has been trained, and

  50. on pourra commencer à l’utiliser.

    we can start using it.

  51. Cette façon de faire, c’est donc l’apprentissage supervisé. De façon plus générale si on

    This way of doing it is supervised learning. More generally, if we

  52. veut qu’un algorithme prenne en entrée X et réponde Y, on lui donne une base de

    want an algorithm to take input X and output Y, we give it a database

  53. données d’exemples (x,y), et on l’entraine en espèrant qu’il va finir par savoir faire

    of examples (x,y), and we train it hoping it will eventually learn to make

  54. le lien.

    the connection.

  55. C’est ce qu’on appelle parfois une tâche de prédiction, puisqu’on donne X en entrée

    This is sometimes called a prediction task, since we give X as input

  56. et on demande à l’algorithme de prédire Y. Dans mon premier exemple X ce sont des

    and ask the algorithm to predict Y. In my first example, X is images

  57. images et Y ce sont des mots. On classifie les images avec des mots. Mais le principe

    and Y is words. We classify images with words. But the principle

  58. fonctionne avec plein d’autres concepts.

    works with many other concepts.

  59. Par exemple X ce peut-être toutes les caractéristiques d’une transaction bancaire, et Y est une

    For example, X could be all the features of a bank transaction, and Y is a

  60. classification pour estimer si la transaction est frauduleuse ou pas. Ou bien X c’est

    classification to estimate if the transaction is fraudulent or not. Or X could be

  61. le texte d’un e-mail et Y c’est une classification entre Spam/Non-spam. Beaucoup des applications

    The text of an email and Y is a classification between Spam/Non-spam. Many current

  62. actuelles concrètes du machine learning reposent sur ce principe d’apprentissage supervisé,

    concrete applications of machine learning rely on this principle of supervised learning,

  63. qui permet de réaliser des tâches de prédiction.

    which allows us to carry out prediction tasks.

  64. Ca semble un peu magique présenté comme ça, de penser qu’un algorithme peut reconnaitre

    It seems a bit magical presented like that, to think that an algorithm can recognize

  65. des images et associer les bons mots, mais il faut bien voir que tout ce que fait l’algorithme,

    images and associate the right words, but we must see that all the algorithm does,

  66. c’est de manipuler des nombres. Tout se fait via des opérations mathématiques.

    is manipulate numbers. Everything happens through mathematical operations.

  67. [CHIFFRES Par exemple sur la classification des images, voici comment on fait en pratique.

    [NUMBERS For example on image classification, here's how it's done in practice.

  68. On définit d’abord un nombre fini de catégories : « Chat », « Voiture », « Tasse »,

    First we define a finite number of categories: 'Cat', 'Car', 'Cup',

  69. etc. Et on leur attribue des numéros : 1,2,3 etc. On peut faire disons 1000 catégories,

    etc. And we assign them numbers: 1,2,3 etc. We can say 1000 categories,

  70. et à chaque image de notre base de données on va associer une de ces 1000 catégories.

    and to each image in our database we will associate one of these 1000 categories.

  71. Et pour l’image elle-même, on va aussi la représenter comme une série de nombres.

    And for the image itself, we will also represent it as a series of numbers.

  72. Une image 600x600, ce sont 360 000 pixels, chacun de ces pixels va être codé en rouge/vert/bleu

    A 600x600 image is 360,000 pixels, each of these pixels will be coded in red/green/blue

  73. donc il faut 3 nombres par pixel. Au total je peux décrire complètement mon image en

    so 3 numbers per pixel are needed. In total I can completely describe my image in

  74. un peu plus d’un million de nombres.

    a little over a million numbers.

  75. Donc ce que je cherche à faire, c’est un algorithme qui prenne en entrée une série

    So what I'm trying to do is have an algorithm that takes as input a series

  76. d’un million de nombres qui représentent l’image, et qui me crache en sortie un nombre

    of a million numbers representing the image, and spits out a number

  77. entre 1 et 1000 représentant la catégorie qu’il pense être la bonne.]

    between 1 and 1000 representing the category it thinks is the right one.]

  78. On n’a pas besoin d’expliquer à l’algorithme ce qu’est une image, un chat ou une voiture;

    We don't need to explain to the algorithm what an image, a cat, or a car is;

  79. lui, il manipule juste des nombres. Et il va s’en faire une idée tout seul en essayant

    it just manipulates numbers. And it will get an idea on its own by trying

  80. de mettre en relation les valeurs des pixels des images et les 1000 catégories qu’on

    to relate the pixel values of images and the 1000 categories we

  81. aura prédéfinies.

    predefined shapes.

  82. Ces algorithmes de classification d’images fonctionnent maintenant extrêmement bien,

    These image classification algorithms now work extremely well,

  83. avec des performances proches de celles des humains. Alors intuitivement, on se dit que

    with performance close to that of humans. So intuitively, we think that

  84. ça, ça n’a pas l’air très très éloigné de ce qu’on voudrait faire pour générer

    this isn't very far from what we'd want to do to generate

  85. des images.

    images.

  86. [REVERSE Pour classifier des images existantes, en entrée X on a des images, et en sortie

    [REVERSE To classify existing images, input X is images, and output

  87. Y un mot qui les décrit, et une base de données pour réaliser l’entrainement. On n’a

    Y is a word describing them, and a database for training. We just

  88. qu’à entrainer un algorithme du même genre sur la même base de données, mais à l’envers.

    train a similar algorithm on the same database, but in reverse.

  89. On lui donne un mot en entrée, et on attend qu’il produise une image en sortie. Facile,

    We give it a word as input, and expect it to produce an image as output. Easy,

  90. non ?]

    right?]

  91. Eh bien non, ça ne marche pas comme ça. Il y a plusieurs raisons à cela. Dans une

    Well no, it doesn't work that way. There are several reasons. In a

  92. tâche de prédiction, comme la classification des images, on donne en entrée beaucoup d’informations,

    prediction task, like image classification, we input a lot of information,

  93. des centaines de milliers de pixels, et en sortie on récupère quelque chose de très

    hundreds of thousands of pixels, and we get something very

  94. limité, juste un numéro de catégorie par exemple. L’algorithme de classification

    limited in output, just a category number for example. The classification algorithm

  95. réalise en quelque sorte de la synthèse d’information.

    kind of performs information synthesis.

  96. Ici c’est l’inverse qu’on veut, on donne très peu de choses en entrée, disons juste

    Here it's the opposite we want, we input very little, say just

  97. un mot. Et on s’attend en sortie à récupérer une image entière, qui contient donc beaucoup

    a word. And we expect to get a whole image in output, which contains much

  98. plus d’information que ce qu’on a mis au départ. Ca ne peut pas marcher avec un

    more information than what we put in initially. That can't work with

  99. simple apprentissage supervisé.

    simple supervised learning.

  100. En fait si, on peut essayer. Mais ce qu’il risque de se passer c’est que notre algorithme,

    Actually, we can try. But what might happen is that our algorithm,

  101. une fois entrainé, chaque fois qu’on lui demande une image de chat il va nous ressortir

    Once trained, whenever we ask it for a cat image, it gives us back

  102. exactement l’image de chat qu’il avait dans sa base de données. Ou bien une sorte

    exactly the cat image it had in its database. Or a kind of

  103. de moyenne de toutes les images de chat qu’on lui a fournies. Et c’est pas ça qu’on

    average of all the cat images we gave it. And that's not what we

  104. veut.

    want.

  105. L’autre aspect important, c’est qu’on veut que notre algorithme de génération

    The other important aspect is that we want our image generation

  106. d’image ait une part d’aléatoire. Si je lui demande 50 fois un chat, je veux qu’il

    algorithm to have an element of randomness. If I ask it 50 times for a cat, I want it to

  107. me produise 50 images différentes, pas 50 fois le même chat.

    produce 50 different images, not the same cat 50 times.

  108. Générer ça n’est pas la même chose que prédire. Donc vous voyez que pour créer

    Generating this is not the same as predicting. So you see that to create

  109. des images à partir d’un texte, prendre une approche traditionnelle de prédiction

    images from text, taking a traditional prediction approach

  110. par apprentissage supervisé, eh bien ça ne va pas marcher. Il faut faire autrement.

    through supervised learning just won't work. We need to do something else.

  111. Alors voyons comment.

    So let's see how.

  112. [jingle]

    [jingle]

  113. En 2014, une première façon de faire assez efficace a été proposée par une équipe

    In 2014, a fairly effective first method was proposed by a team

  114. de l’Université de Montréal : les réseaux adversariaux génératifs, ou GAN en anglais.

    from the University of Montreal: generative adversarial networks, or GANs in English.

  115. Alors qu’est-ce que ça veut dire ce truc. Pour voir ça, prenons un problème plus simple

    So what does that mean? To see this, let's take a simpler problem

  116. que celui que j’ai évoqué. Imaginons pour commencer que je veuille uniquement créer

    than the one I mentioned. Imagine for starters that I only want to create

  117. des images de chat.

    cat images.

  118. [GAN Je dispose d’une grande base de données d’images de chat, je veux juste être capable

    [GAN I have a large database of cat images, I just want to be able

  119. d’en créer plein d’autres, de nouvelles, qui n’existent pas initialement dans la

    to create lots more, new ones, that don't initially exist in the

  120. base, et qui ressemblent bien à des chats. Pour cela, je vais entrainer non pas un, mais

    database, and that look like cats. To do that, I'm going to train not one, but

  121. deux réseaux de neurones.

    two neural networks.

  122. Le premier, on va l’appeler le faussaire. Il aura pour rôle de générer aléatoirement

    The first one, we'll call it the forger. Its role will be to randomly generate

  123. des images à partir d’une série de paramètres. Et le deuxième, on va l’appeler l’expert,

    images from a set of parameters. And the second one, we'll call it the expert,

  124. et sa tâche va être simple : si on lui présente une image, il va devoir apprendre à reconnaitre

    and its task will be simple: if you show it an image, it will have to learn to recognize

  125. si l’image est une vraie image de chat, qui provient de la base, ou bien une image

    whether the image is a real cat image, from the database, or an image

  126. inventée.

    that's made up.

  127. Rappelez-vous le principe de l’apprentissage, au début ces algorithmes sont mauvais. Le

    Remember the principle of learning, at first these algorithms are bad. The

  128. faussaire, quand on lui demande de produire une image de chat, il va produire des images

    forger, when asked to produce a cat image, will produce images

  129. de ce genre, du bruit complet. Et l’expert, quand on lui présente deux images en lui

    like this, pure noise. And the expert, when shown two images and asked

  130. demandant quelle est la « vraie », au début il va répondre au pif.

    which one is the “real” one, at first it will answer randomly.

  131. Et puis à force d’essais et d’erreurs, ces réseaux vont progresser car à chaque

    And then through trial and error, these networks will improve because each

  132. fois on leur donne le résultat. On indique au faussaire s’il a réussi à berner l’expert.

    time they're given the result. The forger is told if it managed to fool the expert.

  133. Et l’expert lui sait s’il a correctement discriminé les images qu’on lui présente.

    And the expert knows if it correctly distinguished the images shown to it.

  134. Au départ, l’expert va assez vite apprendre à reconnaitre les vrais chats des fausses

    At the start, the expert will quickly learn to tell real cats from fake

  135. images, qui sont initialement assez pourries. Et puis peu à peu le faussaire va progresser

    images, which are initially quite bad. And then little by little the forger will improve

  136. et faire des images qui seront de mieux en mieux, et ça va forcer l’expert à améliorer

    and make images that get better and better, and that will force the expert to raise

  137. son niveau.]

    its level.

  138. Et en laissant les deux s’entrainer ensemble suffisamment longtemps, on finira si tout

    And by letting the two train together long enough, we'll end up, if all

  139. va bien par avoir un faussaire capable de produire des images très semblables aux vraies,

    goes well, with a forger capable of producing images very similar to real ones,

  140. et un expert qui aura bien du mal à faire la différence. Ce principe d’entrainement,

    and an expert that will have a hard time telling the difference. This training principle,

  141. on l’appelle « adversarial », puisque les deux réseaux de neurones s’affrontent

    we call it “adversarial”, since the two neural networks compete against each other

  142. et progressent de concert. C’est comme si vous demandiez à deux joueurs de foot de

    and progress together. It's like asking two football players to

  143. s’entrainer ensemble : l’un fait le tireur de pénalty et l’autre le gardien, avec

    train together: one takes penalties and the other is the goalkeeper, with

  144. l’idée qu’ils vont conjointement progresser.

    the idea that they'll both improve jointly.

  145. Ces réseaux adversariaux génératifs, ou GAN, existent maintenant depuis plusieurs

    These generative adversarial networks, or GANs, have existed for several

  146. années, et vous les avez certainement vus à l’oeuvre si vous connaissez le site This

    years now, and you've certainly seen them in action if you know the site This

  147. Person Does Not Exist.

    Person Does Not Exist.

  148. [THIS PERSON Sur ce site, on a des réseaux ont été entrainé à partir de photos de

    [THIS PERSON On this site, networks have been trained from photos of

  149. visages, et qui sont donc excellent à inventer de nouveaux visages de toute pièce. Il y

    faces, and are therefore excellent at inventing brand-new faces from scratch. There

  150. a parfois des défauts mineurs mais dans l’ensemble c’est assez bluffant.

    are sometimes minor flaws, but overall it's quite impressive.

  151. Dans le même genre, vous avez aussi pour les voitures This Car Does Not Exist, pour

    In the same vein, you also have for cars This Car Does Not Exist, for

  152. les maisons This House Does Not Exist, et ah oui, bien évidemment : This Cat Does Not

    houses This House Does Not Exist, and oh yes, of course: This Cat Does Not

  153. Exist.]

    Exist.]

  154. Ce type d’algorithme donc est très efficace pour produire des images d’un type donné

    This type of algorithm is thus very effective at producing images of a given type

  155. et fixé à l’avance. Si l’entrainez sur des chats, il vous fera des chats. Mais vous

    and fixed in advance. If you train it on cats, it'll make cats. But you

  156. voyez qu’on n’est pas encore au stade où on peut rentrer librement du texte et

    can see we're not yet at the stage where you can freely enter text and

  157. avoir une image qui mélange plusieurs concepts.

    get an image that mixes several concepts.

  158. On va y venir, mais avant ça, prenons un peu de recul et essayons de comprendre la

    We'll get there, but before that, let's step back and try to understand the

  159. différence entre ce que font les réseaux génératifs, et l’apprentissage supervisé

    difference between what generative networks do, and the supervised learning

  160. qu’on a vu avant, celui qui permet par exemple de classifier des images.

    we saw before, the one that allows for example classifying images.

  161. [COMPARAISON Dans l’apprentissage supervisé, on donne X en entrée, et on attend que l’algorithme

    [COMPARISON In supervised learning, you give X as input, and you expect the algorithm

  162. nous prédise Y en sortie, et pour ça on lui donne plein d’exemples de X et de Y.

    we predict Y as output, and for that we give it lots of examples of X and Y.

  163. Avec les réseaux génératifs, on donne plein de X en entrée, par exemple des images de

    With generative networks, we give lots of X as input, for example images of

  164. chat, et on dit à l’algorithme « Vas-y donne m’en d’autres ».]

    cats, and we tell the algorithm: "Go ahead, give me more of them."

  165. [2D Essayons de se représenter la différence en imaginant qu’il n’y ait que deux dimensions.

    [2D] Let's try to picture the difference by imagining there are only two dimensions.

  166. Par exemple si X et Y sont chacun de simples nombres réels. Dans ce cas là on peut représenter

    For example, if X and Y are each simple real numbers. In that case, we can represent

  167. chaque exemple (x,y) de la base de données comme un point dans un diagramme en 2D.

    each example (x,y) in the database as a point in a 2D diagram.

  168. Dans l’apprentissage supervisé, on veut que l’algorithme puisse prédire Y à partir

    In supervised learning, we want the algorithm to predict Y from

  169. de X. Donc en gros on veut que notre algorithme arrive à faire une sorte de régression,

    X. So basically we want our algorithm to manage to do some kind of regression,

  170. qui lui permette de deviner à peu près la valeur de Y si on lui présente une nouvelle

    which lets it roughly guess the value of Y if we present it with a new

  171. valeur de X qu’il n’a jamais vu dans la base.

    value of X it has never seen in the database.

  172. Ok maintenant comment ça se passe pour un algorithme génératif, à qui on demande

    Okay, now how does it work for a generative algorithm, which we ask

  173. de construire de nouveaux exemples à partir d’une liste de X. Imaginez que dans mon

    to build new examples from a list of X. Imagine that in my

  174. cas X soit en 2 dimensions, donc décrit par deux nombres. Deux c’est pas beaucoup, tout

    case X is in 2 dimensions, so described by two numbers. Two isn't much, just

  175. à l’heure une image on a dit que c’était 1 million valeurs, mais nous on va en regarder

    now an image we said was 1 million values, but we're going to look at only

  176. que deux. Appelons les x1 et x2.

    two. Let's call them x1 and x2.

  177. Donc ma base d’exemple c’est une liste de valeurs (x1,x2). Imaginez que je représente

    So my example database is a list of values (x1,x2). Imagine I represent

  178. chaque exemple dans un diagramme et que j’obtienne ça. Ou bien ça. Manifestement il se passe

    each example in a diagram and I get that. Or that. Clearly, something is going on.

  179. quelque chose. Dans mon premier cas on voit que tous les exemples sont groupés dans un

    In my first case, we see all examples are grouped in a

  180. certain coin. Dans mon second cas, on voit qu’il y a comme une structure sous-jacente.

    certain corner. In my second case, we see there's like an underlying structure.

  181. Si on me présentait une base de données de ce genre, je serai capable de dire quelque

    If I were presented with a database of this kind, I'd be able to say something

  182. chose d’intéressant sur la façon dont sont répartis les exemples, sur leur distribution.

    interesting thing about how examples are distributed, their distribution.

  183. Ils ne sont pas quelconques, il ne sont qu’une petite partie de l’espace total des possibilités.

    They aren't arbitrary, they're only a small part of the total space of possibilities.

  184. Et avec les images de chat c’est pareil. Ok il y a 1 million de dimensions donc c’est

    And with cat images it's the same. Okay, there are 1 million dimensions, so it's

  185. dur à visualiser, mais les images de chat sont ne sont pas des images quelconques. Dans

    hard to visualize, but cat images aren't arbitrary images. In

  186. l’espace immense de toutes les images possibles et imaginables, les images de chat ne sont

    the immense space of all possible and imaginable images, cat images are only

  187. qu’une minuscule région. Et ce qu’on veut faire, c’est en savoir plus sur cette

    a tiny region. And what we want to do is learn more about this

  188. région.

    region.

  189. Car si on arrive à dire un truc intelligent sur la manière dont sont distribués les

    Because if we can say something smart about how examples in a database are distributed,

  190. exemples d’une base de données, on sera capable de faire de l’échantillonnage.

    we'll be able to do sampling.

  191. C’est à dire de produire de nouveaux points qui ont de bonnes chances d’être du même

    That is, to produce new points that have a good chance of being the same

  192. genre.

    kind.

  193. Dans mes exemples simples en deux dimensions, si je considère par exemple ces points-ci.

    In my simple two-dimensional examples, if I consider for instance these points here.

  194. Ou ceux-là dans le diagramme d’à côté. Ce sont des points qui n’étaient pas dans

    Or those in the diagram next door. These are points that weren't in

  195. les bases initiales, mais dont on a bien envie de parier qu’ils auraient pu y figurer,

    the initial databases, but we'd bet they could have been there,

  196. qu’ils ont certainement les mêmes caractéristiques qui nous intéressent.

    that they certainly have the same characteristics that interest us.

  197. Et pareil pour mes chats, je voudrais être capable de créer une image qui soit nouvelle,

    And same for my cats, I'd like to be able to create an image that's new,

  198. et que j’aille la prendre dans la sous-région qui contient les images de chat.]

    and take it from the sub-region that contains cat images.

  199. Et vous voyez que cette gymnastique est différente de l’apprentissage supervisé. On ne fait

    And you see this exercise is different from supervised learning. We're not

  200. pas de la prédiction au sens on me donne X et je prédis Y. Non, ici, on a ce qu’on

    doing prediction in the sense of give me X and I predict Y. No, here, we have what we

  201. appelle de l’apprentissage non-supervisé.

    call unsupervised learning.

  202. L’apprentissage non-supervisé, c’est quand on a des données en entrée qui ne

    Unsupervised learning is when we have input data that

  203. sont pas séparées en X et Y, ce sont juste des exemples X, et qu’on essaye de comprendre

    is not split into X and Y, they're just X examples, and we try to understand

  204. comment ces X sont distribués dans l’espace de toutes les possibilités. De façon à

    how these X's are distributed in the space of all possibilities. So that

  205. pouvoir, par exemple, en générer de nouveaux par échantillonnage.

    we can, for example, generate new ones by sampling.

  206. Evidemment à nouveau d’une part ça ne se passe pas dans un espace à deux dimensions,

    Obviously again, on one hand this doesn't happen in a two-dimensional space,

  207. et d’autre part les régions qu’on cherche à identifier n’ont pas des formes simples.

    and on the other hand the regions we're trying to identify aren't simple shapes.

  208. Ca se voit très bien par exemple par le fait que la moyenne de deux images de chat ne donne

    This is very visible, for example, in the fact that the average of two cat images doesn't give

  209. pas une bonne image de chat.

    a good cat image.

  210. Mais si vous arrivez à correctement caractériser la région dans laquelle se trouvent toutes

    But if you manage to correctly characterize the region in which all

  211. les images de chat de votre base initiale, vous pouvez avec une certaine confiance échantillonner

    the cat images from your initial base are, you can with some confidence sample

  212. de nouvelles images en allant chercher au même endroit.

    new images by going to the same place.

  213. Bien, donc générer de nouvelles images, ça n’est pas une tâche d’apprentissage

    Well, so generating new images isn't a supervised learning task

  214. supervisé mais c’est une tâche d’apprentissage non-supervisé. Et on l’a dit, les réseaux

    but it is an unsupervised learning task. And as we said, adversarial

  215. adversariaux GAN marchent bien pour ça, mais ne fonctionnent que si on donne plein d’exemples

    GAN networks work well for this, but only work if you give plenty of examples

  216. en entrée. Et il faut le faire pour chaque type de catégorie qu’on veut générer

    as input. And you have to do it for each type of category you want to generate

  217. : des chats, des voitures, des appartements, etc.

    : cats, cars, apartments, etc.

  218. Les applications sont donc limitées, et cela explique que l’on n’ait pas vu de choses

    The applications are therefore limited, and this explains why we haven't seen anything

  219. très spectaculaire depuis This Person Does Not Exist. Sauf depuis l’été 2022 avec

    very spectacular since This Person Does Not Exist. Except since summer 2022 with

  220. l’apparition de DALL·E et Stable Diffusion, qui n’utilisent pas les GAN. Et donc voyons

    the appearance of DALL·E and Stable Diffusion, which don't use GANs. So let's look

  221. maintenant cette nouvelle technique qui fait fureur en ce moment : les algorithmes de diffusion.

    now at this new technique that's all the rage right now: diffusion algorithms.

  222. [jingle]

    [jingle]

  223. Avant de voir comment les algorithmes de diffusion sont capables de créer des images en prenant

    Before seeing how diffusion algorithms can create images starting from

  224. un texte libre comme point de départ, voyons déjà comment ils fonctionnent sur la même

    free text, let's see how they work on the same

  225. tâche que celle des GAN : générer plus d’images d’un type donné. Le principe

    task as GANs: generating more images of a given type. The principle

  226. de base est assez simple, et ça semble presque miraculeux que cela fonctionne.

    is quite simple, and it almost seems miraculous that it works.

  227. [BRUIT Imaginez une image de chat. Je peux essayer de dégrader cette image en la bruitant.

    [NOISE Imagine a cat image. I can try to degrade it by adding noise.

  228. C’est facile, je génère une image qui est du pur bruit, c’est-à-dire que chaque

    That's easy, I generate an image that is pure noise, i.e., each

  229. pixel a une couleur totalement aléatoire. Et puis je mélange les deux images avec certaines

    pixel has a totally random color. Then I mix both images with certain

  230. proportions. Disons 95% de chat et 5% de bruit.

    proportions. Say 95% cat and 5% noise.

  231. J’obtiens une image de chat légèrement dégradée. Et ce que je vais faire, c’est

    I get a slightly degraded cat image. What I'll do is

  232. d’abord une étape d’apprentissage supervisé : je vais entrainer un réseau de neurones

    first a supervised learning step: I'll train a neural network

  233. à débruiter les images.

    to denoise images.

  234. C’est à dire que je crée une base de données avec en entrée des images bruitées et en

    That is, I create a database with noisy images as input and

  235. sortie les images d’origine. Et je donne ça à mon réseau pour lui apprendre à enlever

    original images as output. I give that to my network to teach it to remove

  236. le bruit. Ici il doit enlever 5% de bruit.

    noise. Here it must remove 5% noise.

  237. Et ce qui est intéressant, c’est que je peux faire ça avec différents niveaux de

    What's interesting is that I can do this with different noise

  238. bruit. Par exemple je peux bruiter une image à 45% et à 50%, et entrainer mon réseau

    levels. For example, I can add noise to an image at 45% and 50%, and train my network

  239. à retirer 5% de bruit pour passer de 50 à 45. Et pareil avec 90 et 95%.

    to remove 5% noise to go from 50 to 45. Same with 90 and 95%.

  240. Donc si j’ai une base de données d’images de chat, je peux toutes les bruiter à plein

    So if I have a database of cat images, I can add noise to all of them at many

  241. de niveaux différent niveaux et entrainer mon algorithme avec. Et à la fin de son entrainement,

    different levels and train my algorithm with that. At the end of its training,

  242. mon algorithme sera devenu super fort à débruiter des images de chat.]

    my algorithm will have become super good at denoising cat images.]

  243. Maintenant une fois que mon algorithme de débruitage est entrainé, imaginez que je

    Now, once my denoising algorithm is trained, imagine that I

  244. lui donne une image qui soit 100% de bruit, j’ai tiré chaque pixel au hasard. Et que

    give it an image that is 100% noise; I drew each pixel at random. And that

  245. je lui dise : vas-y débruite là progressivement. Retire 5% de bruit, puis encore 5%, puis encore

    I tell it: go ahead, denoise this progressively. Remove 5% noise, then another 5%, then another

  246. 5%. Qu’est-ce qu’il va se passer ?

    5%. What will happen?

  247. [DEBRUITAGE Eh bien comme mon algorithme aura été uniquement entrainé à débruiter des

    [DENOISING Well, since my algorithm will have been trained only to denoise

  248. images de chats, il va progressivement m’inventer une image de chat à partir du bruit initial.

    images of cats, it will progressively invent a cat image for me from the initial noise.

  249. Et cette image ne sera aucune des images de la base initiale, ce sera une nouvelle image.

    And this image won't be any of the images in the initial base; it will be a new image.

  250. Il va en quelque sorte « halluciner » une image de chat à partir du pur bruit qu’on

    It will, in a way, "hallucinate" a cat image from the pure noise we

  251. lui donne en entrée.

    give it as input.

  252. Et en faisant ça, notre algorithme fait de l’échantillonnage parmi la distribution

    And by doing this, our algorithm samples from the distribution

  253. de toutes les images de chat possibles et imaginables. On tire un bruit au hasard, et

    of all possible and imaginable cat images. We draw random noise, and

  254. il nous fait une image de chat avec. Cet échantillonnage est donc une forme d’apprentissage non-supervisé

    it makes a cat image with it. This sampling is thus a form of unsupervised learning

  255. de la distribution des images de chat.]

    of the distribution of cat images.]

  256. Cette idée de génération à partir d’un débruitage progressif, c’est ça qu’on

    This idea of generation from progressive denoising—that's what

  257. appelle les méthodes de diffusion. La technique a été proposée il y a quelques années

    we call diffusion methods. The technique was proposed a few years ago

  258. déjà, mais elle vient de connaitre une accélération grâce à de nombreuses améliorations récentes.

    already, but it has just seen acceleration thanks to many recent improvements.

  259. A ce stade de ma description, ce type d’approche ne fait pas mieux que les GAN. Si vous faites

    At this stage of my description, this type of approach doesn't do better than GANs. If you do

  260. ça avec des images de voiture au lieu d’images de chat, vous allez entrainer un réseau de

    this with images of cars instead of cat images, you'll train a denoising

  261. débruitage qui aura la capacité à halluciner des images de voiture. Donc on peut génèrer

    network that has the ability to hallucinate car images. So we can generate

  262. des images d’un certain type à condition d’en avoir donné suffisamment d’exemples

    images of a certain type, provided we've given enough examples of them

  263. en entrée, et de refaire l’entrainement.

    as input, and to redo the training.

  264. Mais il est possible d’étendre le concept pour le rendre plus polyvalent. Vous vous

    But it is possible to extend the concept to make it more versatile. You

  265. souvenez du problème de classification d’images : on a une grande base de données d’images,

    remember the image classification problem: we have a large database of images,

  266. et chacune est associée à une classe : chat, voiture, visage, etc. Ce qu’on peut faire,

    and each one is associated with a class: cat, car, face, etc. What we can do,

  267. c’est traiter tout d’un coup.

    is process everything at once.

  268. [CONDITIONNEMENT Pour ça on va bruiter ces images et les donner à notre algorithme pour

    For that we will add noise to these images and give them to our algorithm so

  269. qu’il apprenne à les débruiter, mais en lui spécifiant à chaque fois la catégorie

    it learns to denoise them, but specifying each time the category

  270. à laquelle appartient chaque image.

    to which each image belongs.

  271. L’algorithme de débruitage sera ainsi capable de s’ajuster en fonction de la catégorie.

    The denoising algorithm will thus be able to adjust based on the category.

  272. C’est un principe qu’on appelle le conditionnement. On va conditionner notre débruitage par la

    This is a principle called conditioning. We will condition our denoising by the

  273. catégorie de l’image.

    category of the image.

  274. Et si on fait ça avec une base de données suffisamment grande, une fois l’entrainement

    And if we do that with a sufficiently large database, once the training

  275. terminé on aura un algorithme capable d’halluciner une image en étant conditionné par une classe.

    is done we will have an algorithm capable of hallucinating an image conditioned by a class.

  276. Si on lui dit voiture il va halluciner une voiture, et chat il va halluciner un chat.]

    If we tell it car it will hallucinate a car, and cat it will hallucinate a cat.

  277. Alors c’est bien, mais ça n’est pas encore tout à fait ce qu’on veut. Ici on est limités

    So that's good, but it's not quite what we want yet. Here we are limited

  278. par les catégories qui ont été choisies au départ pour classifier les images. Or

    by the categories chosen at the start to classify the images. However

  279. vous voyez que dans DALLE ou Stable Diffusion, on peut entrer librement du texte, faire des

    you see that in DALLE or Stable Diffusion, you can freely enter text, make

  280. phrases, des descriptions. Comment on procède ?

    sentences, descriptions. How do we proceed?

  281. Eh bien il va falloir faire appel à certains algorithmes de traitement du langage naturel,

    Well, we will need to use certain natural language processing algorithms,

  282. comme ceux que j’évoquais dans ma vidéo sur le sujet. Et notamment les algorithmes

    like those I mentioned in my video on the subject. And notably the algorithms

  283. permettant de faire ce qu’on appelle de du plongement, embedding en anglais.

    allowing for what's called embedding, embedding in English.

  284. [EMBEDDING L’idée du plongement, c’est de partir d’un mot ou d’un phrase, et

    [EMBEDDING The idea of embedding is to start from a word or phrase, and

  285. de lui associer une série de nombres qui en quelque sorte représente numériquement

    associate with it a series of numbers that, in a way, numerically represents

  286. son sens, sa signification. Mais plongée dans un espace mathématique abstrait. De

    its meaning, its significance. But embedded in an abstract mathematical space. So

  287. façon à ce que deux phrases proches aient des plongements qui soient proches.]

    that two close phrases have embeddings that are close.]

  288. Il existe des réseaux de neurones qui peuvent réaliser ces plongements, et si on les utilise

    There are neural networks that can perform these embeddings, and if you use them

  289. avec un algorithme de diffusion, on peut alors utiliser le plongement pour conditionner le

    with a diffusion algorithm, you can then use the embedding to condition the

  290. débruitage.

    denoising.

  291. [CONDITIONNEMENT Ca marche comme tout à l’heure, mais au lieu d’être conditionné par une

    [CONDITIONING It works like before, but instead of being conditioned by a

  292. catégorie d’image, notre processus de débruitage sera conditionné par le plongement de la

    image category, our denoising process will be conditioned by the embedding of the

  293. description de l’image.

    image description.

  294. En pratique, on prend des toujours des images mais cette fois accompagnées d’une description

    In practice, we still take images but this time accompanied by a free

  295. libre, par exemple une légende. On calcule le plongement de la légende, et on entraine

    description, for example a caption. We compute the embedding of the caption, and we train

  296. notre réseau à débruiter ces images, tout en étant conditionné par le plongement de

    our network to denoise these images, while being conditioned by the embedding of

  297. la légende.

    the caption.

  298. Et si on fait ça avec suffisamment d’images légendées, eh bien on obtient un algorithme

    And if we do this with enough captioned images, well, we get an algorithm

  299. de génération d’image à partir d’une description.

    for generating images from a description.

  300. Vous tapez un texte, l’algorithme calcule son plongement. Il génère ensuite une image

    You type text, the algorithm computes its embedding. It then generates an image

  301. 100% bruitée et ensuite va la débruiter progressivement, tout en étant conditionné

    100% noisy and then gradually denoises it, while being conditioned

  302. par le plongement de la description qu’on a donné.

    by the embedding of the description you gave.

  303. Et si tout va bien l’algorithme va halluciner une image en prenant comme contexte la description

    And if everything goes well, the algorithm will hallucinate an image using the description as context

  304. qu’on a donné.]

    we gave.]

  305. Voici dans les grandes lignes comment fonctionnent les algorithmes de diffusion comme Stable

    Here’s a broad outline of how diffusion algorithms like Stable

  306. Diffusion ou encore DALLE. Bon il y a encore pas mal de subtilités mais je pense que la

    Diffusion or even DALL-E work. There are still quite a few subtleties, but I think the

  307. vidéo est déjà bien assez lourde, et je vous renvoie au billet de blog qui accompagne

    video is already heavy enough, and I’ll refer you to the blog post accompanying

  308. la vidéo si vous voulez plus de détails techniques.

    the video if you want more technical details.

  309. Avant de conclure, il y a un point que je dois quand même évoquer, ce sont les problèmes

    Before concluding, there’s one point I must still bring up, and that’s the ethical

  310. éthiques et juridiques posés par ces algorithmes. Il y a bien sûr la possibilité qu’ils

    and legal issues raised by these algorithms. There’s of course the possibility they

  311. offrent de créer de fausses images ayant l’air complètement plausibles, donc potentiellement

    offer to create fake images that seem completely plausible, so potentially

  312. de faire de la désinformation avec.

    to spread misinformation with them.

  313. Il y aussi les question de propriété intellectuelle, puisque ces algorithmes ont été entrainés

    There are also intellectual property questions, since these algorithms were trained

  314. à partir d’images trouvées sur Internet, et qui ne sont pas forcément libres de droits.

    on images found on the Internet, which aren’t necessarily royalty-free.

  315. C’est particulièrement criant pour les dessins ou l’art numérique en général,

    This is especially striking for drawings or digital art in general,

  316. puisqu’on peut demander à l’algorithme d’imiter le style d’un artiste sans que

    since you can ask the algorithm to imitate an artist’s style without

  317. ce dernier ait eu son mot à dire.

    that artist having had any say.

  318. Ces questions sont plus complexes qu’il n’y parait, et je n’ai pas vraiment les

    These questions are more complex than they seem, and I don’t really have the

  319. compétences artistiques ou juridiques pour les traiter correctement. D’autant que les

    artistic or legal skills to address them properly. Especially since

  320. choses évoluent très vite et qu’il y aura certainement des effets de jurisprudence.

    things are evolving very fast and there will certainly be case-law effects.

  321. Donc gardez à l’esprit ces interrogations car on risque d’entendre parler pas mal

    So keep these concerns in mind, because we’re likely to hear quite a bit about them

  322. prochainement.

    very soon.

  323. Voilà c’est tout pour aujourd’hui, merci d’avoir suivi cette vidéo. N’hésitez

    Well, that's it for today, thanks for watching this video. Don't hesitate

  324. pas à aller voir mes vidéos connexes sur le deep learning ou le traitement du langage.

    to check out my related videos on deep learning or language processing.

  325. Abonnez-vous si ça n’est pas déjà le cas et n’hésitez pas à venir vérifier

    Subscribe if you haven't already, and feel free to come check

  326. régulièrement les nouvelles vidéos, même si Youtube ne vous les propose plus.

    new videos regularly, even if YouTube no longer suggests them.

  327. Pour celles et ceux que ça intéresse, j’ai aussi créé récemment un serveur Discord

    For those interested, I also recently created a community Discord server.

  328. communautaire, n’hésitez pas à le rejoindre pour venir discuter. Le lien est en description.

    Feel free to join it to come chat. The link is in the description.

  329. Et moi je vous dit à très vite pour de nouvelles vidéos. A bientôt.

    And I'll tell you, see you soon for new videos. Bye for now.

Video and French captions: Comment ces IA inventent-elles des images ? by ScienceEtonnante. English: machine translation.

Words at C2

More C2 videos

Help me keep building French Atlas

If this site has helped you study, your support helps me keep improving it.