How ChatGPT works internally

C227 minScienceEtonnante

« C’est incroyable, ChatGPT est une intelligence artificielle consciente »

"It's incredible, ChatGPT is a conscious artificial intelligence"

Transcript

  1. « C’est incroyable, ChatGPT est une intelligence artificielle consciente »

    "It's incredible, ChatGPT is a conscious artificial intelligence"

  2. « C’est nul, il répète des trucs faux lu sur Internet, et il ne sait même faire

    "It's lame, it repeats false stuff read online, and it can't even do

  3. 12 + 33 »

    12 + 33"

  4. Oui, je sais, tout le monde a déjà beaucoup parlé de ChatGPT. Et la plupart des réactions

    Yes, I know, everyone has already talked a lot about ChatGPT. And most reactions

  5. qu’on trouve dans la presse ou sur les réseaux sociaux ont tendance à tomber dans un extrême

    found in the press or on social media tend to fall into one extreme

  6. ou un autre, en se basant juste sur quelques exemples bien choisis. Mais si on allait un

    or another, based just on a few well-chosen examples. But what if we went a

  7. peu plus loin ?

    little further?

  8. Dans une vidéo précédente, j’avais déjà traité la question de ces algorithmes qui

    In a previous video, I had already covered the question of these algorithms that

  9. savent manipuler des mots, des phrases, des textes; ce domaine qu’on appelle le traitement

    can manipulate words, sentences, texts; this field called natural

  10. du langage naturel. Et à l’époque j’avais notamment parlé du fameux modèle GPT d’OpenAI.

    language processing. And back then I had notably talked about OpenAI's famous GPT model.

  11. Mais c’était en novembre 2021, et donc avant la déferlante ChatGPT.

    But that was in November 2021, so before the ChatGPT wave.

  12. Car oui, GPT et ChatGPT c’est pas tout à fait pareil. Et aujourd’hui, je voudrais

    Because yes, GPT and ChatGPT are not quite the same. And today, I'd like

  13. justement faire la lumière sur le fonctionnement et la différence qu’il existe entre ChatGPT,

    to shed light on how ChatGPT works and the difference between it,

  14. qui est en quelque sorte le produit commercial d’OpenAI, et GPT qui est le modèle d’intelligence

    which is in a way OpenAI's commercial product, and GPT, which is the artificial

  15. artificielle qui lui sert de base.

    intelligence model that serves as its basis.

  16. Et je suis persuadé qu’en comprenant un peu mieux tout cela, ça permettra d’avoir

    And I'm convinced that understanding all this a bit better will allow

  17. un regard plus affiné sur les questions que pose ChatGPT, les possibilités qu’il offre,

    a more refined view of the questions ChatGPT raises, the possibilities it offers,

  18. les dangers qu’il représente, et sur ce qu’il faut en attendre, ou au contraire

    the dangers it represents, and what to expect from it, or conversely

  19. ne pas en attendre. Alors c’est parti.

    what not to expect. So let's go.

  20. Mais avant ça je voudrais vous parler d’un super VPN que j’utilise…non je déconne.

    But before that, I'd like to tell you about a great VPN I use...no, just kidding.

  21. Par contre je profite de cette interruption pour vous inviter à rejoindre le serveur

    By the way, I'll take this break to invite you to join the server

  22. Discord que j’ai créé, le lien est en description. Et c’est le meilleur moyen

    Discord I created, the link is in the description. And it's the best way

  23. de venir prolonger la discussion, papoter, poser des questions à moi ou à d’autres

    to extend the discussion, chat, ask questions to me or others

  24. etc. Venez c’est sympa. Fin de la parenthèse. Revenons à ChatGPT.

    etc. Come on, it's fun. End of digression. Let's get back to ChatGPT.

  25. Comme vous le savez sans doute, ChatGPT c’est un chatbot, un « agent conversationnel »

    As you probably know, ChatGPT is a chatbot, a "conversational agent"

  26. en bon français, c’est-à-dire un programme qui se propose de dialoguer avec vous, notamment

    in proper French, i.e. a program that aims to talk with you, especially

  27. dans le but de vous renseigner ou vous aider. Les chatbots ça existe depuis longtemps,

    to inform or help you. Chatbots have been around for a long time,

  28. et la plupart fonctionnent selon un principe de détection de mot-clés.

    and most work on a keyword detection principle.

  29. [MIA On en trouve par exemple sur certains sites Internet pour faire de l’assistance,

    [MIA For instance, they're found on some websites for support,

  30. et ça marche plus ou moins bien on va dire. Il faut vraiment tomber sur les bons mots-clés

    and it works more or less well, let's say. You really have to hit the right keywords

  31. pour que l’échange soit utile.]

    for the exchange to be useful.]

  32. Mais depuis quelques années, il devient possible de développer des chatbots qui ne sont plus

    But in recent years, it's become possible to develop chatbots that are no longer

  33. programmés à la main, à partir de mots-clés définis à l’avance, mais en utilisant

    hand-programmed with pre-defined keywords, but by using

  34. des modèles issus de cette branche de l’intelligence artificielle qu’on appelle le « machine

    models from the branch of artificial intelligence called "machine

  35. learning. »

    learning."

  36. J’en ai souvent parlé, l’approche la plus fréquente en machine learning c’est

    I've often talked about it; the most common approach in machine learning is

  37. ce qu’on appelle l’apprentissage supervisé. Rappelons vite-fait l’exemple classique

    what's called supervised learning. Let's quickly recall the classic example

  38. de la reconnaissance d’image. Imaginons qu’on veuille fabriquer un algorithme qui

    of image recognition. Imagine we want to build an algorithm that

  39. sache reconnaitre ce qu’il y a sur une image.

    can recognize what's in an image.

  40. [SUPERVISE On choisit un modèle avec plein de paramètres, à qui on peut présenter

    [SUPERVISED We choose a model with lots of parameters, which we can present

  41. une image en entrée, et qui va produire un mot en sortie. Initialement le modèle va

    an input image, which will produce a word as output. Initially, the model will

  42. raconter n’importe quoi, mais on va progressivement l’entrainer en lui présentant plein d’exemples

    say anything at all, but we'll gradually train it by showing it lots of examples

  43. de ce qu’on souhaite qu’il fasse.

    of what we want it to do.

  44. On prend une grosse base de données d’images qui sont déjà classifiées, on présente

    We take a large database of images that are already classified, and we present

  45. successivement ces exemples à notre modèle, et on ajuste ses paramètres pour qu’il

    these examples to our model one after another, and we adjust its parameters so it

  46. produise le maximum de bonnes réponses. C’est ce qu’on appelle la phase d’entrainement,

    produces the maximum number of correct answers. This is what we call the training phase,

  47. qui peut durer assez longtemps, et qui demande souvent beaucoup de données.

    which can last quite a while, and often requires a lot of data.

  48. Une fois que c’est fait, le modèle est donc entrainé, et il peut être utilisé.

    Once that's done, the model is trained, and it can be used.

  49. Si l’entrainement a été un succès, quand on lui présentera ensuite des images qu’il

    If the training was a success, when we later show it images it

  50. n’a jamais vues, notre modèle devrait leur associer la bonne classification.]

    has never seen, our model should associate the right classification with them.

  51. Ce principe d’apprentissage supervisé a déjà des tas d’applications concrètes,

    This principle of supervised learning already has tons of concrete applications,

  52. comme la reconnaissance d’image, la détection de fraude ou de spam, etc. Alors intuitivement,

    like image recognition, fraud or spam detection, etc. So intuitively,

  53. si on veut faire un chatbot, on se dit qu’on pourrait avoir la même approche.

    if we want to make a chatbot, we think we could have the same approach.

  54. Un chatbot est censé nous fournir certaines réponses pertinentes quand on lui pose des

    A chatbot is supposed to provide us with some relevant answers when we ask it

  55. questions. Donc on pourrait entrainer un modèle à partir d’une base de données de questions/réponses

    questions. So we could train a model from a database of existing question/answer pairs,

  56. existantes, en espérant qu’ainsi il apprenne à répondre intelligemment à n’importe

    hoping that this way it learns to respond intelligently to any

  57. quel type de requête.

    kind of query.

  58. Le problème, c’est que cette approche n’est pas très efficace. On peut citer plusieurs

    The problem is that this approach isn't very effective. We can cite several

  59. raisons. Déjà pour que ça marche, il faudrait une énorme quantité de données, c’est

    reasons. First, for it to work, we'd need a huge amount of data, that is,

  60. à dire un grand nombre d’échanges questions/réponses. Il faudrait que ça couvre un maximum de sujets,

    a large number of question/answer exchanges. It would need to cover as many topics as possible,

  61. et avec des réponses de qualité, rédigées par des humains. Et on n’a pas vraiment

    and with quality answers, written by humans. And we don’t really have

  62. ce genre de données en quantité aujourd’hui.

    this kind of data in quantity today.

  63. Ensuite quand on imagine un échange avec un chatbot, il n’y a jamais une bonne réponse

    Then when you imagine a conversation with a chatbot, there’s never a single right answer

  64. unique qu’on est en droit d’attendre. Pour la même question, il peut y avoir des

    you can expect. For the same question, there can be

  65. tas de réponses pertinentes plus ou moins équivalentes, mais formulées de façon potentiellement

    lots of relevant answers more or less equivalent, but phrased potentially

  66. très différentes.

    very differently.

  67. Donc ça n’est pas simple pour la phase d’entrainement de faire comprendre au modèle

    So it’s not simple for the training phase to make the model understand

  68. à quel moment une réponse qu’il propose est bonne, et à quel moment c’est à côté

    when an answer it offers is good, and when it’s off

  69. de la plaque.

    the mark.

  70. Et enfin, dernier obstacle, si vous avez utilisé ChatGPT vous avez remarqué que vous pouvez

    And finally, the last obstacle, if you’ve used ChatGPT you’ve noticed you can

  71. avoir toute une conversation avec. Il y a une notion de continuité dans l’échange.

    have a whole conversation with it. There’s a notion of continuity in the exchange.

  72. Il utilise les questions et réponses précédentes du dialogue pour poursuivre.

    It uses the previous questions and answers in the dialogue to continue.

  73. Or si vous entrainez un modèle simplement sur des couples de questions/réponses, chaque

    But if you train a model simply on pairs of questions/answers, each

  74. question sera traitée indépendamment de ce qui pourrait la précéder dans l’échange,

    question will be handled independently of what might precede it in the exchange,

  75. et ça n’est pas vraiment ce qu’on veut. On veut une continuité dans la conversation.

    and that’s not really what we want. We want continuity in the conversation.

  76. Donc pour faire un chatbot efficace en utilisant du machine learning, avoir une approche directe

    So to make an effective chatbot using machine learning, a direct approach

  77. d’apprentissage supervisé, ça ne semble pas vraiment indiqué. Et c’est pour cela

    of supervised learning doesn’t seem really suitable. And that’s why

  78. qu’on va devoir procéder en plusieurs étapes, en utilisant comme base ce qu’on appelle

    we’ll have to proceed in several steps, using as a base what we call

  79. parfois un modèle de fondation.

    sometimes a foundation model.

  80. Un modèle de fondation, c’est un modèle d’intelligence artificielle qui est entrainé

    A foundation model is an artificial intelligence model that is trained

  81. sur une certaine tâche assez générique, mais dans le but d’être ensuite adapté

    on a fairly generic task, but with the aim of then being adapted

  82. à d’autres tâches plus spécifiques. Il existe plusieurs modèle de ce type dans le

    to other, more specific tasks. There are several models of this type in the

  83. domaine du langage naturel, et celui qui va nous servir d’exemple aujourd’hui, c’est

    natural language field, and the one that will serve as our example today is

  84. donc le modèle GPT créé par l’entreprise OpenAI.

    therefore the GPT model created by the company OpenAI.

  85. GPT, ça veut dire Generative Pretrained Transformer, et c’est un modèle de manipulation du langage

    GPT stands for Generative Pretrained Transformer, and it is a natural language processing model

  86. naturel qui est entrainé spécifiquement sur une tâche qui peut paraitre un peu absurde

    specifically trained on a task that may seem a bit absurd

  87. au premier abord : ce modèle cherche en permanence à deviner le prochain mot d’un texte.

    at first glance: this model constantly tries to guess the next word of a text.

  88. [GPT Ca veut dire qu’il prend en entrée un morceau de phrase ou de texte, ce qu’on

    [GPT means it takes as input a piece of a sentence or text, what we

  89. appelle le « prompt », et il va essayer de produire en sortie un mot qui en soit une

    call the “prompt,” and it will try to produce as output a word that is a

  90. suite possible. Par exemple si on lui rentre « La souris est mangée par le », l’algorithme

    possible continuation. For example, if you feed it “The mouse is eaten by the,” the algorithm

  91. est censé essayer de compléter le texte de façon crédible, par exemple ici avec

    is supposed to try to complete the text credibly, for example here with

  92. le mot « chat ».

    the word “cat.”

  93. Et ça doit marcher aussi avec un mot qui n’est pas forcément le dernier de la phrase.

    And it must also work with a word that is not necessarily the last one in the sentence.

  94. Si je lui rentre juste « la souris », on peut imaginer comme suite possible le mot

    If I just feed it “the mouse,” we can imagine as a possible continuation the word

  95. « est », ou bien « mange », ou encore « verte », etc.

    “is,” or “eats,” or “green,” etc.

  96. En gros c’est de la complétion automatique, mais qui doit fonctionner potentiellement

    Basically it is autocomplete, but it must potentially work

  97. à l’échelle d’un texte entier.]

    at the scale of an entire text.]

  98. Pour que notre modèle de langage soit bon à ce petit jeu, il va falloir l’entraider

    For our language model to be good at this little game, we will need to train it

  99. à partir de données existantes. C’est-à-dire lui présenter des morceaux de phrases réelles,

    using existing data. That is, show it pieces of real sentences,

  100. et ajuster les paramètres du modèle pour qu’il soit de plus en plus performant à

    and adjust the model’s parameters so it becomes increasingly better at

  101. produire le mot suivant.

    produce the next word.

  102. Il y a plusieurs raisons pour lesquelles ce principe de « deviner le prochain mot d’un

    There are several reasons why this principle of "guessing the next word of a

  103. texte » est une idée bizarre mais intéressante. Tout d’abord, ça n’est pas une tâche

    text" is a weird but interesting idea. First, it's not a task

  104. qu’on fait généralement en tant qu’être humain.

    we generally do as human beings.

  105. Quand on parle d’algorithmes de reconnaissance d’image ou de détection de fraude, on essaye

    When we talk about image recognition or fraud detection algorithms, we try

  106. de concevoir des modèles d’IA qui soient capables d’imiter et de dépasser les performances

    to design AI models capable of imitating and surpassing the performance

  107. des humains sur ces tâches. Ici deviner le prochain mot d’un début de texte, personne

    of humans on these tasks. Here, guessing the next word of a text's beginning, nobody

  108. ne fait ça dans la vraie vie, ça n’a aucun intérêt pratique.

    does that in real life, it has no practical interest.

  109. Deuxième particularité, on l’a vu, dans cet exercice il n’y a généralement pas

    Second peculiarity, as we've seen, in this exercise there is generally no

  110. *une* bonne réponse unique. Dans certains cas, il y a des réponses qui semblent plus

    *one* unique right answer. In some cases, some answers seem more

  111. naturelles, mais si je complète « la souris est mangée par le » avec le mot « corbeau »,

    natural, but if I complete "the mouse is eaten by the" with the word "crow",

  112. c’est un peu inattendu mais c’est pas si mal. Pour compléter une phrase, on peut

    it's a bit unexpected but not that bad. To complete a sentence, we can

  113. avoir en général plein de réponses plus ou moins plausibles.

    generally have plenty of more or less plausible answers.

  114. Et il faut bien comprendre ce que veut dire « plausible » ici : ça ne veut pas dire

    And we must clearly understand what "plausible" means here: it doesn't mean

  115. que c’est vrai, il n’y a aucune notion de vérité dans la façon dont le modèle

    that it's true, there's no notion of truth in how the model

  116. est entrainé. Si je dis « La souris est mangée par le », il n’y a pas de vraie

    is trained. If I say "The mouse is eaten by the," there's no real

  117. réponse universelle à la question de ce qui vient derrière.

    universal answer to the question of what comes after.

  118. Plausible ça veut dire que cette façon de compléter la phrase ressemble à ce qu’on

    Plausible means that this way of completing the sentence resembles what we'd

  119. trouverait dans les textes qui ont servi à entrainer le modèle. « Chat » est très

    find in the texts used to train the model. "Cat" is very

  120. naturel, mais « corbeau », pourquoi pas.

    natural, but "crow," why not.

  121. Et attention, si un modèle répond « Corbeau » pour compléter cette phrase, ça ne veut

    And careful, if a model answers “Crow” to complete this sentence, that doesn't

  122. pas forcément dire que quelque part dans les textes de son entrainement on trouve « la

    necessarily mean that somewhere in its training texts you find “the

  123. souris est mangée par le corbeau ». Non, il ne se contente pas de répéter des phrases

    mouse is eaten by the crow.” No, it doesn't just repeat existing

  124. existantes.

    sentences.

  125. D’ailleurs j’ai regardé, nulle part sur internet on ne trouve cette phrase exacte.

    Besides, I checked, nowhere on the internet do you find that exact sentence.

  126. Il n’empêche que si je vous dit « la souris est mangée par le corbeau », ça

    Still, if I tell you “the mouse is eaten by the crow,” that

  127. ne vous choque pas. Si on pense aux mots « corbeau », « manger », et « souris » : le sens

    doesn't shock you. If you think of the words “crow,” “eat,” and “mouse”: the meaning

  128. et les relations de ces différents termes font que cette façon de compléter est raisonnable.

    and the relationships of these different terms make this way of completing reasonable.

  129. Ca ressemble à ce qu’on aurait pu trouver dans les textes d’entrainement.

    It resembles what you might have found in training texts.

  130. Une façon que j’aime bien de le présenter, c’est de dire qu’un modèle comme GPT

    One way I like to present it is to say that a model like GPT

  131. va chercher une façon de compléter qui soit ressemble à des choses existantes, soit du

    looks for a way to complete that either resembles existing things, or at

  132. moins ne dépareillerai pas trop avec les textes existants. Si demain je lis sur un

    least wouldn't stand out too much from existing texts. If tomorrow I read on a

  133. site internet « La souris est mangée par le corbeau », ça n’aura rien d’incongru.

    website “The mouse is eaten by the crow,” it wouldn't be incongruous.

  134. Ca ne dépareillerai pas.

    It wouldn't stand out.

  135. Donc je résume : pour compléter, le modèle ne cherche pas à dire quelque chose de vrai,

    So let me summarize: to complete, the model doesn't seek to say something true,

  136. il ne sait même pas ce que sait que la vérité; le modèle ne cherche pas forcément à reproduire

    it doesn't even know what truth is; the model doesn't necessarily seek to reproduce

  137. exactement un texte existant, mais il fabrique une phrase plausible, qui ne dépareillerait

    exactly an existing text, but it fabricates a plausible sentence that wouldn't

  138. pas trop au milieu de tout ce qu’il a pu ingurgiter durant son entrainement.

    stand out too much among everything it has ingested during its training.

  139. Evidemment cette méthode qui consiste à essayer d’ajouter un mot de plus à un texte,

    Obviously, this method of trying to add one more word to a text

  140. ça a un gros avantage : on peut répéter ça plusieurs fois de suite. Et donc à partir

    has a big advantage: you can repeat that several times in a row. And so from

  141. d’un simple début de phrase, on peut demander au modèle de continuer à ajouter des mots,

    From a simple sentence start, you can ask the model to keep adding words,

  142. un par un, jusqu’à former un texte aussi grand qu’on veut.

    one by one, until forming as long a text as you want.

  143. [TEXTELONG Ici si je lui dis « La souris est mangée par le » et que je lui demande

    [LONG TEXT Here if I tell it 'The mouse is eaten by the' and ask it

  144. de prolonger le texte suffisamment, voici le genre de résultat que j’obtiens. C’est

    to extend the text long enough, here's the kind of result I get. It's

  145. plausible, ça sonne bien français, ça a du sens.]

    plausible, sounds good in French, it makes sense.]

  146. Bien, voyons plus précisément maintenant comment on procède en pratique pour créer

    Okay, let's now look more precisely at how we practically create

  147. un modèle comme GPT. Première précision un peu technique, les modèles de langage

    a model like GPT. First a slightly technical point, language models

  148. travaillent en général non pas au niveau des mots, mais au niveau de ce qu’on appelle

    usually work not at the word level, but at the level of what's called

  149. des tokens.

    tokens.

  150. Un token, c’est en gros soit un mot, soit une portion de mot. Les mots les plus longs

    A token is basically either a word, or a word portion. Longer words

  151. peuvent être faits de deux ou trois tokens. En pratique ça ne change pas grand chose,

    can be made of two or three tokens. In practice it doesn't change much,

  152. mais ça peut expliquer pourquoi un modèle comme GPT va parfois prédire certains mots

    but it can explain why a model like GPT sometimes predicts certain words

  153. en plusieurs morceaux successifs.

    in several successive pieces.

  154. Ce que j’ai utilisé jusqu’ici, c’est la troisième itération de GPT, qu’on appelle

    What I've used so far is the third iteration of GPT, called

  155. GPT3, qui est sorti en juillet 2020. Il a connu une amélioration en GPT3.5 en mars

    GPT3, which came out in July 2020. It was improved to GPT3.5 in March

  156. 2022, et depuis mars 2023, on peut même avoir accès à GPT4, dont on ne sait malheureusement

    2022, and since March 2023, you can even access GPT4, about which we unfortunately

  157. pas grand chose.

    don't know much.

  158. GPT3 possède un vocabulaire d’environ 50 000 tokens, et qui n’est pas spécifique

    GPT3 has a vocabulary of about 50,000 tokens, which isn't specific

  159. d’une langue en particulier. Ces tokens permettent de former des mots anglais, français,

    to any particular language. These tokens can form English, French,

  160. espagnols, etc. Pour faire simple dans la suite, je vais parler indifféremment de « mot »

    Spanish words, etc. To keep it simple from here on, I'll use 'word' interchangeably

  161. ou de « token », ça revient presque au même pour nous.

    or 'token', it's almost the same for us.

  162. Ensuite, comment se passe la phase d’entrainement du modèle ? Je vous ai dit que dans des tâches

    Next, how does the model's training phase go? I told you that in supervised learning tasks

  163. d’apprentissage supervisé, comme la reconnaissance d’images, il fallait disposer de grandes

    like image recognition, you need large

  164. bases de données, qui illustrent sur de nombreux exemples la réponse qu’on attendrait.

    databases that illustrate on many examples the expected answer.

  165. [ANNOTATION L’inconvénient, c’est que ces bases de données doivent être fabriquées

    [ANNOTATION The drawback is that these databases have to be made

  166. en quelque sorte à la main, puisqu’à un moment donné, c’est généralement un humain

    somewhat by hand, since at some point, it's usually a human

  167. qui doit indiquer que ceci est un chat et ceci une voiture. On dit qu’il faut annoter

    who has to indicate that this is a cat and this is a car. It's said that you have to annotate

  168. la base de données. Et c’est souvent ce processus d’annotation qui limite la quantité

    the database. And it's often this annotation process that limits the amount

  169. des données disponibles.]

    of available data.]

  170. [SELF SUPERVISED Dans le cas de la prédiction du prochain mot d’un texte, c’est très

    [SELF SUPERVISED In the case of predicting the next word of a text, it's very

  171. simple. Il suffit de prendre par exemple une phrase prise dans un livre ou sur un site

    simple. You just take, for example, a sentence from a book or a website,

  172. internet, de la couper n’importe où et de fournir ça au modèle pour qu’il s’entraine

    cut it anywhere, and provide that to the model so it trains

  173. à deviner le prochain mot. Avec une seule phrase, on peut même créer tout plein d’exemples

    to guess the next word. With a single sentence, you can even create lots of examples

  174. en la coupant à différents endroits.]

    by cutting it at different points.]

  175. Il n’y a donc pas besoin d’un processus d’annotation spécifique, où un humain

    So there's no need for a specific annotation process, where a human

  176. devrait faire une partie du travail. On peut prendre des tonnes de textes et générer

    would have to do part of the work. You can take tons of texts and generate

  177. des milliards d’exemples pour entrainer le modèle. On parle parfois d’apprentissage

    billions of examples to train the model. It's sometimes called

  178. auto-supervisé, self-supervised learning en anglais. Dans le cas du modèle GPT3 d’OpenAI,

    self-supervised learning, 'self-supervised learning' in English. In the case of OpenAI's GPT3 model,

  179. on a certaines indications quant au corpus de texte qui a été utilisé pour entrainer

    there are some indications about the text corpus used to train

  180. le modèle.

    the model.

  181. [CORPUS Il y a du texte de Common Crawl, donc simplement ramassé sur internet, des bases

    [CORPUS There's text from Common Crawl, so simply scraped from the internet, databases

  182. de données de livres, et aussi tout Wikipedia en anglais. Sachant que certaines de ces sources

    of books, and also all of Wikipedia in English. Knowing that some of these sources

  183. ont eu plus de poids que d’autres dans la phase d’entrainement. On peut espérer que

    had more weight than others in the training phase. One can hope that

  184. Wikipédia pèse un peu plus dans son apprentissage que Reddit ou 4chan.

    Wikipedia weighs a bit more in its learning than Reddit or 4chan.

  185. Et même si on trouve plein de langues différentes dans les textes du corpus d’entrainement,

    And even if we find plenty of different languages in the training corpus texts,

  186. une moitié environ c’est de l’anglais, sans surprise.]

    about half of it is English, unsurprisingly.]

  187. Un point important, c’est que dans un fonctionnement classique, l’entrainement a lieu une fois,

    An important point is that in classic operation, training happens once,

  188. et ensuite le modèle est figé. C’est la raison pour laquelle les connaissances de

    and then the model is frozen. That's why GPT's knowledge is

  189. GPT sont en général limitée à une certaine date, il ne connait pas les événements récents.

    generally limited to a certain date; it doesn't know recent events.

  190. Et aussi cela explique que d’une conversation à l’autre, il n’a aucune mémoire de

    And this also explains that from one conversation to another, it has no memory of

  191. ce que vous avez pu déjà discuter. Ces deux limitations disparaitront peut-être à l’avenir,

    what you may have already discussed. These two limitations might disappear in the future,

  192. mais dans le modèle de base, c’est comme ça que ça se passe. C’est un modèle figé.

    but in the base model, that's how it works. It's a frozen model.

  193. Je ne vais pas rentrer dans les détails techniques de fonctionnement du modèle, et des réseaux

    I'm not going to go into the technical details of how the model works, and the neural

  194. de neurones qu’il y a derrière. J’en ai déjà parlé dans ma vidéo précédente

    networks behind it. I already talked about that in my previous video

  195. sur le sujet, mais il y a quelques points qui sont intéressants à mentionner.

    on the topic, but there are a few points worth mentioning.

  196. Sur la taille déjà, GPT3 est un modèle qui possède 175 milliards de paramètres,

    On size already, GPT3 is a model with 175 billion parameters,

  197. ce qui est assez invraisemblable. Pour GPT4 on ne sait pas vraiment. Peut être 6 à 10

    which is pretty unbelievable. For GPT4, we don't really know. Maybe 6 to 10

  198. fois plus.

    times more.

  199. Ensuite que donne-t-on exactement au modèle lors de la phase d’entrainement ? Je l’ai

    Then, what exactly do we give the model during the training phase? I

  200. évoqué, GPT ne va pas s’entrainer à trouver le prochain mot d’une simple phrase, mais

    mentioned it, GPT won't train to find the next word of a simple sentence, but

  201. potentiellement d’un texte tout entier, constitué éventuellement de plusieurs phrases.

    potentially of an entire text, possibly made up of several sentences.

  202. Ce qui permet d’assurer une forme de continuité et de mémoire de l’échange.

    This ensures a form of continuity and memory in the exchange.

  203. La taille maximum de texte qu’il prend en compte pour estimer le prochain mot, on appelle

    The maximum text size it considers to estimate the next word is called

  204. cela la fenêtre de contexte. Cette taille dépend de la version de l’algorithme. Dans

    the context window. This size depends on the algorithm version. In

  205. GPT3 c’était 2048 tokens, puis c’est passé à 4096 pour la version 3.5 et apparemment

    GPT3 it was 2048 tokens, then it went up to 4096 for version 3.5 and apparently

  206. jusqu’à plus de 32000 pour la version 4.

    up to more than 32000 for version 4.

  207. Ca veut dire, pour la version la plus puissante, qu’on peut lui filer un texte d’environ

    That means, for the most powerful version, you can feed it a text of about

  208. 25000 mots, et que tous ces mots pourront potentiellement être pris en compte pour

    25000 words, and all those words can potentially be taken into account to

  209. décider du simple mot suivant. Une autre façon de le dire : GPT4 peut, si besoin,

    decide the single next word. Another way to say it: GPT4 can, if needed,

  210. se rappeler d’une information qui était situé 25 000 mots plus tôt dans le texte.

    remember information located 25000 words earlier in the text.

  211. Ce qui fait une centaine de page en format standard.

    That’s about a hundred pages in standard format.

  212. Parlons maintenant de ce qui est donné en sortie par l’algorithme. On l’a dit, quand

    Now let’s talk about what the algorithm outputs. As we said, when

  213. on cherche à trouver le prochain mot d’une phrase ou d’un texte, il n’y a généralement

    trying to find the next word in a sentence or text, there’s usually

  214. pas une seule réponse possible. Et justement, le modèle ne va pas nous fournir un seul

    not just one possible answer. And exactly, the model won’t give us a single

  215. mot, mais une liste de mots envisageables avec des probabilités associées.

    word, but a list of likely words with associated probabilities.

  216. [PROBAS Par exemple « Chat » à 90%, « Chien » à 7%, « Corbeau » à 1%, etc. Et à partir

    [PROBABILITIES For example “Cat” at 90%, “Dog” at 7%, “Crow” at 1%, etc. And from

  217. de ces estimations, on peut demander ensuite à tirer au hasard le mot suivant parmi cette

    these estimates, you can then ask it to randomly pick the next word from that

  218. liste, en suivant les probabilités fournies.]

    list, following the given probabilities.]

  219. [PROBAS Sur le site d’OpenAI, on peut accéder à GPT3 en mode dit « Playground », c’est

    [PROBABILITIES On OpenAI’s site, you can access GPT3 in the so-called “Playground” mode, that’s

  220. là que j’ai testé les exemples que je vous ai montré. Quand on lui demande de compléter,

    where I tested the examples I showed you. When you ask it to complete,

  221. le modèle va tout de suite nous tirer au hasard le prochain mot parmi ses réponses

    the model will immediately randomly pick the next word for us among its answers

  222. possibles, mais en cochant une option dans l’interface, on peut visualiser les probabilités

    possible, but by checking an option in the interface, we can view probabilities

  223. qu’il avait proposé.]

    that it had proposed.]

  224. Alors allons-y, faisons quelques expériences pour bien comprendre ce qu’il se passe,

    So let's go, let's run a few experiments to really understand what's happening,

  225. je vais les faire en anglais puisque c’est la langue à laquelle GPT3 a été le plus

    I'll do them in English since that's the language GPT3 was most

  226. exposé. Ce sera certainement un peu meilleur.

    exposed to. It will certainly be a bit better.

  227. [COLOMB Si j’écris la phrase : « Christophe Colomb a découvert l’Amérique en » il

    [COLOMB If I write the sentence: “Christopher Columbus discovered America in” it

  228. me propose comme complétion : 1492. Super, on s’y attendait. Mais il faut bien comprendre

    suggests as completion: 1492. Great, we expected that. But we must understand

  229. pourquoi le modèle de langage nous donne cette réponse : ça n’est pas qu’il a

    why the language model gives us this answer: it's not that it has

  230. un concept de de vérité sur cette question. Pour lui c’est même pas une question.

    a concept of truth about this question. For it, it's not even a question.

  231. C’est juste que dans les textes qui ont servi à son entrainement, les mots « Christophe

    It's just that in the texts used for its training, the words “Christopher

  232. Colomb », « découverte » « amérique » sont en général toujours très fortement

    Columbus”, “discovery”, “America” are usually always very strongly

  233. associés au mot 1492. Et donc pour lui, 1492 est de loin la suite la plus naturelle à

    associated with the word 1492. So for it, 1492 is by far the most natural continuation to

  234. ce début de phrase.]

    this sentence start.]

  235. [PROBAS (On peut observer les probabilités des différents mots que GPT a considéré

    [PROBAS (We can observe the probabilities of the different words GPT considered

  236. : on voit qu’on y trouve aussi « Octobre » dans les suite possibles pour cette phrase.

    : we see that we also find “October” among the possible continuations for this sentence.

  237. C’est cohérent, Colomb a touché les côtes des Bahamas le 12 octobre 1492.]

    That's consistent, Columbus touched the Bahamas shores on October 12, 1492.]

  238. Mais attention, je le rappelle, quand on utilise GPT pour compléter une phrase, on ne va pas

    But careful, I remind you, when using GPT to complete a sentence, we won't

  239. forcément produire des choses « vraies ».

    necessarily produce “true” things.

  240. [DL1492 Par exemple si je tape « David Louapre a découvert l’Amérique en », ça n’a

    [DL1492 For example if I type “David Louapre discovered America in”, it doesn't

  241. aucun lien avec la réalité. Mais GPT s’en moque, il ne va pas refuser de répondre sous

    no connection to reality. But GPT doesn't care, it won't refuse to answer on the

  242. prétexte que c’est faux. Il fait donc la seule chose qu’il sache faire : il propose

    pretext that it's false. So it does the only thing it knows how to do: it proposes

  243. un mot pour compléter la phrase.

    a word to complete the sentence.

  244. Et là il me propose aussi 1492. Même si on voit dans les probabilités qu’il aurait

    And there it also proposes 1492 to me. Even if we see in the probabilities that it could

  245. pu proposer d’autres choses.

    have proposed other things.

  246. Comme toujours, il essaye de générer le prochain mot d’une façon qui colle le plus

    As always, it tries to generate the next word in a way that best fits

  247. avec son corpus d’entrainement, ou ici, d’une façon qui dépareille le moins possible.

    its training corpus, or here, in a way that stands out as little as possible.

  248. Même si « David Louapre » ça ne colle pas, les mots « amérique » « découverte »,

    Even if 'David Louapre' doesn't fit, the words 'America' 'discovered',

  249. il associe cela toujours fortement à 1492.]

    it always strongly associates them with 1492.]

  250. Un autre test pour bien illustrer ce qu’il se passe dans la tête de GPT.

    Another test to really illustrate what's going on inside GPT's head.

  251. [BOND Si je tape comme prompt « Dans le film de James Bond « La trahison ne se cache

    [BOND If I type as a prompt 'In the James Bond film 'Betrayal never hides

  252. jamais », l’acteur qui joue James Bond s’appelle » … et là vous voyez qu’il

    itself', the actor who plays James Bond is called' ... and there you see that it

  253. n’y a pas de notion de vrai ou faux, le film n’existe même pas, c’est un titre

    has no notion of true or false, the film doesn't even exist, it's a made-up

  254. inventé.

    title.

  255. Mais GPT cherche des complétions plausibles, qui ne dépareillent pas trop. Il me propose

    But GPT looks for plausible completions that don't stand out too much. It proposes

  256. naturellement « Daniel Craig », mais si on regarde les probabilités, on voit qu’il

    naturally 'Daniel Craig', but if we look at the probabilities, we see that it

  257. considérait aussi en bonne position « Pierce », pour Pierce Brosnan, Sean pour Sean Connery,

    also considered 'Pierce' in a good position, for Pierce Brosnan, Sean for Sean Connery,

  258. etc.

    etc.

  259. Ce sont toutes des complétions raisonnables. Même si ce film n’existe pas, une telle

    These are all reasonable completions. Even if this film doesn't exist, such a

  260. phrase n’aurait pas trop dépareillé dans le corpus initial.

    sentence wouldn't have stood out too much in the original corpus.

  261. Petite variation : si je précise que le film est vieux, les probabilités changent. Eh

    Small variation: if I specify that the film is old, the probabilities change. Well

  262. bien oui, cette précision augmente la probabilité qu’il propose un des premiers acteurs qui

    yes, this detail increases the probability that it features one of the first actors who

  263. ont joué James Bond comme Sean Connery ou Roger Moore.]

    played James Bond like Sean Connery or Roger Moore.]

  264. Donc retenez ça : GPT cherche le prochain mot d’une façon qui soit raisonnable, qui

    So remember this: GPT looks for the next word in a way that is reasonable, that

  265. ne dépareille pas trop vis-à-vis de son corpus. Et « raisonnable », « plausible »,

    doesn't stand out too much from its corpus. And "reasonable," "plausible,"

  266. c’est à prendre en compte non pas dans le sens de « proche de la vérité »,

    should be understood not as "close to the truth,"

  267. mais dans le sens de : ça n’aurait pas été absurde de lire ces mots là associés

    but in the sense of: it wouldn't have been absurd to read those words associated

  268. ensembles de cette façon dans le corpus d’entrainement.

    together that way in the training corpus.

  269. Et on peut lui faire écrire des paragraphes entiers de choses qui n’existent pas.

    And you can have it write entire paragraphs of things that don't exist.

  270. [LICORNES Ici si je commence à lui parler de licornes argentées, et que je lui demande

    [UNICORNS Here if I start talking about silver unicorns, and I ask it

  271. de compléter plein de fois de suite, il m’invente tout un texte. Et le texte est pas mal, à

    to complete many times in a row, it invents a whole text for me. And the text is decent, except

  272. part pour les licornes elles-mêmes, ça pourrait tout à fait être issu d’un article de

    for the unicorns themselves, it could totally come from a

  273. journal.]

    newspaper article.]

  274. Et pour finir, si je tape un peu n’importe quoi, GPT va quand même essayer de compléter

    And finally, if I type almost anything, GPT will still try to complete

  275. ce texte de la façon la moins improbable pour lui. Bon je pense que vous avez compris

    that text in the least unlikely way for it. Well, I think you've understood

  276. comment ça fonctionne.

    how it works.

  277. Bien alors est-ce qu’on peut faire un chatbot avec ce genre de choses ? Eh bien pas tout

    So, can we make a chatbot with this kind of thing? Well, not quite

  278. à fait. Evidemment, on peut essayer de taper des questions en guise de prompt, et espérer

    yet. Obviously, you can try typing questions as prompts, and hope for

  279. une réponse en retour. Mais en fait, ça n’est même pas garanti.

    a response in return. But actually, it's not even guaranteed.

  280. GPT ne considère pas qu’on s’adresse à lui et qu’on lui pose une question, il

    GPT doesn't consider that you're addressing it and asking it a question, it

  281. considère qu’il faut compléter le texte. Un texte qui commence par une question, ça

    considers that the text needs to be completed. A text that starts with a question, it

  282. peut se poursuivre par une réponse, mais pas forcément.

    can continue with an answer, but not necessarily.

  283. [LUNE Si je tape : « Quelle est la masse de la Lune », il est tout à fait possible

    [MOON If I type: "What is the mass of the Moon", it is entirely possible

  284. qu’il complète avec une réponse censée, mais il peut aussi très bien compléter par

    that it completes with a sensible answer, but it can also very well complete with

  285. « Quelles sont les lois de la gravitation ? » « Qu’est-ce que la rotation de la lune

    "What are the laws of gravitation?" "What is the rotation of the Moon

  286. ? » etc.

    ?" etc.

  287. Eh oui, la phrase « quelle est la masse de la Lune » peut très bien se trouver

    Oh yes, the sentence "what is the mass of the Moon" can very well be found

  288. dans un exercice ou un sujet d’examen, et donc compléter une question par une autre

    in an exercise or an exam topic, and so completing a question with another

  289. question, ça n’est pas absurde. C’est une complétion plausible.]

    question, that is not absurd. It is a plausible completion.]

  290. On voit avec ça que comme GPT n’est pas entrainé à suivre des instructions mais

    We see with this that since GPT is not trained to follow instructions but

  291. à juste compléter un texte, il n’est pas complètement adapté pour faire un chatbot.

    just to complete a text, it is not completely suited to being a chatbot.

  292. Une possibilité pour l’emmener dans la direction où on veut, c’est de faire ce

    One possibility to steer it in the direction we want is to do what

  293. qu’on appelle un preprompt.

    we call a preprompt.

  294. Avant votre prompt, qui est votre question, vous écrivez une intro qui va en quelque

    Before your prompt, which is your question, you write an intro that will in a way

  295. sorte mettre GPT dans l’ambiance du genre de texte qu’on veut le voir rédiger.

    get GPT in the mood of the kind of text we want it to write.

  296. [PREPROMPT Par exemple, « Ceci est une conversation entre un humain et un professeur de physique »

    [PREPROMPT For example, "This is a conversation between a human and a physics teacher"

  297. : - Quelle est la masse de la Lune ? » Et là il y a des chances que GPT soit plus enclin

    : - What is the mass of the Moon?" And then there is a chance that GPT will be more inclined

  298. à compléter selon ce qu’on désire. Comme s’il s’agissait vraiment d’une discussion

    to complete as we desire. As if it really were a discussion

  299. avec un prof de physique.]

    with a physics teacher.]

  300. Avec la méthode du preprompt, on peut en quelque sorte invoquer des personnes avec

    With the preprompt method, we can in a way summon people with

  301. qui on va pouvoir dialoguer. En faisant un preprompt qui invite un spécialiste de tel

    with whom we'll be able to converse. By making a preprompt inviting a specialist in such

  302. ou tel sujet, on augmente les chances que GPT nous complète notre phrase avec quelque

    or such a subject, we increase the chances that GPT completes our sentence with something

  303. chose de pertinent.

    relevant.

  304. Cette idée du preprompt est également à la base de certaines applications comme Replika

    This idea of the preprompt is also behind some applications like Replika

  305. qui vous proposent de parler avec un ou une amie virtuelle. Avec un bon pre-prompt l’échange

    offering you to chat with a virtual friend. With a good pre-prompt, the exchange

  306. produit pourra plus ou moins ressembler à celui qu’on aurait avec quelqu’un de réel.

    produced can more or less resemble what we'd have with a real person.

  307. Donc si maintenant on veut que GPT se comporte comme un chatbot omniscient et sympathique,

    So now if we want GPT to behave like an omniscient and friendly chatbot,

  308. il suffit de lui indiquer dans le preprompt. Un truc du genre « Ceci est une conversation

    just tell it in the preprompt. Something like 'This is a conversation

  309. entre un humain et un chatbot très savant, et qui est toujours gentil, utile, poli, bienveillant

    between a human and a very knowledgeable chatbot, who is always kind, helpful, polite, benevolent

  310. et aidant ».

    and supportive'.

  311. [SYDNEY On ne connait pas exactement le preprompt utilisé par ChatGPT, c’est secret, et manifestement

    [SYDNEY We don't know exactly the preprompt used by ChatGPT, it's secret, and clearly

  312. il évolue. Mais certains auraient réussi à obtenir celui de Sydney, la variante utilisée

    it evolves. But some claim they've managed to get Sydney's, the variant used

  313. par le moteur Bing.

    by the Bing engine.

  314. Voici ce que ce serait, c’est assez long vous voyez, et ça contient plein d’instructions

    Here's what it would be, it's quite long you see, and it contains lots of instructions

  315. assez précises sur sa façon de répondre, et notamment le fait de ne pas révéler qu’il

    fairly precise about how to respond, notably not revealing that it

  316. s’appelle Sydney.]

    is called Sydney.]

  317. Mais attention, utiliser un pre-prompt, ça ne fait pas tout. Pour bien vous montrer les

    But beware, using a pre-prompt doesn't do everything. To show you well the

  318. limites, il y a un point amusant.

    limits, there's a fun point.

  319. [COMPLETION DIALOGUE Si vous posez une question dont la réponse est courte et que vous demandez

    [DIALOGUE COMPLETION If you ask a question whose answer is short and you ask

  320. à GPT de compléter, parfois il va non seulement donner la réponse, mais écrire la question

    GPT to complete, sometimes it won't just give the answer, but also write the question

  321. suivante, voire carrément toute la suite du dialogue.

    next, or even the entire rest of the dialogue.

  322. Ou bien des fois il va choisir de compléter la question par un truc que je n’ai pas

    Or sometimes he'll choose to complete the question with something I didn't

  323. demandé.]

    ask for.]

  324. Une dernière fois pour la route : GPT n’est pas entrainé à répondre à des questions

    One last time for the road: GPT isn't trained to answer questions

  325. ou à suivre des instructions, mais à prolonger des textes. Pour essayer de corriger un peu

    or follow instructions, but to extend texts. To try to correct a bit

  326. cela dans le modèle, il existe une méthode : ce qu’on appelle le fine-tuning. Le réglage

    this in the model, there's a method: what's called fine-tuning. The fine

  327. fin.

    tuning.

  328. Le fine-tuning, c’est l’idée de prendre un modèle déjà entrainé, comme GPT, et

    Fine-tuning is the idea of taking an already trained model, like GPT, and

  329. de le spécialiser en prolongeant son entrainement sur des textes bien choisis, qui ressemblent

    specializing it by extending its training on well-chosen texts, which resemble

  330. plus à ce qu’on attend de lui.

    more what we expect from it.

  331. [FONDATION FINETUNING L’entrainement initial c’est pour apprendre les grandes règles

    [FOUNDATION FINETUNING Initial training is to learn the big rules

  332. de vocabulaire, de syntaxe, de grammaire, de relations entre les mots etc. C’est pour

    of vocabulary, syntax, grammar, relationships between words, etc. It's to

  333. ça qu’on parle d’un modèle de fondation. Et ensuite on spécialise le modèle sur la

    that end we talk about a foundation model. And then we specialize the model on the

  334. tâche qui nous intéresse vraiment grâce à du finetuning.]

    task we're really interested in thanks to finetuning.]

  335. OpenAI a ainsi créé InstructGPT, qui a été « fine-tuné » à partir de GPT en étant

    OpenAI thus created InstructGPT, which was "fine-tuned" from GPT by being

  336. exposé à des réponses rédigées par des humains, et qui correspondaient au style qu’on

    exposed to responses written by humans, and which matched the style we'd

  337. attendrait d’un chatbot utile et bienveillant. Cette phase correspond donc à un apprentissage

    expect from a useful and kind chatbot. This phase thus corresponds to a more

  338. supervisé plus classique, puisque l’on utilise cette fois bien des données crées

    classic supervised learning, since this time we use data created

  339. à la main par des humains.

    by hand by humans.

  340. En combinant preprompt et finetuning, on arrive à des résultats plus proches de ce qui est

    By combining preprompt and finetuning, we get results closer to what is

  341. attendu d’un chatbot. Mais pour augmenter encore la qualité, OpenAI a utilisé en plus

    expected from a chatbot. But to further improve quality, OpenAI also used

  342. une troisième technique : l’apprentissage par renforcement avec feedback humain.

    a third technique: reinforcement learning with human feedback.

  343. [jingle]

    [jingle]

  344. Pour permettre à ChatGPT de proposer des réponses encore plus pertinentes, OpenAI

    To let ChatGPT offer even more relevant answers, OpenAI

  345. a ajouté une troisième couche d'apprentissage, utilisant cette fois ce qu'on appelle l'apprentissage

    added a third learning layer, this time using what's called reinforcement

  346. par renforcement. L'idée est de partir de réponses fournies par ChatGPT à certaines

    learning. The idea is to start from answers ChatGPT gives to certain

  347. questions, et de faire évaluer ces réponses par des humains.

    questions, and have humans evaluate those answers.

  348. Ca n’est pas comme la phase de finetuning où des humains devaient carrément proposer

    It's not like the finetuning phase where humans had to outright propose

  349. des réponses, là ils doivent juste juger les réponses que fournit ChatGPT. Une façon

    answers, here they just have to judge the answers ChatGPT provides. A simple

  350. simple, ce serait de leur demander de noter la qualité de la réponse, par exemple entre

    way would be to ask them to rate answer quality, for example between

  351. 0 et 20.

    0 and 20.

  352. [RLHF En pratique comme tout le monde n'a pas les mêmes échelles de notation, on procède

    [RLHF In practice, since everyone doesn't have the same rating scales, we proceed

  353. plutôt par comparaison : pour une même question, on demande à un humain de comparer différentes

    rather by comparison: for the same question, a human is asked to compare different

  354. réponses produites par ChatGPT, et de les classer entre elles.

    answers produced by ChatGPT, and rank them against each other.

  355. A partir de ces évaluations, on peut entrainer ce qu'on appelle un modèle de récompense,

    From these evaluations, we can train what's called a reward model,

  356. qui va servir à aider le modèle de langage à s’orienter vers des réponses qui ressemblent

    which will help guide the language model toward answers that resemble

  357. à celles qu’attendent ou que préfèrent les humains. Du moins les humains qui ont

    those humans expect or prefer. At least the humans who

  358. fait les évaluations dans cette phase d’apprentissage par renforcement.]

    did the evaluations in this reinforcement learning phase.]

  359. Cette phase est d'ailleurs aussi une façon à ce stade de s'assurer que le modèle ne

    This phase is also a way at this stage to ensure the model doesn't

  360. sort pas de réponses qui pourraient être jugées illégales, dangereuses, haineuses

    produce answers that could be judged illegal, dangerous, hateful

  361. ou tout simplement inappropriées pour l'usage auquel il est destiné.

    or simply unsuitable for the purpose it's intended for.

  362. [RESUME Si on combine donc l'ensemble des ingrédients qu’on a mentionné : fine-tuning,

    [SUMMARY So if we combine all the ingredients mentioned: fine-tuning,

  363. apprentissage par renforcement avec feedback humain, et preprompt, on comprend qu’il

    reinforcement learning with human feedback, and pre-prompting, we understand that it

  364. est possible de spécialiser un modèle de fondation.

    is possible to specialize a foundation model.

  365. Et d’en faire ainsi un chatbot comme ChatGPT, qui soit plus pertinent, utile et plus respectueux

    And thereby make it a chatbot like ChatGPT, that is more relevant, useful, and more respectful

  366. que GPT, qui avait simplement ingurgité tous les textes d’internet.]

    than GPT, which had simply ingested all internet texts.]

  367. Alors à l'issue de tout ça : qu'est-ce qu'il faut penser de ChatGPT ? Sur des questions

    So after all that: what should we think of ChatGPT? On questions

  368. ayant une réponse simple et déjà bien documentée, il fonctionne très bien. Mais en soi ça

    with a simple and already well-documented answer, it works very well. But in itself, that

  369. n'apporte pas grand chose de plus que Wikipédia ou une recherche Google.

    doesn't bring much more than Wikipedia or a Google search.

  370. Ce que l'on sait des modèles de machine learning, c'est qu'il sont souvent assez bons

    What we know about machine learning models is that they are often quite good

  371. pour interpoler, c'est-à-dire bien traiter une situation nouvelle, mais qui soit suffisamment

    at interpolating, that is, handling a new situation well, but one that is sufficiently

  372. proche d'un ensemble de cas qu'ils ont pu voir dans leur entrainement.

    close to a set of cases they've seen in their training.

  373. Et on peut souvent le vérifier ici : le modèle peut produire des réponses intéressantes

    And we can often verify this here: the model can produce interesting answers

  374. et même inventives à des questions originales ou pas forcément toujours bien formulées.

    and even inventive ones to original questions or ones not always well-formulated.

  375. On décrit parfois l'intelligence ou la créativité comme la facilité à relier des choses qui

    Intelligence or creativity is sometimes described as the ease of connecting things that

  376. n’ont pas forcément de lien apparent ou évident. Et de ce point de vue là, c’est

    don't necessarily have an apparent or obvious link. And from that point of view, it's

  377. intéressant de voir que ChatGPT montre des signes indéniables de certaines de ces capacités.

    interesting to see that ChatGPT shows undeniable signs of some of these abilities.

  378. On pourrait passer des heures à passer en revue ce que ChatGPT fait bien, et ce sur

    We could spend hours reviewing what ChatGPT does well, and what it

  379. quoi il échoue lamentablement. Mais d'une part vous en avez certainement déjà vu passer

    fails miserably at. But on one hand, you've certainly already seen

  380. plein d'exemples, d'autre part, ça bouge tellement vite que tout ce que je pourrai

    plenty of examples, on the other hand, it's moving so fast that everything I could

  381. raconter sera peut-être caduc dans quelques semaines.

    telling will perhaps be outdated in a few weeks.

  382. Un point sur lequel j’ai envie quand même commenter, et sur lequel ChatGPT est particulièrement

    A point I nonetheless want to comment on, and on which ChatGPT is particularly

  383. mauvais, c'est le fait de citer des sources. Si on le fait parler d'un phénomène scientifique,

    bad, is citing sources. If we get it to talk about a scientific phenomenon,

  384. et qu'on lui demande les références des publications d'où il tire ses conclusions,

    and ask it for the references of the publications where it gets its conclusions,

  385. on obtient la plupart du temps des articles complètement inventés qui n'existent absolument

    we most of the time get completely invented articles that absolutely don't exist

  386. pas.

    anywhere.

  387. Ca peut paraitre assez embêtant, mais à nouveau si on réfléchit à comment fonctionne

    It might seem quite annoying, but again if we think about how the model works,

  388. le modèle, on l'explique assez bien. GPT ne raisonne pas, il ne cherche pas sur Internet,

    we explain it fairly well. GPT doesn't reason, doesn't search the web,

  389. il n'a pas de mémoire explicite : il se contente de générer des textes plausibles dont les

    has no explicit memory: it just generates plausible texts whose

  390. mots collent bien ensemble.

    words fit well together.

  391. Et quand on regarde le format des citations d'articles scientifiques, franchement tout

    And when looking at the format of scientific article citations, honestly everything

  392. se ressemble. Et donc n'importe quel séquence de mots qui respecte vaguement le format standard,

    looks alike. So any sequence of words that roughly follows the standard format,

  393. ça passera à ses yeux comme une complétion tout à fait crédible pour faire office de

    it will pass in its eyes as a totally credible completion to serve as a

  394. référence scientifique.

    scientific reference.

  395. D'autant que bien souvent dans un article scientifique, les références sont groupées

    Especially since often in a scientific article, references are grouped

  396. en un gros paquet à la fin, et en lisant uniquement ces sections, on a bien du mal

    in a big pile at the end, and reading only these sections, it's hard

  397. à deviner le contexte de chacune de ces citations.

    to guess the context of each of those citations.

  398. Et pour ChatGPT, c'est un peu pareil, une référence random avec à peu près les bons

    And for ChatGPT, it's a bit the same, a random reference with roughly the right

  399. auteurs et le nom d'un journal qui existe vraiment, il invente un volume et un numéro

    authors and the name of a journal that truly exists, it makes up a volume and an issue

  400. de page, et ce sera jugé comme parfaitement raisonnable étant donné son mode de fonctionnement.

    number and page, and that will be deemed perfectly reasonable given how it operates.

  401. Ce problème spécifique des sources semble assez difficile à résoudre en se basant

    This specific problem of sources seems quite hard to solve based

  402. uniquement sur le principe d'un modèle de langage. Mais on peut imaginer qu'en couplant

    only on the principle of a language model. But we can imagine that by coupling

  403. ces modèles a des mécanismes de recherche sur Internet ou dans des bases de données,

    these models with search mechanisms on the Internet or in databases,

  404. cette question des sources inventées finira par être résolue.

    this issue of invented sources will eventually be resolved.

  405. Merci d’avoir suivi cette vidéo, comme toujours abonnez-vous, rejoignez aussi le

    Thanks for watching this video, as always subscribe, also join the

  406. Discord de science étonnante, le lien est en description, c’est le meilleur moyen

    Discord of Science Étonnante, link is in description, it's the best way

  407. d’avoir des nouvelles qui ne soient pas filtrées par l’algo Youtube, et on se retrouve

    to get news that isn't filtered by the YouTube algorithm, and we'll meet again

  408. très vite pour une nouvelle vidéo. A bientôt. POSE MINIATURE

    very soon for a new video. See you soon. THUMBNAIL POSE

Video and French captions: Ce qui se cache derrière le fonctionnement de ChatGPT by ScienceEtonnante. English: machine translation.

Words at C2

More C2 videos

Help me keep building French Atlas

If this site has helped you study, your support helps me keep improving it.