DALL-E

Un article de Wikipédia, l'encyclopédie libre.
DALL-E
Description de l'image DALL-E 2 Signature.svg.
Description de cette image, également commentée ci-après
Image générée par DALL-E à partir de la consigne suivante « Ours polaire dans le désert » (donnée en anglais).
Informations
Créateur OpenAI
Développé par OpenAIVoir et modifier les données sur Wikidata
Fichier exécutable images générées à partir de commandes naturelles
Première version
Écrit en GPT-3[1]
Supporte les langages langage naturel
Langues AnglaisVoir et modifier les données sur Wikidata
Type Intelligence artificielle générative
Site web www.openai.com/blog/dall-e/

Chronologie des versions

DALL·E 2 (d)

modifier - modifier le code - voir Wikidata (aide) Consultez la documentation du modèle

DALL-E (ou DALL·E) est un programme d'intelligence artificielle générative, capable de créer des images à partir de descriptions textuelles. Son nom est un mot-valise évoquant à la fois le robot de Pixar WALL-E et le peintre Salvador Dalí[2],[3].

Microsoft a implémenté le modèle dans l'outil Image Creator de Bing et prévoit de l'implémenter dans son application Designer[4].

DALL-E utilise une version à 12 milliards de paramètres[3] du modèle de langage GPT-3[1] pour interpréter les entrées (commandes) en langage naturel (telles que par exemple : « un sac à main en cuir vert en forme de pentagone » ou « une vue isométrique d'un capybara triste »), et générer les images demandées[2]. Il peut créer des images d'objets réalistes (« un vitrail avec l'image d'une fraise bleue »), mais aussi des objets qui n'existent pas dans la réalité (ex. : « un cube avec la texture d'un porc-épic »)[5],[6],[7].

DALL-E a été cité comme le logiciel existant faisant le plus preuve de créativité[8].

Spécificité[modifier | modifier le code]

Depuis les années 2000, de nombreux réseaux de neurones ont pu générer des images réalistes[2]. La spécificité de DALL-E est de pouvoir les générer à partir d'invites en langage naturel, qu'il « comprend », et « il échoue rarement »[2].

Code source[modifier | modifier le code]

OpenAI n'a pas publié de code source pour l'un ou l'autre modèle, bien qu'une « démo contrôlée » de DALL-E soit disponible sur le site Web d'OpenAI, où la sortie d'une sélection limitée d'exemples d'invites peut être visualisée[3].

Des alternatives open source, formées sur de plus petites quantités de données, comme DALL-E Mini, ont été publiées par d'autres.

Selon la MIT Technology Review, l'un des principaux objectifs d'OpenAI était de « donner aux modèles de langage une meilleure compréhension des concepts quotidiens que les humains utilisent pour donner un sens aux choses »[9].

Histoire[modifier | modifier le code]

Image créée par DALL-E 2 à partir du texte A Shiba Inu dog wearing a beret and black turtleneck (un Shiba Inu portant un béret et un col roulé noir).

DALL-E a été révélé par OpenAI le [9].

En 2020, OpenAI constate que « tout comme un grand modèle de transformeur entraîné sur le langage peut générer du texte cohérent, le même modèle exact entraîné sur des séquences de pixels peut générer une image cohérente »[10].

L'image GPT a montré que le même type de réseau de neurones peut aussi être utilisé pour générer des images avec une haute fidélité. Selon OpenAi (janvier 2021) : « la manipulation de concepts visuels par le langage est désormais à portée de main »[10].

En , OpenAI a annoncé DALL-E 2 (affirmant qu'il pouvait produire des images photoréalistes à partir de descriptions textuelles), ainsi qu'un éditeur permettant de simples modifications de la sortie. Lors de l'annonce, le logiciel était encore en phase de recherche, avec un accès limité à des utilisateurs bêta présélectionnés. Le modèle pouvait encore faire de graves erreurs, y compris des erreurs qu'aucun humain ne ferait[11].

DALL-E 2 a été décrit comme un modèle qui « peut créer des images et des œuvres d'art originales et réalistes à partir d'une description textuelle. Il peut combiner des concepts, des attributs et des styles »[12].

Selon Stable Diffusion, DALL-E créait déjà environ deux millions d’images par jour lors de la phase tests[13]. Quand la plate-forme a atteint un million d’utilisateurs (mi-septembre 2022) Emad Mostaque a estimé que le seuil d'un milliard d’images par jour devrait être atteint « plutôt tôt que tard », surtout quand la possibilité de faire des animations sera activée[13]. Peter Welinder, vice-président des produits et des partenariats d’OpenAI, a estimé lors du MIT Technology Review en juillet 2022 que DALL-E pourrait même un jour prochain dépasser ChatGPT 3 en intérêt[13].

Une concurrence existe ou émerge, avec notamment DALL-E Mini, puis Craiyon (générateur d’images de moindre qualité mais gratuit) ou Midjourney et Stable Diffusion (qui sont eux de meilleure qualité). Google développe aussi, secrètement Imagen[13].

On s'attend à ce que l'art assité par intelligence artificielle croisse très rapidement en volume et en créativité[13].

CLIP[modifier | modifier le code]

DALL-E a été développé et annoncé au public en collaboration avec CLIP (Contrastive Language-Image Pre-training)[9].

CLIP est un modèle à part entière dont le rôle est de « comprendre et hiérarchiser » sa production[2].

Les images générées par DALL-E sont organisées par CLIP, qui présente les images de la plus haute qualité pour une invite donnée[9].

CLIP est un système de reconnaissance d'images[14] qui a été entrainé à comprendre et classer ces images[2] à partir de plus de 400 millions de paires d'images et de texte[3] extraits d'Internet (plutôt que sur un ensemble de données organisé d'images étiquetées comme ImageNet)[9]. CLIP associe les images à des légendes entières[9].

CLIP a été entraîné pour prédire quelle légende (parmi une « sélection aléatoire » de 32 768 légendes possibles) était la plus appropriée pour une image, lui permettant ensuite d'identifier des objets dans des images en dehors de son ensemble de formation[9].

Architecture[modifier | modifier le code]

Article détaillé : GPT-3.

Le modèle baptisé Generative Pre-trained Transformer (GPT) a d'abord été développé par OpenAI, en 2018[15][réf. non conforme], en utilisant l'architecture Transformeur. La première itération, GPT, a été mise à l'échelle pour produire GPT-2 en 2019[16] ; et en 2020, il a été de nouveau mis à l'échelle pour produire GPT-3, avec 175 milliards de paramètres[3].

Le modèle de DALL-E est une implémentation multimodale de GPT-3[17] avec 12 milliards de paramètres[3] qui « échange du texte contre des pixels », entraînés sur des paires texte-image provenant d'Internet[9].

Il utilise l'apprentissage en mode zero-shot (en) (Zero-shot learning : c'est-à-dire sans recours à des données d'apprentissage préalable[18] pour générer une image à partir de la description et des indices qui lui sont directement fournis en consigne[19]).

DALL-E génère plusieurs images en réponse aux invites.

Performance[modifier | modifier le code]

Exemple d'images générées par DALL-E au départ des consignes suivantes[20] :
  1. une bibliothèque médiévale au clair de lune ;
  2. une bibliothèque médiévale au clair de lune (même consigne) ;
  3. un codex sur une table dans une bibliothèque médiévale ;
  4. un moine copiste au travail éclairé par une bougie ;
  5. la silhouette d'un moine cistercien partiellement cachée derrière un rideau ;
  6. gros plan sur la manche d'un moine cistercien tenant une dague à la main ;
  7. clair-obscur d'un moine cistercien allongé sur le sol ;
  8. clair-obscur d'un poignard sur le sol ;
  9. silhouette d'un moine cistercien portant un codex dans un couloir sombre.

DALL-E est capable de générer des images dans une variété de styles, allant de l'imagerie photoréaliste[3] aux peintures et emoji.

Il peut également « manipuler et réorganiser » des objets dans ses images[3].

Une capacité notée par ses créateurs était le placement correct des éléments de conception dans de nouvelles compositions sans instruction explicite : « Par exemple, lorsqu'on lui demande de dessiner un radis daikon qui se mouche, sirote un café au lait ou monte sur un monocycle, DALL·E dessine souvent le mouchoir, mains et pieds à des endroits plausibles[21] ».

Alors que DALL-E présentait une grande variété de compétences et de capacités, lors de la sortie de sa démo publique, la plupart des reportages se sont concentrés sur un petit sous-ensemble d'images de sortie « surréalistes »[9] ou « excentriques »[22].

Plus précisément, la sortie de DALL-E pour la requête « une illustration d'un bébé radis daikon dans un tutu promenant un chien » a été mentionnée dans des articles de Input[23], NBC[24], Nature[25], et d'autres publications[3],[26],[27]. Sa production pour « un fauteuil en forme d'avocat » a aussi été notée[9],[28].

Des capacités émergentes apparaissent parfois chez les logiciels basés sur l'apprentissage automatique :

  • DALL-E a appris à « remplir les blancs » et à déduire de nombreux détails appropriés sans invites spécifiques (ExtremeTech a noté qu'une invite à dessiner un pingouin portant un pull de Noël a donné des images de pingouins ne portant pas seulement des pulls, mais aussi des chapeaux de Père Noël, thématiquement liés[29] ; et Engadget a noté qu'à l'invite « une peinture de renard assis dans un champ en hiver », Dall a produit une image où les ombres étaient placées de manière appropriée[19].
  • DALL-E semble aussi avoir involontairement acquis des capacités de raisonnement visuel suffisantes pour résoudre les matrices de Raven (tests visuels souvent administrés aux humains pour mesurer l'intelligence)[30].
  • DALL-E a une compréhension des tendances visuelles et de conception ; selon ExtremeTech, « vous pouvez demander à DALL-E de produire une image de téléphone ou d'un aspirateur correspondant à un moment particulier du temps de temps spécifiée, et il comprendra comment ces objets ont changé[29] ». Engadget a également noté sa capacité inhabituelle à « comprendre comment les téléphones et autres objets changent avec le temps[19] ». DALL-E a été décrit, avec d'autres « IA étroites » comme AlphaGo, AlphaFold et GPT-3 comme « [générant] de l'intérêt pour savoir si et comment l'intelligence artificielle générale peut être atteinte[31][réf. non conforme] ».

DALL-E a été décrit comme « remarquablement robuste à de tels changements » et fiable dans la production d'images pour une grande variété de descriptions arbitraires[2].

Sam Shead, journaliste pour CNBC, a qualifié ses images de « décalées » et a cité Neil Lawrence, professeur d'apprentissage automatique à l'université de Cambridge, qui l'a décrit comme une « démonstration inspirante de la capacité de ces modèles à stocker des informations sur notre monde et généraliser d'une manière que les humains trouvent très naturelle ».

Shead a aussi cité Mark Riedl (professeur agrégé à la Georgia Tech School of Interactive Computing). Selon ce dernier, DALL-E a montré qu'il était capable de « mélanger de manière cohérente des concepts », ce qui est un élément clé de la créativité humaine. La démo de DALL-E a été remarquable pour produire des illustrations beaucoup plus cohérentes que les autres systèmes Text2Image vus ces dernières années[22]. Riedl, à la BBC s'est aussi dit « impressionné par ce que le système pouvait faire »[28].

Aspects éthiques et moraux, et impacts sociétaux[modifier | modifier le code]

Les modèles de langage comme GPT-3 ont un potentiel bénéfique pour la société (ex. : auto-complétion de code et d'écriture, assistance grammaticale, génération de narration de jeu, amélioration des réponses des moteurs de recherche et de la réponse à des questions…), mais les chercheurs qui les étudient sont également conscient qu'« ils ont aussi des applications potentiellement dangereuses », et que leur demande en capacité de calcul intensif les rend, au moins au stade de l'apprentissage, très consommateurs d'énergie (et donc contributeurs au réchauffement climatique)[32].

Ainsi, les modèles de langage améliorés (comme GPT-3) améliorent grandement la qualité des textes et des images artificiellement générés, et disposent d'une adaptabilité bien plus grande que les modèles antérieurs, mais avec comme conséquence que distinguer le texte et les images synthétiques du texte écrit par l'homme et d'images réelles devient de plus en plus difficile, voire impossible[32].

Ces modèles linguistiques « intelligents » ont un fort potentiel d'applications bénéfiques, mais aussi de conséquences ou d'applications néfastes[32]. C'est pourquoi avant d'éventuellement largement diffuser ce type d'outil, des chercheurs étudient leur efficacité énergétique, leurs méfaits potentiels (pour pouvoir les atténuer). En particulier ils étudient les problèmes de partialité, d'équité et de représentation, problèmes qui peuvent apparaitre spontanément en raison de « contamination des données » notamment ; GPT-3 peut en effet intégrer :

  • des préjugés sexistes, raciaux et religieux (d'autres catégories de préjugés existent très probablement dans ces logiciels, encore à étudier) ;
  • des facteurs d'inéquité ;
  • d'autres types de discriminations liées aux biais et contenus des corpus et bases de données qu'il utilise pour son auto-apprentissage (une étude publiée en 2020 « indique que les modèles formés à Internet ont des biais à l'échelle d'Internet ; les modèles ont tendance à refléter les stéréotypes présents dans leurs données de formation »[32]).

Le scandale Facebook-Cambridge Analytica[33],[34]/AggregateIQ et l'utilisation du logiciel Ripon[35] qui semblent avoir permis l'élection de Donald Trump[34],[36], puis le Brexit[37], et la manipulation frauduleuse d'une vingtaine d'élections dans le monde ont montré la réalité d'un autre risque : celui d'utilisations abusives délibérées, par exemple pour la désinformation (de la publicité à la propagande politique…), l'hameçonnage, l'abus des procédures légales et gouvernementales, la rédaction frauduleuse d'articles, d'ouvrages ou d'essais universitaires, ou d'œuvres d'art ; l'ingénierie sociale[32].

Au début des années 2020, OpenAI et divers chercheurs cherchent donc aussi à « analyser les impacts sociétaux » que peut générer DALL-E et/ou le programme GPT-3, par exemple s'ils sont détournés pour produire de faux textes et de fausses images ou vidéo pouvant donner l'impression d'une vérité ou au moins d'une parfaite plausibilité et cohérence[38] et « le potentiel de biais » de ce logiciel avant de le publier pour un usage général[22].

Ces intelligences artificielles sont particulièrement susceptibles d'être mal utilisées et/ou sciemment détournées pour des usages illégaux, non-éthiques et sociétalement dangereux, on cherche à faire en sorte qu'ils soient en mesure de se défendre de tels usages[32][réf. non conforme]. Dans le monde, plusieurs Partenariats sur l'IA visent à traiter ces sujets, de manière plus ou moins pluridisciplinaire et collaborative, dont sous l'égide de l'OCDE.

Article détaillé : Partenariat sur l'IA.

Consommation d'énergie et contribution à l'effet de serre[modifier | modifier le code]

Dans un monde aux ressources finies, et dans le contexte du réchauffement climatique, le rendement énergétique et la soutenabilité des intelligences artificielles deviennent un enjeu majeur[32].

Le modèle de langage amélioré sous-jacent, ainsi que les outils de génération d'images doivent en effet être entrainés. Ceci se fait généralement à partir du Web et nécessite une énorme puissance de calcul, et est donc énergivore : à titre d'exemple, pour former le GPT-3 à 175 milliards de paramètres utilisé par DALL-E, il a fallu « plusieurs milliers de pétaflops-jours de calcul pour son temps de pré-formation (contre quelques dizaines de pétaflops-jours pour un modèle GPT-2 à 1,5 milliard de paramètres) »[32].

Des modèles comme GPT-3 sont cependant ensuite étonnamment efficaces une fois entraînés : même avec le GPT-3 à 175 milliards de paramètres complet, la génération de 100 pages de contenu à partir d'un modèle formé peut alors ne consommer qu'environ 0,4 kWh, ou soit quelques centimes en coût énergétique[32]. L'impact ou la dette carbone du système sera justifiée par l'usage ou des messages qu'on en fera (fonctions gadgets, jeux/cinéma, publicité, ou usages pédagogiques, scientifiques, etc.).

Des progrès algorithmiques associés à des techniques de « distillation de modèles » et des usages collaboratifs permettent d'ensuite diminuer le coût de ces modèles dans des contextes appropriés[32], mais toujours avec le risque d'effet rebond bien connu des économistes.

Prospective[modifier | modifier le code]

DALL-E annonce « l'aube d'un nouveau paradigme d'IA connu sous le nom d'IA multimodale »[réf. nécessaire], dans lequel les systèmes seraient capables de combiner des données et de traduire des données entre plusieurs types d'informations.

Notes et références[modifier | modifier le code]

  1. ↑ a et b (en) Tom B. Brown, Benjamin Mann, Nick Ryder et Melanie Subbiah, « Language Models are Few-Shot Learners », arXiv:2005.14165 [cs],‎ (lire en ligne, consulté le ).
  2. ↑ a b c d e f et g (en) Devin Coldewey, « OpenAI’s DALL-E creates plausible images of literally anything you ask it to », sur TechCrunch, (consulté le ).
  3. ↑ a b c d e f g h et i (en-US) « OpenAI debuts DALL-E for generating images from text », sur VentureBeat, (consulté le ).
  4. ↑ (en-US) Yusuf Mehdi, « Announcing Microsoft Copilot, your everyday AI companion », sur The Official Microsoft Blog, (consulté le ).
  5. ↑ (en-US) « OpenAI’s text-to-image engine, DALL-E, is a powerful visual idea generator », sur VentureBeat, (consulté le ).
  6. ↑ (en) Mihai Andrei, « This AI module can create stunning images out of any text input », sur zmescience.com, (consulté le ).
  7. ↑ (en) Bryan Walsh, « A new AI model draws images from text », Axios, (consulté le ).
  8. ↑ (en) Rob Toews, « AI And Creativity: Why OpenAI's Latest Model Matters » [archive du ], Forbes, (consulté le ).
  9. ↑ a b c d e f g h i et j (en) Will Douglas Heaven, « This avocado armchair could be the future of AI », MIT Technology Review, (consulté le ).
  10. ↑ a et b (en-US) « DALL·E: Creating images from text », sur openai.com (consulté le ).
  11. ↑ (en) Jeremy Kahn, « Move over Photoshop: OpenAI has just revolutionized digital image making », Fortune, (consulté le ).
  12. ↑ (en) « DALL·E 2 », OpenAI (consulté le ).
  13. ↑ a b c d et e (en) « OpenAI Says DALL-E Is Generating Over 2 Million Images a Day—and That's Just Table Stakes », sur web.archive.org, (consulté le ).
  14. ↑ (en) « For Its Latest Trick, OpenAI's GPT-3 Generates Images From Text Captions » [archive du ], Synced, (consulté le ).
  15. ↑ (en) Alec Radford, Karthik Narasimhan, Tim Salimans et Ilya Sutskever, « Improving Language Understanding by Generative Pre-Training » [(date=26 January 2021 ; archivage) archive] [PDF], OpenAI, (consulté le ), p. 12.
  16. ↑ (en) Alec Radford, Jeffrey Wu, Rewon Child et David Luan, « Language models are unsupervised multitask learners », OpenAI, vol. 1, no 8,‎ (lire en ligne [archive du ] [PDF], consulté le ).
  17. ↑ (en) Alex Tamkin, Miles Brundage, Jack Clark et Deep Ganguli, « Understanding the Capabilities, Limitations, and Societal Impact of Large Language Models », .
  18. ↑ L’apprentissage en mode zero-shot est une technique d’intelligence artificielle. Elle permet à un modèle d’effectuer une tâche sans avoir besoin de données d’entraînement spécifiques à cette tâche. DALL-E l'utilise pour générer des images à partir de descriptions textuelles, sans avoir été entraîné spécifiquement à cette tâche, utilisant son modèle de langage pré-entraîné sur des paires texte-image provenant d’Internet pour apprendre à associer des mots à des pixels.
  19. ↑ a b et c (en) Steve Dent, « OpenAI's DALL-E app generates images from just a description » [archive du ], Engadget, (consulté le ).
  20. ↑ Les consignes ont été données en anglais :
    1. a moonlit medieval library
    2. a moonlit medieval library (2)
    3. a codex on a table in a medieval library
    4. a copyist monk at work lit by a candle
    5. a figure of a Cistercian monk partially hidden behind a curtain
    6. close-up on the sleeve of a Cistercian monk holding a dagger in his hand
    7. chiaroscuro of a Cistercian monk lying on the ground
    8. chiaroscuro of a dagger on the floor
    9. figure of a Cistercian monk carrying a codex in a dark corridor.
  21. ↑ (en) Thom Dunn, « This AI neural network transforms text captions into art, like a jellyfish Pikachu » [archive du ], Boing Boing, (consulté le ).
  22. ↑ a b et c (en) Sam Shead, « Why everyone is talking about an image generator released by an Elon Musk-backed A.I. lab », sur CNBC, (consulté le ).
  23. ↑ (en) Mehreen Kasana, « This AI turns text into surreal, suggestion-driven art » [archive du ], Input, (consulté le ).
  24. ↑ (en) Melanie Ehrenkranz, « Here's DALL-E: An algorithm learned to draw anything you tell it » [archive du ], NBC News, (consulté le ).
  25. ↑ (en) Emma Stove, « Tardigrade circus and a tree of life — January's best science images » [archive du ], Nature, (consulté le ).
  26. ↑ (en) Will Knight, « This AI Could Go From 'Art' to Steering a Self-Driving Car » [archive du ], Wired, (consulté le ).
  27. ↑ (en) Rachel Metz, « A radish in a tutu walking a dog? This AI can draw it really well », CNN, (consulté le ).
  28. ↑ a et b (en) Jane Wakefield, « AI draws dog-walking baby radish in a tutu » [archive du ], British Broadcasting Corporation, (consulté le ).
  29. ↑ a et b (en) Ryan Whitwam, « OpenAI's 'DALL-E' Generates Images From Text Descriptions » [archive du ], ExtremeTech, (consulté le ).
  30. ↑ (en) Dale Markowitz, « Here's how OpenAI's magical DALL-E image generator works » [archive du ], TheNextWeb, (consulté le ).
  31. ↑ (en) Stefano Nichele, « Tim Taylor and Alan Dorin: Rise of the self-replicators—early visions of machines, AI and robots that can reproduce and evolve », Genetic Programming and Evolvable Machines, vol. 22,‎ , p. 141–145 (DOI 10.1007/s10710-021-09398-5).
  32. ↑ a b c d e f g h i et j (en) Tom B. Brown, Benjamin Mann, Nick Ryder et Melanie Subbiah (…), « Language Models are Few-Shot Learners », arXiv:2005.14165 [cs],‎ (lire en ligne, consulté le ).
  33. ↑ (en-GB) « Facebook scandal 'hit 87 million users' », sur BBC News, (consulté le ).
  34. ↑ a et b (en) Cadwalladr C, « The great British Brexit robbery: how our democracy was hijacked » [PDF], The Guardian, .
  35. ↑ (en) « The Aggregate IQ Files, Part One: How a Political Engineering Firm Exposed Their Code Base », sur upguard.com, (consulté le ).
  36. ↑ (en) Colin J Bennett, « Trends in Voter Surveillance in Western Societies: Privacy Intrusions and Democratic Implications », Surveillance & Society (en), vol. 13, nos 3/4,‎ , p. 370–384 (ISSN 1477-7487, DOI 10.24908/ss.v13i3/4.5373, lire en ligne, consulté le ).
  37. ↑ (en-GB) Patrick Foster et Martin Evans, « Exclusive: How a tiny Canadian IT company helped swing the Brexit vote for Leave », sur The Telegraph, (ISSN 0307-1235, consulté le ).
  38. ↑ (en) Thomas Macaulay, « Say hello to OpenAI's DALL-E, a bot that creates weird images from text », sur TNW, (consulté le ).

Voir aussi[modifier | modifier le code]

Articles connexes[modifier | modifier le code]

Liens externes[modifier | modifier le code]

v · m
Affichage
Agriculture
Astronomie/Astrophysique
Bioinformatique
Biologie
Biomédicale
Chimie
Électronique
Informatique
Physique
Robotique
Transport
v · m
Domaines de l'informatique
Remarque : cette liste s'inspire du système de classification informatique de l'ACM édité en 2012
Matériel
Appareil et organisation
d'un système
Réseau
Organisation du logiciel
Théorie et outil (en)
de programmation
Développement de logiciel
Théorie du calcul (en)
Algorithmique
Mathématiques
de l'informatique
Système d'information
Sécurité
Interactions homme-machine
Concurrence (en)
Intelligence artificielle
Apprentissage automatique
Infographie
Audio informatique
Informatique appliquée
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=DALL-E&oldid=214335906 ».