Agrandir / Génération d’images AI à l’aide de “Draw Things” sur l’iPhone.
Benj Edwards / Pomme
Mercredi, un développeur basé à San Francisco nommé Liu Liu a publié Draw Things: AI Generation, une application gratuite disponible dans l’App Store qui permet aux propriétaires d’iPhone d’exécuter le populaire générateur d’images Stable Diffusion AI. Tapez une description et l’application génère une image en quelques minutes. Il s’agit d’une étape notable vers la diffusion de la synthèse d’images à un public plus large, avec la confidentialité supplémentaire de l’exécuter sur votre propre matériel.
Introduit en août, Stable Diffusion (SD) est un modèle de générateur d’images IA qui crée de nouvelles images à partir de descriptions textuelles (appelées “invites”). En règle générale, les utilisateurs exécutent SD via le service commercial DreamStudio, sur une machine cloud distante avec du temps de calcul loué, ou localement sur un PC à l’aide d’une implémentation open source personnalisée. Lorsqu’il est exécuté localement, SD nécessite un GPU assez puissant pour générer rapidement des images, mais certains développeurs ont optimisé le modèle pour qu’il fonctionne sur des GPU plus anciens avec moins de VRAM (si cela ne vous dérange pas d’attendre plus longtemps pour voir les résultats).
Dans la même veine, Liu Liu a réussi à optimiser Stable Diffusion pour qu’il fonctionne sur l’iPhone, un processus quelque peu difficile que le développeur a décrit dans un article de blog. “Le principal défi est d’exécuter l’application sur les appareils iPhone de 6 Go de RAM”, écrit Liu Liu. “6GiB semble beaucoup, mais iOS commencera à tuer votre application si vous utilisez plus de 2,8GiB sur un appareil 6GiB, et plus de 2GiB sur un appareil 4GiB.”
Lors de la première exécution de Draw Things, l’application télécharge plusieurs fichiers nécessaires, y compris le modèle Stable Diffusion 1.4, sur votre iPhone. Pour l’utiliser, tapez une invite en haut de l’écran, puis appuyez sur “Générer”. Entre la génération d’images, appuyez sur le nombre en haut au centre de l’écran pour randomiser la graine, qui est un nombre qui guide partiellement la génération de l’image.
Publicité
Agrandir / Captures d’écran de l’application “Draw Things” sur iPhone montrant l’écran de génération (à gauche) et l’écran des paramètres (à droite).
Benj Edwards
Sur notre iPhone 11 Pro, générer une image 384×384 prenait un peu plus de deux minutes. C’est plus rapide sur un iPhone 14 Pro, selon Liu Liu, générant une image en une minute environ. Dans tous les cas, SD est gourmand en calculs. Après des générations successives, notre iPhone est devenu particulièrement chaud au toucher.
Il convient de noter qu’avec Stable Diffusion, les images 384 × 384 génèrent souvent des résultats relativement médiocres et peu détaillés, car les créateurs de SD ont formé le modèle à l’aide d’images 512 × 512. Lors de la tentative de génération d’une image 512 × 512 sur notre iPhone 11 Pro, nous avons reçu un avertissement et avons continué quand même, mais l’application s’est écrasée sur un écran noir.
En plus des tâches habituelles de génération d’images, Draw Things prend également en charge l’inpainting, qui vous permet de remplacer une partie d’une image par des images générées par l’IA, et de charger des modèles de synthèse d’images supplémentaires tels que le modèle non autorisé “Modern Disney Diffusion” (qui génère Disney- à la recherche de personnages) et le modèle “Waifu Diffusion” alimenté par l’anime (nous avons testé, et il est possible de générer du matériel NSFW à l’aide de l’application, alors soyez averti). L’inclusion de ces fonctionnalités signifie que Draw Things pourrait ne pas rester longtemps dans l’App Store s’il devient populaire, car le contenu qu’il génère peut enfreindre les conditions de service d’Apple.
Quel que soit son destin, Draw Things ressemble à une importante preuve de concept, montrant que Stable Diffusion peut fonctionner localement sur l’iPhone, même si lentement. Si l’application reste, peut-être avec quelques filtres ou modifications, Liu Liu décrit la possibilité d’optimisations futures potentielles qui pourraient accélérer les choses : “J’ai probablement encore laissé 50 % de performances sur la table.”
Ce n’est pas la première fois que Stable Diffusion fonctionne sur un iPhone. En septembre, le développeur Matt Waller a exécuté Stable Diffusion localement sur son iPhone XS, mais il n’a pas fourni d’application App Store qui permettrait à d’autres de reproduire l’exploit. Nous verrons probablement plus de synthèse d’images d’IA locale sur les smartphones à mesure que la puissance de calcul des appareils continue d’augmenter.
