Apple добавя поддръжка на Core ML за стабилно внедряване на Apple Silicon

ябълка освободен Набор от подобрения на Core ML за активиране стабилно разпространение Текст към изображение на устройства на Apple Silicon, работещи с най-новите версии на iOS или macOS, съответно iOS 16.2 и macOS 13.1.

Core ML Stable Diffusion, както го нарече Apple, се състои от инструмент за команден ред на Python, python_coreml_stable_diffusionкойто се използва за преобразуване на модели на Stable Diffusion PyTorch в Core ML, а разработчиците на пакети Swift могат да го използват в своите приложения, за да активират лесно възможностите за генериране на изображения.

След като преобразувате версия Stable Diffusion, може да искате да я използвате във формат Core ML използвайки CLIсъздаването на изображение в приложението Swift от дадена подкана е толкова лесно, колкото:

import StableDiffusion
...
let pipeline = try StableDiffusionPipeline(resourcesAt: resourceURL)
let image = try pipeline.generateImages(prompt: prompt, seed: seed).first

С инструментариума Core ML Stable Diffusion, Apple насочва вниманието към ползите както за потребителите, така и за разработчиците от внедряването на модела за извод на устройството в сравнение със сървърно базирания подход:

Първо, поверителността на крайния потребител е защитена, тъй като всички данни, предоставени от потребителя като входни данни във формуляра, остават на устройството на потребителя. Второ, след първоначалното изтегляне потребителите не се нуждаят от интернет връзка, за да използват формуляра. И накрая, внедряването на този модел локално позволява на разработчиците да намалят или премахнат разходите, свързани със сървъра.

Apple казва, че основният фактор, позволяващ публикуването на устройството, е скоростта. Ето защо те разработиха a Подход за подобряване на модела на стабилна дифузиясъставен от 4 различни невронни мрежи, включително около 1,275 милиарда параметри, за да работи ефективно на Apple Neural Engine, наличен в Apple Silicon.

Въпреки че Apple все още не е предоставила никакви данни за производителността на подобренията, направени от Core ML Stable Diffusion, те установиха, че Модел на лицето DistilBERT Създаден веднага с 10x подобрение на скоростта и 14x намаление на консумацията на памет. Тук трябва да се отбележи, че Stable Diffusion е много по-сложен от Hugging Face DistilBERT, което според Apple прави аргументите за подобрения в извода на устройството по-убедителни, за да се възползват от моделите, създадени от общността, с нарастваща сложност.

Според Apple, Stability Diffusion позволи създаването на „безпрецедентно визуално съдържание с по-малко пряк текст“ и предизвика значителен интерес от общността на художници, разработчици и любители. Заедно с това Apple вижда увеличени усилия да използва Stable Diffusion за редактиране на снимки, рисуване отвътре, рисуване отвън, супер разделителна способност, прехвърляне на шаблони и други възможни приложения.

Въз основа на a модел на латентна дифузия Разработено от CompVis Group в LMU МюнхенStability Diffusion беше пуснат в сътрудничество между Stability AI, CompVis LMU и Runway с подкрепата на EleutherAI и LAION. Това беше нейният типичен код и тежести публично пуснат Можете лесно да го изпробвате прегръщане на лицето или използвайки DreamStudio AI.