Apple намалява наполовина времето за композиране на изображения с изкуствен интелект с корекция на стабилна дифузия

Увеличавам / Два примера за произведения на изкуството, създадени от Stable Diffusion, предоставени от Apple.

ябълка

В сряда Apple освободен подобрения, които позволяват стабилно разпространение AI генератор на изображения, с който да работи на Apple Silicon ML ядроРамка на Apple за модели за машинно обучение. Подобренията ще позволят на разработчиците на приложения да използват Apple Neural Engine Хардуер за стартиране на Stable Diffusion почти два пъти по-бързо от предишните методи, базирани на Mac.

Stable Diffusion (SD), който стартира през август, е модел с AI наслагване на изображения с отворен код, който генерира нови изображения чрез въвеждане на текст. Например, изписването на “астронавт върху дракон” в SD карта ще създаде изображение на точно това.

пуска нови SD подобрения – налични като скриптове за преобразуване в github—Apple иска да отключи пълния потенциал на фотомонтажа на своите устройства бележки На рекламната страница на Apple Research. „С броя на приложенията Stable Diffusion, които нарастват, гарантирането, че разработчиците могат ефективно да използват тази технология, е от решаващо значение за създаването на приложения, които създателите навсякъде могат да използват.“

Apple също така споменава поверителността и избягването на разходите за облачни изчисления като ползи от стартирането на модела за генериране на AI локално на Mac или Apple устройство.

„Поверителността на крайния потребител е защитена, тъй като всички данни, които потребителят предоставя като входни данни във формуляра, остават на устройството на потребителя“, казва Apple. “Второ, след първоначалното изтегляне потребителите не се нуждаят от интернет връзка, за да използват шаблона. И накрая, внедряването на този шаблон на място позволява на разработчиците да намалят или премахнат разходите, свързани със сървъра.”

В момента Stable Diffusion създава по-бързи изображения на графичните процесори от висок клас на Nvidia, когато стартирайте локално На компютър с Windows или Linux. Например, генерирането на изображение 512 x 512 на 50 стъпки на RTX 3060 отнема около 8,7 секунди на нашата машина.

За сравнение, традиционният метод за стартиране на Stable Diffusion на Apple Silicon Mac е много по-бавен, като отнема около 69,8 секунди за генериране на изображение 512 x 512 при 50 стъпки, използвайки Разпространение на пчелите В нашите тестове на M1 Mac Mini.

Според Apple Стандарти В GitHub, новата Core ML SD оптимизация на Apple може да генерира 512 x 512 50-стъпково изображение на M1 чип за 35 секунди. M2 върши работата за 23 секунди, а най-мощният силиконов чип на Apple, M1 Ultra, може да постигне същия резултат само за девет секунди. Това е огромно подобрение, съкращаващо времето за генериране почти наполовина в случая на M1.

Ябълка Версия на GitHub Това е пакет на Python, който преобразува модели на Stable Diffusion от PyTorch към Core ML и включва пакета Swift за внедряване на модела. Подобренията работят за Stable Diffusion 1.4, 1.5 и по-нови 2.0.

В момента се опитвате да настроите Stable Diffusion с Core ML естествено на Mac е насочен към разработчици и изисква някои основни умения за команден ред, но Hugging Face публикува Задълбочено ръководство Да подготви Apple Core ML подобрения за тези, които искат да експериментират.

За тези, които не са технически склонни, приложението, споменато по-рано, се извиква Разпространение на пчелите Улеснява стартирането на Stable Diffusion на Apple Silicon, но все още не включва новите подобрения на Apple. Освен това можете да играете Stable Diffusion на iPhone или iPad с помощта на файл Нарисувайте неща Приложение.