|
|
机器之心报道
% X2 F- I' l: }8 f$ M编辑:杜伟
' c) r! L; ~% Z3 F n G5 o让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。
/ l% r9 }% q3 k5 t) U我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。
7 M& p+ `8 A& y( C7 Z因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。
: x. u A% e$ @" c. ?7 h甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。0 @% J1 i& |5 U7 _6 s& Z8 f
1 B& D; w( ~; t5 }* A4 D5 c2 a# h! T: L- }) o1 }
: a7 ]; e6 S, @8 u K# x
Stable Diffusion 实现最快安卓端运行* a) y' J4 k8 }/ F+ i
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。
3 i I( c/ h: |3 }5 v在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。
$ G; `2 T! z9 f, U1 d
, t3 q' K3 D' [/ p' ^
) X H- O+ C7 X
/ j- N0 T/ M+ Q# L! a# m高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。' [! k1 y. }1 v5 \( g- G
1 I. l: N% q# h' S$ k p: m
- u) B e6 a" o" G, ^) n+ D$ I2 Q' X; P8 a. ?- b
在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
3 P1 _9 ]: g' M
L* b5 z6 c4 _* a' o0 w$ D$ i1 o+ q# `1 i+ c) D. k8 {" h+ k
5 O) ]! k6 ~ n, j4 {4 U
其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。
; i3 K" S! N. P7 m/ w
3 I1 f7 s9 Y: R1 \% N1 p E5 y3 N& ?1 L5 k5 e9 ` ]* j
6 R/ E& T- [5 X: P6 p9 n
博客地址:
: N( F% t/ s; b A1 E \https://ivonblog.com/en-us/posts/android-stable-diffusion/* {1 u7 m4 v7 s# M
参考链接:
+ n- w9 J" [ ~' @% r$ q& [) P1 i+ chttps://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest
& y0 l+ M+ h; ~https://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android
' t; j7 a1 ~8 u) T2 Q* O THE END
/ j0 o: x9 X6 w p转载请联系本公众号获得授权" k( h2 e% o0 z
投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|