|
|
机器之心报道/ [: }" K0 o( }3 Q5 U0 v
编辑:杜伟
3 x0 {& O. E# X! ~) X' ~# }让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。" }' n1 {+ y1 _* M: R" f- p/ W4 C
我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。+ U7 `0 l0 P/ `, @: e, f9 n
因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。$ n& e% J# u% V
甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。
- l8 e' ` x" d: d8 }8 p( p+ M" t
- ^4 O) z" y3 J. Y, ?) P) H t4 W) T' |
7 @( b6 D5 z; A3 aStable Diffusion 实现最快安卓端运行
; h0 R/ p8 q+ O5 h那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。) D- C9 M# n+ U7 M5 g
在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。8 [4 l: ]6 \3 J6 b7 V% x. X" F
% i8 U, R6 S+ {2 t" v
- n, p+ g4 S1 V C' v6 p0 z$ N& w1 w4 x7 m
高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。
& x' B! s% D9 g$ R! I0 M" D$ b6 s: B1 b/ k/ q
% ]( E0 N/ N5 B2 V
3 z" }; @( H( T- ]# ]3 _! B, ~
在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
2 q2 b& m" C4 B! b) u
+ f9 [9 m" X9 s: x; ^: w
+ b) `& L3 w0 L0 d% ^) t/ D! j
/ a0 m: v! a- w其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。
) i" B+ [5 T; {6 L% b5 y
( v0 F" B0 ], ~$ L: X) ]+ ^9 n0 R/ B% I% S# }) G) _. q( E
1 |+ i1 T( V- K2 R, y
博客地址:
7 E4 B: S0 {. c! q) C3 S. O% mhttps://ivonblog.com/en-us/posts/android-stable-diffusion/' O+ z- y" [' |6 r, r! Z5 y d
参考链接:( E9 ]* v) ?9 k+ m- {/ {
https://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest
$ _/ O4 E( i: S. L+ hhttps://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android' A U1 ?( Y8 v3 \) O# L u& n9 ~' e* t
THE END
& s4 _4 m5 \' B ] ?5 e转载请联系本公众号获得授权
# {+ P. a, V0 L4 \$ e. ~投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|