|
|
机器之心报道
. v& D0 V" m8 p( T编辑:杜伟. N. Z. j, R, r( L! i
让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。, Y; L. L8 W' g/ Y' @
我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。" R) S1 B8 v" `
因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。
/ ?& I( F% J. U, K/ G甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。& l) i7 \2 c; ^& _6 ~ V0 q
6 P5 h$ x8 g& S9 {" F1 g3 s
9 X2 V" C" `2 C3 y& ^& o" i0 I) s
3 B: M" \0 U3 P+ b1 E3 }Stable Diffusion 实现最快安卓端运行" P! f [7 B! J7 j+ w7 s. k
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。
% K- u3 i) ]7 g5 P" V& L在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。" m& |6 v- }% h. ?/ s- A: f
# a* Y8 Q6 _. B* C: y$ l- w
/ `& U4 n; i" X; L( w5 B5 [
a r7 T" U8 o) s
高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。
! Q! B) J4 D/ n6 n( t& T3 {% Z! w+ @+ [/ s: q# E. @
& E3 B8 O& P7 w
5 L0 V: d* S" |! A" u在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
; \- e2 s( @; ^6 T, i
) S* d& e, }4 E7 ?5 T9 d
$ n8 q6 j/ ], q% Y; E3 [
8 U4 Z+ ]* y N1 H/ N其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。. }& x! u* s. X6 y5 F5 f
_) y' D$ F1 T/ V
2 a; a9 j0 K9 j% u" n4 c# n {3 ?: Q d2 A; F$ }
博客地址:0 h' w6 Z4 R# I9 Y g
https://ivonblog.com/en-us/posts/android-stable-diffusion/; t. ^' T' o: L' c3 n
参考链接:
7 K% G y Y7 F- `2 D: y0 ghttps://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest. p2 r; \% z5 D& t q, J
https://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android
8 t o1 } X$ r" j THE END ; G Q' v; U& Q
转载请联系本公众号获得授权
! |# `! j7 K0 P A投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|