|
|
机器之心报道) Z# _! d' U0 K2 M/ q! B0 W
编辑:杜伟
# l7 u5 _) @) X: V/ s- {让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。
% n; p) B; W/ L) z& J我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。# {1 b( A/ L$ }2 Q
因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。* t4 Q( z: J8 v3 [' r% P% w* V
甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。
$ B9 `. o4 e" L3 S. l* j; C0 V! h o8 p0 ?1 {
( d7 Z( b% c9 t$ Y0 K0 N' p. ]& ~$ E
8 i1 R* ]1 G; `3 Y+ j6 ?
Stable Diffusion 实现最快安卓端运行# I# }' B. t6 P+ z
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。
& s* J2 _/ s) S8 z" v1 Y在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。4 u& ~4 I& m2 M' w8 U% ]) ?0 }
5 g8 @4 F1 d+ \, K
, I5 x/ J1 d. L( V1 v6 N! p
( ?8 U; ^6 F/ G5 _4 o* s) A& U高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。
3 m, H; Y% U5 {: {. L6 q+ L* L# d; e% v0 r! G
- v m+ Q. q% ^. x/ p; ~, L5 y4 p* _6 `& [2 Z+ i; @
在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。0 _! A0 f# q1 Y A9 t
! f& N1 o4 _0 A& k# N
: o- m3 F' C1 Q6 t( s5 W# r8 C' d' i& n! d! F! h- ]% B
其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。, x9 a2 K1 W% T& ]" ^1 a
* F, J5 m6 ?9 Z4 W' x5 d. ] k* R. x
( n& s) q6 q, u6 u
5 ~' O8 p! W# V5 y; g5 [4 n博客地址:% B1 M7 X. c6 [: ~2 C
https://ivonblog.com/en-us/posts/android-stable-diffusion/' e; s# T. B L* P8 R
参考链接:% d5 |( S; b/ v" `- s
https://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest: A5 o& H+ H) `
https://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android0 c' W+ U+ @5 J+ i7 k/ [5 X0 O$ t
THE END
+ K* U5 A+ T1 B- v转载请联系本公众号获得授权
: K% _$ w# c( Y3 F, m投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|