|
|
机器之心报道/ V9 f$ e r; C" ]7 q* {, _7 w @ r
编辑:杜伟
( W! a; o2 c+ C" o( _$ e让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。+ s, G' }. d: ^. v3 c
我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。
- L. k3 A! F U3 f7 Z$ N因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。, n- V* K) s- B; y
甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。8 o. j8 x8 H1 o, V. p
% a8 e/ R/ [" g# u
4 [: D2 X" k L* `; T7 ?. d f
) S, h. v; g; X' O9 v
Stable Diffusion 实现最快安卓端运行. U. K7 v5 I- R! \/ H: i3 v. I; E8 z
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。9 r0 Z. W- |' ~) I
在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。* U+ w8 J" l9 A! Z! |
) k% G! A6 P) O
4 d9 Q! F. o8 s
: s! k5 F# ~0 \% [; X
高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。
8 \# X$ g% r( H+ t2 I
' c( `# S( P) F; ~5 K
1 r3 q+ c" ]% p/ x, |7 t( P6 s! Q/ M( [. {
在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
6 C5 ` f0 G/ A2 j8 k" f
3 W9 F: C* R, G4 a3 E# `/ e
5 v+ J& k* D1 K' D% g+ C/ E( h/ x+ m4 L5 [8 i9 i- T
其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。! A& o3 A, N% _# |6 K) M. [
2 q3 W/ U8 n0 J& ~
- n1 e" e+ Z6 _: {) t
3 O- ~2 K+ p: ^. ?3 [博客地址:- i/ r2 Q4 n# k3 G
https://ivonblog.com/en-us/posts/android-stable-diffusion/
% G1 t: @( \3 \ T: D& f参考链接:3 R3 G0 I6 a) Y
https://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest
+ G Z! _! G0 i0 Y+ }/ d" U; j# Bhttps://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android
4 {, R1 H( v; P% D2 a THE END
4 l3 b1 b& @% v" j8 p/ |6 O/ n转载请联系本公众号获得授权5 f# F* c8 f& x
投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|