一个名叫「Music To Image」应用程序在Hugging Face社区横空出世后,直接热度飙升,冲上了本周热搜榜,让人们看到了「音生图」的潜在可能性。
简而言之,只要上传一段音乐,它就能根据音乐旋律和歌词,生成一张对应意境的图片。
玩法也十分简单,只需在页面上拖拽或者上传一段音频文件,支持MP3/WAV等常见音频格式,AI会直接调用AI绘画工具Stable Diffusion的API接口,进行下一步的「文生图」动作。
将音频发送到LP-Music-Caps以生成音频字幕,然后使用Llama2大模型将其转换为说明性图像描述,最后运行Stable Diffusion XL以从音频生成图像!
注意:音频仅能推理前30秒。
官方网址:huggingface.co/spaces/fffiloni/Music-To-Image
前往官网
声明:本文来自AIGC收录导航网投稿,不代表吾站网立场,版权归原作者所有,欢迎分享本文,转载请保留出处!