ACE-Step
本地的音乐生成模式,在你的电脑上创建10秒到10分钟的音轨.
概览
ACE-分层神经网络描述
ACE-Step是一个用于音乐生成的开源神经网络,在你的计算机上完全在当地运行. 与云服务不同,它不需要订阅,互联网连接,或者限制代数. 你只需要下载模型,运行它, 并创建音轨在任意一卷。 结果的质量与商业音乐发电机相当.
该模型可以创造出长度从10秒到10分钟的完整组成. 生成速度令人印象深刻:在一款A100GPU上,在2秒以内创建出全轨,再在一款RTX 3090上——最高可达10秒. 批量模式被支持,允许最多8个音轨同时生成.
技术无障碍
ACE-Step的关键优势之一是其硬件要求低. 少于4GB的VRAM足以运行该模型,使其能够在大多数现代计算机上工作. Mac,AMD,Intel,和CUDA等平台均被支持. 为Windows和macOS提供具有预先安装的依赖性的可移植软件包,为经验不足的用户简化了安装. 在第一次发布时,模型会自动下载必要的文件.
ACE-阶段规格
| 规格 | 数值 |
|---|---|
| 型号 | 本地开源 |
| 世代持续时间 | 10秒至10分钟 |
| 生成速度 | A100最多2秒,RTX3090最多10秒 |
| 批量模式 | 最多8个轨道同时 |
| 村村村记录和档案管理要求 | 低于 4 GB |
| 支持的平台 | 麦克、AMD、英特尔、CUDA |
| 语文支助 | 50多种语言 |
| LORA培训 | 是的,通过Gradio接口 |
| LORA 培训时间 | 大约1小时的RTX 3090(12 GB) |
| 接口 | Gradio UI, REST API (英语). |
| 操作系统 | 视窗、 macOS、 Linux |
| 分发格式 | 免费 |
ACE -Step适合谁?
ACE-Step将对从事音乐工作或需要高质量音频伴奏的广泛用户有用.
音乐家和制作人
对于作曲家和音效制作人来说,ACE-Step为快速创建演示版本,实验风格,并产生想法开辟了机遇. 通过LORA在自己音轨上训练模型的能力,可以使您产生出一种独特的声音来反映作者的个人风格.
内容创建者和录像师
YouTube,TikTok,Instagram等平台的内容创建者可以生成背景音乐而无需冒版权被侵犯的风险. 控制 BPM,密钥,和样式的能力允许您为特定的视频序列选择一个音轨.
复制机和开发者
ACE-Step将有益于开发者通过REST API将音乐生成集成到他们的应用中. 该工具也适合于需要快速获取独特音乐成分的抄写者,用于测试项目或演示.
怎样使用ACE-Step?
与ACE-Step合作并不需要深层技术知识,特别是如果您为Windows或macOS使用现成的便携式包.
安装和发射
要启动,需要下载并安装ACE-Step. 如果您正在使用可移植版本, 请只需解开归档并运行可执行文件 。 否则,该模型可以通过按照您的平台的文档(Windows,macOS,或Linux,有CUDA/AMD/Intel支持)手动安装. 第一次推出时,该模型将自动下载所有必要组件.
Gradio 接口
发布后,你将被带到Gradio的网络界面. 所有主要功能都在那里提供:从文本描述生成音乐,上传参考音轨,创建封面和再混合,并分出音轨为出源. 控件是直观的——您设定了生成参数并按下启动按钮.
ACE-Step 的关键特性
ACE-Step具有广泛的特性,可以使您解决音乐创作领域的各种任务.
音乐生成和编辑
- 基于文本的生成: 从文本描述创建音轨. 该模型以50多种语言理解歌曲歌词.
- 参数控制: 能够设置 BPM, 密钥, 时间签名, 和组成风格 。
- 参考轨道:上传一个音频文件,以基于其声音指导模型.
- 封面和重混:创建现有歌曲和再混音的封面版本.
- 重绘碎片: 替换或修改音频的单个部分.
高级能力
- 蒸馏分拆: 将一个音轨分割成单个组件(vocals,仪器)的功能.
- 自动随行:生成相声伴奏.
- 添加层:一个类似于Suno Studio的功能来提高音乐密度.
- LORA培训:在自己轨道上训练模型的能力,以达到独特的风格. 使用RTX 3090进行训练大约需要1小时,并用一击就发射.
自动化和整合
- 自动质量评估:模型评价生成的音频材料本身.
- 元数据提取: 自动从上传文件中提取信息.
- 时间戳: 为歌曲歌词创建时间戳文件.
- (原始内容存档于2018-10-21) (英语). Rest API:与其他应用程序和服务融合的能力.
ACE-Step 的好处
由于一些客观优势,ACE-Step在其它音乐神经网络中占有突出地位.
- 完全自治:作品不提供云服务,订阅,或限制代数.
- 速度:生成一首完整的歌曲,即使在相对谦虚的RTX 3090上也只需要不超过10秒.
- 系统要求低:少于4GB的VRAM——该模型运行在可访问硬件上.
- 跨平台:支持Mac,AMD,Intel,和CUDA,以及Windows和macOS的可移植软件包.
- 广泛功能:从简单的一代到覆盖,再混合,并干分出.
- 开源:为您自己的任务研究和修改模型的能力.
ACE-Step的缺点
ACE-Step尽管有许多优点,但也有一些值得考虑的局限性.
- 需要自己的硬件:即使 VRAM 要求很低,你也需要一台能够进行计算工作的计算机. 离散的图形卡对于舒适使用是可取的.
- 安装复杂程度:没有技术技能的用户如果不使用现成的便携式包,可能需要设置方面的帮助.
- 质量限制:虽然该模型在商业服务层面产生效果,但在某些方面可能没有更强大的云解决方案——例如,在与复杂的多层次构成合作时.
ACE-Step解决什么任务?
ACE-Step针对各种情景对音乐创作的需求.
对于想要现成的独特音轨的人来说,该模型允许从文本描述中生成一个具有对节奏,键和风格的控制的成分. 这既有益于个人的创造力,也有益于专业的任务——例如,创造出琴琴,入声和背景音乐.
创建封面和再混合已经变得简单:只是上传了原轨,而模型会以所期望的风格来重做. 重新绘制单个碎片的能力有助于修正错误或产生变化. 对想获得单个轨道来进行混合或分析的人来说, Stem分解是有用的.
最后,ACE-Step解决了个性化问题:在自己音轨上的LORA训练创造了一种模式,以独特的作者风格来生成音乐.
ACE 阶段定价
ACE-Step完全免费发行. 该模型有开源代码,你可以不支付任何费用地下载. 没有订阅费,隐性收费,也没有额外功能的收费——一切可以立即获得. 你将承担的唯一费用是在必要时租用电力和设备,但软件组件本身是免费的。
ACE-分阶段使用条款
由于ACE-Step是一个开源项目,您可以自由使用,修改,并根据开源许可证进行分发. 如果许可证允许,这既允许个人用于创造性目的,也允许商业申请。 对模型进行自有数据培训并完全在当地使用,不需要额外的权限.
ACE-阶段可用性
ACE-Step可以用于所有主要操作系统——Windows,macOS,和Linux. 不需要安装的可移植软件包可供Windows和macOS使用. 所有现代图形卡都支持:NVIDIA(通过CUDA),AMD,以及Intel集成图形. 该模型在第一次发布时自动被下载,因此不需要手动搜索并下载重量.
ACE-Step与替代品的区别
ACE-Step和云服务的主要区别在于完全自主. 您不需要支付订阅费或担心生成限制。 所有数据都留在电脑上
第二差别是快. ACE-Step可以在强大的硬件上用不到2秒就能产生出一首完整的歌曲. 这明显快于大多数云溶液。
第三个区别是训练你自己的数据。 很少有音乐神经网络允许在标准图形卡上在一小时后通过LORA对个人风格进行微调. 这使得用独特的,个性化的声音来创作音乐成为可能.
最后,ACE-Step由于系统要求低和可携带版本的提供,使得没有神经网络工作经验的用户可以访问.
结论
ACE-Step是当地音乐生成的强大而可及的工具,既适合专业人士,也适合初学者. 开源码,免费发售,支持所有主要平台,以及低系统要求,使它成为云服务的一个有吸引力的替代品. 能够用50种语言的歌曲歌词工作,创作封面,再混音,并训练LORA将其定义为音乐创作领域广泛任务的通用解决方案.
