Теперь и музыканты: создана нейросеть на базе Stable Diffusion, которая генерирует музыку по текстовому описанию

Нейросеть Stable Diffusion славна многим. Она разрешает генерировать стереоизображения по текстовому описанию. Но, как угадало, с её подмогой можно также учреждать и музыку. Сущность в том, что система может учреждать аудиоспектрограммы — визуальные стереоизображения звуковых частот в треке. После этого нужно лишь «отразить» извлеченный звук. В спектрограмме (или сонограмме) на оси изображен режим воспроизведения частот слева вправо. По оси Y размещаются данные о частотах звука, а колер пикселей задаёт амплитуду звука в всякой момент часы. Нейросеть обучили на сонограммах, какие характеризуют гармоничные жанры или звуки. В эффекте вышла Riffusion — нейросеть, способная генерировать звук из стереоизображения, какое создаётся по текстовому описанию. Для вывода именно тропинки используется Torchaudio. При этом разработчики смогли вынудить нейросеть генерировать экые аудиоклипы, какие могли бы плавно «перетекать» кореш в кореша. То есть, темп музыки не меняется сильно. Веб-интерфейс можно арестовать тут. Нейросеть скачать можно тут. Отведать онлайн тут. Сгененрировать спектрограмму тут. Безвременно передавалось, что мастера стали действительную борьбу против нейросети на ArtStation.