Nvidia twierdzi, iż nowy generator dźwięku AI może wytwarzać dźwięki, których nigdy wcześniej nie słyszano

Nvidia twierdzi, iż jej nowy edytor muzyczny AI może tworzyć „dźwięki, których nigdy wcześniej nie słyszano” – jak miaucząca trąbka. Narzędzie o nazwie Fugattojest w stanie generować muzykę, dźwięki i mowę przy użyciu tekstu i danych wejściowych audio, w zakresie których nigdy nie był szkolony.

Jak pokazano w tym wideo umieszczone poniżejpozwala to Fugatto komponować utwory oparte na dzikich podpowiedziach, takich jak „Stwórz wycie saksofonu, szczekanie, a następnie muzykę elektroniczną ze szczekaniem psów”.

Inne przykłady udostępnione przez firmę obejmują możliwość tworzenia unikalnych efektów dźwiękowych na podstawie opisu, np. „Głębokie, dudniące impulsy basu w połączeniu z przerywanymi, wysokimi cyfrowymi ćwierkaniami, jak dźwięk budzącej się ogromnej, świadomej maszyny”.

Może choćby zmienić brzmienie czyjegoś głosu, zmieniając jego akcent lub nadając mu inny ton, na przykład zły lub spokojny. Istnieją również sposoby na edycję muzyki, ponieważ Fugatto może wyizolować wokale w piosence, dodać instrumenty, a choćby zmienić melodię, zamieniając pianino na śpiewaka operowego.

A ukazał się papier wraz z ogłoszeniem przedstawiono długą listę wszystkich zbiorów danych, według Nvidii, na których szkolono Fugatto, z których jeden zawiera bibliotekę efektów dźwiękowych z BBC.

Nvidia twierdzi, iż aby zbudować Fugatto, badacze musieli zebrać zbiór danych obejmujący miliony próbek audio. Następnie stworzyli instrukcje, „które znacznie rozszerzyły zakres zadań, które model mógł wykonać, jednocześnie zapewniając dokładniejsze działanie i umożliwiając wykonywanie nowych zadań bez konieczności stosowania dodatkowych danych”. Nvidia nie podaje, kiedy – i czy – narzędzie będzie powszechnie dostępne.