
 
 
 
 
 
 
 
 
 
 
 著者: (1) Jiaben Chen, University of Massachusetts Amherst (2)チンヤン、ウハン大学 (3)Yihang Chen、ウハン大学 (4) Siyuan Cen, University of Massachusetts Amherst (5) Qinwei Ma, Tsinghua University (6)ハオイウ・ジョン、上海Jiao Tong大学 (7) Kaizhi Qian, MIT-IBM Watson AI Lab (8)Lie Lu、Dolby Laboratories (9) Chuang Gan, マサチューセッツ大学 Amherst。 : Authors (1) Jiaben Chen, University of Massachusetts Amherst (2)チンヤン、ウハン大学 (3)Yihang Chen、ウハン大学 (4) Siyuan Cen, University of Massachusetts Amherst (5) Qinwei Ma, Tsinghua University (6)ハオイウ・ジョン、上海Jiao Tong大学 (7) Kaizhi Qian, MIT-IBM Watson AI Lab (8)Lie Lu、Dolby Laboratories (9) Chuang Gan, マサチューセッツ大学 Amherst。 左のテーブル 抽象と1 導入 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A.附属書 抽象 この作品では、単独でこれらの2つの形態に直接対処する既存の作品を超えて、テキスト文字の入力から直接3Dホリスティックな体動きと歌声を同時に生成するための挑戦的なフレームワークを導入します。これを容易にするために、我々は最初にRapVerseデータセットを収集し、同時に同時にホリスティックな体動き、歌詞、および高品質の3Dホリスティックな体メイクを含む大規模なデータセットを導入します。RapVerseデータセットを使用して、我々は、言語、オーディオ、および動きを介してスケーリングする独自の多様変形変換器が、音声と全身の人の動きの連携性と現実的な生 1 導入 音と動きの分野で多様なコンテンツ生成の進化の風景では、テキスト・トゥ・ミュージック(54, 1, 21)、テキスト・トゥ・ヴォーカル(32)、テキスト・トゥ・モーション(13, 69, 4, 23, 34)、オーディオ・トゥ・モーション(68, 15, 31)を含む個々の形態で重要な進展が行われています。これらの発展は、よりダイナミックでインタラクティブなデジタルコンテンツを作成するための道を切り開きました。これらの進展にもかかわらず、既存の作品は主にシロで動作し、それぞれの形態を孤立的に扱っています。しかし、人間にとって、音と動きの生成が高度に関連し、つながっている この論文では、機械が感情的な深さで歌うだけでなく、人間のような表現や動きで行うこともできるという重要な問題に取り組んでいますか?私たちは、一貫した歌声と全身の人間の動き(身体の動き、手の手の手の動き、顔の表現を含む)を同時に生成するための新しいタスクを提案します。 重要な質問は自然に生じる:音と動きの統一生成のための良いモデルを構成するものは何ですか? まず、我々は、テキスト文字を統一システムのための適切な形式の入力として考慮し、テキストは、高度に表現的で解釈可能な柔軟な情報伝達手段を提供し、さまざまな形態の間の橋として役立つ可能性があります。以前の取り組みは、スコア [32]、アクションコマンド [69, 4, 23]、またはオーディオ信号 [68]の入力として、異なる形態のセマンティックの豊かさ、表現力、柔軟な統合の面でテキストの入力に劣る。 第二に、同時にマルチモダル出力を生成できる共同生成システムは、シングルモダル生成を連続的に実行するカスケードシステムよりも優れていると考える。テキスト対音声モジュールと音声対動力モジュールを組み合わせたカスケードシステムは、生成の各段階でエラーを蓄積するリスクがある。例えば、テキスト対音声段階の誤解は、出力の意図された一貫性を減らすため、不正確な動き生成につながる可能性がある。さらに、カスケードアーキテクチャは、異なるモデル間で複数のトレーニングと推定段階を必要とし、計算要件を大幅に増加させる。 このような統合型データ生成システムを構築するために、主な課題は、(1)同時に歌詞、歌詞、および3D全身動きの注釈を提供するパイアセットの不足であること、および(2)テキストから音声と動きを一貫して合成できる統合されたアーキテクチャの必要性である。これらの課題に対応して、我々は、歌詞、歌声、および3D全身動きの包括的なコレクションを備えた大規模なデータセットであるRapVerseを策定しました。テキストから音声(32, 22, 8, 55)、テキストから音声(44, 35, 13, 30)、およびオーディオから音声(3, 15, 9, 5, 65)のテキストには、テキストから音声、全身の音声、音声 データセットは、研究ニーズの幅広い範囲を満たすために2つの異なる部分に分かれています: 1) 音声と歌詞の多くのカップルを含むラップボーカルサブセット、および 2) ラップモーションサブセット、音声、歌詞、および人間の動きを含むラップモーションサブセット。 ラップボーカルサブセットには、背景音楽なしのラップジャンルの高品質の英語の歌声の108,44時間が含まれています。 パアードされた歌詞と歌詞は、 32 人の歌手からインターネットからクロールされ、慎重なクリーニングとプロセッサングが行われています。 反対に、ラップモーションサブセットには、Motion-X [30]の注釈パイプラインを使用して RapVerse RapVerseシングルデータセットでは、単に言語、オーディオ、および動きを用いたスケーリング・オートレグレッシブ・マルチモダル・トランスフォーマーをスケーリングして、音声と全身の人間の動きを一貫して生成するための現実的な動きをどのように広げることができるかを調べます。この目的のために、我々は、トークン表示として異なる形態を統合します。具体的には、3つのVQVAEs(63)は、体全体の動きのシーケンスを頭部、体、および手のための3レベルの異なるトークンに圧縮するために使用されます。音声生成のために、以前の作品(37, 7, 32, 37)は共通のパラダイムを共有し、入力テキスト 要するに、この論文は次のような貢献をする。 • RapVerse をリリースし、同期の歌声、歌詞、高品質の 3D ホリスティック SMPL-X パラメータを含む大規模なデータセットをリリースします。 • 私たちは、多形変換器でテキストから歌声と人間の動きを共同生成するためのシンプルで効果的な統一されたフレームワークを設計します。 • さまざまな形態の表現を統一するために、私たちは音声対ユニットモデルを使用して量子化されたオーディオトークンを取得し、構成 VQVAE を使用して分離したモーショントークンを取得します。 • 実験結果によると、当社のフレームワークは、専用モダリティ生成システムのパフォーマンスと競合し、声と動きの共同生成のための新しい基準を設定しています。 
 
 この論文は CC BY 4.0 DEED ライセンスの下で archiv で利用できます。 この論文は CC BY 4.0 DEED ライセンスの下で archiv で利用できます。 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

このオーディオは、ストーリーの元の言語で制作されています。

A Single Prompt Will Have This AI Rapping And Dancing(シングル・プロンプト)

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

ワークフローを10倍に向上させる方法: 必須アプリ17選

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps