ジェスチャーシンセ
ジェスチャーシンセの使い方
ジェスチャーシンセは、鍵盤やMIDIコントローラーの代わりに手の形と動きを使って音を作るシンセサイザーです。このページではウェブカメラから両手の位置と指の形を読み取り、ブラウザのWeb Audioでコードや連続した音程をリアルタイムに合成します。専用アプリ、アカウント、マイクは必要ありません。
最初は両手を同時に動かそうとせず、左手で音の土台を決めてから右手で音量を上げてください。画面の「左」「右」、コード名、音量表示を確認しながら一つずつ操作すると、初回でも意図した音を出しやすくなります。
ジェスチャーシンセを演奏する ↑- 入力
- 両手のカメラ認識
- 出力
- コードとテルミン音
- 動作
- ブラウザ内で音声合成
- 料金
- 無料・登録不要
ジェスチャーシンセとは？
ジェスチャーシンセとは、身体の動きを演奏情報に変換する電子楽器です。このツールでは、指の本数、手の高さ、手首の傾き、親指の位置を音楽パラメーターへ割り当てています。手を振るだけで効果音を鳴らす仕組みではなく、同じ形を作れば同じ役割を再現できるように設計されています。
Gestureモードでは音階に沿ったコード演奏、Thereminモードでは滑らかな音程変化を楽しめます。どちらのモードもカメラ映像そのものを音に変換するのではなく、検出した手のランドマークだけを使ってブラウザ内のシンセを操作します。
ジェスチャーシンセの遊び方：最初の音を出す3ステップ
まず「演奏を始める」を押し、ブラウザのカメラ許可で「許可」を選びます。モデルの読み込みが終わったら、手のひらと手首まで見える距離で両手を構えてください。「左」と「右」の表示が反応すれば準備完了です。
次に左手で1本から5本の指を見せ、音階のIからVを選びます。左手の形が安定したら、右手を少し高い位置に上げて音量を出します。右手の指の形を変えるとコードの響きが変わるため、最初は人差し指だけを伸ばした基本形から試してください。
最初に試す C → G → Am → F
キーは初期状態のCのまま、左手をI → V → VI → IVの順に変えてみましょう。右手は人差し指だけを伸ばした基本形を保ち、左手の度数表示が確定してから次へ進みます。C → G → Am → Fとして聞こえれば、左右の認識と音量操作が正常に動いています。
- 明るい場所で、カメラを顔または胸の高さに固定する。
- 左右の手を重ねず、指先と手首をフレーム内に入れる。
- 手の形を変えた後は一瞬止め、表示が確定するのを待つ。
- 音が大きい場合は右手を下げるか、Muteを使用する。
左手と右手で何を操作できる？
Gestureモードでは左手が音楽の基準、右手が響きと表情を担当します。左手の指の本数でI〜Vを選び、人差し指と小指の組み合わせでVI、そこに親指を加えてVIIを選択します。設定したキーに合わせて、各度数の実際の音名は画面下部のスケールガイドに表示されます。
右手は高さで音量、手首の傾きでフィルター、指の形でトライアド・転回形・セブンス系の響きを選びます。親指を外へ伸ばすと1オクターブ下がります。複数の操作は同時に使えますが、認識が不安定なときは高さ、指、傾きの順に一つずつ確認してください。
連続した音程はThereminモードで演奏
画面のThereminを選ぶと、右手の位置が連続した音程、左手の高さが音量になります。固定されたコードではなく滑らかなグリッサンドを演奏したい場合に向いています。急に手を動かすと音程が大きく跳ぶため、ゆっくりした上下運動から始めてください。
ループを録音して音声を書き出す
設定でループシーケンサーを有効にすると、テンポ、拍子、小節数を決めて最大4トラックのフレーズを重ねられます。カウントイン後に演奏したイベントはグリッドへ記録され、ループの終端に達すると繰り返し再生されます。各トラックは音量調整、ミュート、ソロ、ステップ編集に対応しています。
完成したループは対応ブラウザでWAVとして端末へ保存できます。オフラインWAVレンダリングに対応していない場合はWebMへの切り替えを試みます。書き出されるのは合成された音だけで、カメラ映像やマイク音声は含まれません。
カメラのプライバシーと動作環境
カメラはスタートを選んだ後にだけ要求されます。手の検出はブラウザ内で行われ、映像を録画、保存、アップロードしません。マイク権限も要求しません。終了時に「停止」を選ぶと、使用中のカメラトラックが解放されます。
デスクトップ版のChromeまたはEdgeが最も安定しやすく、AndroidのChromeでも利用できます。スマートフォンでは横向きにし、端末をスタンドへ固定してください。認識が遅い場合は設定の「低負荷モード」を有効にし、Bluetoothではなく本体スピーカーまたは有線ヘッドホンで音の遅延を比較します。
テルミン、Synthesizer V、MIDIとの違い
ジェスチャーシンセには連続音程を演奏するThereminモードがありますが、アンテナへ手を近づける本物のテルミンではありません。ウェブカメラで手の位置を読み取り、ブラウザ内のシンセサイザーへ音程と音量を渡すデジタル楽器です。コードを演奏したいときはGestureモード、滑らかな音程を演奏したいときはThereminモードを選びます。
Synthesizer Vは歌声を作成・編集するソフトウェアですが、このページは歌声合成ツールではありません。また、MIDIキーボードやDAWを接続しなくても単体で音が出ます。現在のジェスチャーシンセはWeb Audioで音を鳴らす自己完結型の楽器で、手の動きを外部機器へ送る専用MIDIコントローラーではありません。
- テルミン：アンテナ式の実機ではなく、カメラ操作のThereminモードを搭載。
- Synthesizer V：歌声合成ではなく、コードと連続音程をリアルタイム演奏。
- MIDI：演奏にMIDI機器は不要。現時点では専用MIDI出力ツールではない。
できること・できないこと
このジェスチャーシンセは、手の動きでコード、音色、テルミン音程、短いループを演奏するためのブラウザ楽器です。テキストから完成曲を自動生成するAI作曲サービス、MIDI出力専用コントローラー、市販曲の音源分離ツールではありません。
認識精度は照明、背景、カメラ性能、手の速さによって変わります。また、表示される手の形はこの楽器専用の操作方法であり、手話の意味を表すものではありません。長時間使用するときは音量を控えめにし、腕や肩に違和感があれば休憩してください。
演奏前によくある質問
ジェスチャーシンセについてよくある質問
ジェスチャーシンセは無料ですか？
はい。Gestureモード、Thereminモード、練習曲、ループシーケンサーを、登録やサブスクリプションなしで利用できます。
カメラ映像は外部へ送信されますか？
いいえ。手のランドマーク検出は端末のブラウザ内で行われ、カメラ映像を録画、保存、アップロードしません。
ジェスチャーシンセはテルミンと同じですか？
同じではありません。このツールには連続音程を演奏するThereminモードがありますが、アンテナ式のテルミンではなく、ウェブカメラで手の位置を読み取るブラウザ楽器です。
Synthesizer Vですか？
いいえ。Synthesizer Vのような歌声合成ソフトではありません。ジェスチャーシンセは、手の形と動きでコード、音量、音色、連続音程をリアルタイムに演奏するツールです。
MIDIキーボードは必要ですか？
必要ありません。ウェブカメラと両手だけで演奏でき、音はWeb Audioで合成されます。現在は外部機器へ演奏情報を送る専用MIDI出力ツールではありません。
手を動かしても音が出ないのはなぜですか？
タブがミュートされていないか確認し、両手が検出されていること、右手が十分な高さにあること、マスター音量が下がっていないことを順に確認してください。
スマートフォンでも演奏できますか？
Android版Chromeでは利用できます。横向きで端末を固定し、両手と手首が入る距離を取ってください。端末性能によってはLow-performance modeが役立ちます。
演奏を保存できますか？
ループシーケンサーで作成したフレーズは、対応ブラウザでWAVとしてローカル保存できます。環境によってはWebM形式を使用します。