人工知能プログラミングやってくブログ

深層学習・機械学習・AIについて調べてやってみたことをまとめるブログです

深層学習による物体検出を使ったMIDIコントローラーを作った


Banana can control DAW - Object Detection MIDI Controller

深層学習を使ったメディアアート系の作品を作って見ました。
YOLOによる物体検出の結果からMIDI信号を送信して、Ableton Liveを操作しています。

このソフトは次のようなことができます。

  • バナナの位置によってアナログシンセのフィルター(CUTOFF)パラメータを操作するMIDI信号を送信
  • 人のX座標によって、ドラム、ベースのプリセットを変更。曲のアレンジが変わる
  • リンゴの位置によってドラムのイコライザーが変更される。リンゴの位置でドラム音を低音から消すこともできる

2018年8月4日、5日に東京ビッグサイトで開催されるMaker Faire Tokyo 2018に、これを展示します。
出展場所はH-01-03(西1ホール)電脳空間カウボーイズブースです。
ご興味ある方は、見に来ていただければと思います。

リンク

makezine.jp