ラベル Web MIDI API の投稿を表示しています。 すべての投稿を表示
ラベル Web MIDI API の投稿を表示しています。 すべての投稿を表示

2014年9月18日木曜日

Event Report: Web Music Hackathon #3



Did you know web browsers can now make music? Or at least sound. By using Web Audio API, you can synthesize, add effects, modulate, split, merge - whatever you can imagine to process audio: they are available on many browsers.
There's also MIDI support. Chrome has Web MIDI implementation behind a flag so you can hook up your synthesizer and send or receive MIDI signals with it.

Those APIs are quite low level. So there's tons of things you need to do to make "music" on top of browsers, but that also means an interesting time of building up fundamentals for the future music platform.

So, this is the event Google and a community "Web Music Developers JP" have been running since last year called "Web Music Hackathon". Attendees enjoy building apps using Web Audio API, Web MIDI API and other related technologies such as WebRTC, Web Speech API, etc - whatever they can imagine web + music can do.

Every time we run this event, we saw incredible ideas and implementations of music apps that take advantage of fusion between web and music.

Check out the first hackathon's winner's demo:

And the second one (English full report is here):

Coincidentally, there was a similar event called Web Audio Hackday in Berlin. So we decided to collaborate and show event reports each other. Web Audio Hackday attendees, if you are reading this, nice to meet you :)
I will link back to the WAH report when available.

Opening

We started the day with an update from Google engineer and Web MIDI API implementor @toyoshim about what's new in Web MIDI API. Here's the slides:

3 tutors followed him giving demos. They are well known in Japanese Web Music land, but I assume they are famous world wide as well :) @g200kg@aike1000, and @sascacci.

@sascacci introduced V-drum visual effect.



@aike1000 gave attendees some wisdoms: web audio sample codes list useful snippets such as generating sign waves, play samples, how to write delay, pitch shift, distortion, etc. Also a template for synthesizer, and VJ framework.


@g200kg showed off demo of his new project: LiveBeats

Mr. Tada from YAMAHA Corp introduced a new product called "Web Music DAW Connector". This is a VST plugin that connects a DAW system with a browser via WebSocket. He showed us a demonstration: his Cubase connects with Chrome running on remote Nexus 7 over Wifi and that inserts an effect.
Web and music are getting closer and closer.
 

JSPA (Japan Synthesizer Programmer Association) presented us a song written specifically for this event. And it is intended to play on PokeMiku, so it sings. For those who are not familiar with Vocaloid technology, check this out. It's a very popular technology in Japan.
 

This reminded me of making music on top of browsers is the goal for this event. We are still making "sounds" but eventually creating "music" using these technologies, should be the ultimate goal.

Hacking

There were 40+ attendees and people from W3C, instrument makers (YAMAHA, Roland, Korg, Crimson Technologies), JSPA, AMEI (Association of Musical Electronics Industry),etc. It's more like instrument industry event from outside. (Attendees were mostly web engineers I guess)

The instrument makers lent us many equipments as usual, but attendees also brought their own fun gadgets to the venue. Check out photos from the event (click on the picture below).


Demos

We started hacking at 11:30AM, finished at 4:30PM. There was only 5 hours hacking time, but people came up with fantastic works in total 26! I can't mention about everything, so let me pick up some best ones.

We have an archive of live streaming of 2 and half hours of demo time. If you are interested or bored, check it out. (click on pictures to start the video from relevant time)

Mr. Murai


Mr. Murai is called a father of Japanese internet. He showed up as a special guest and it was an honor that he's interested in this technology. People got excited.

D.F.Mac

This was the 3rd attendance for D.F.Mac to this hackathon. Everything he creates is unique and this one didn't betray us. He made vegetables and cans into instruments. Try the video to hear the weird sound. I don't know how it works in detail, but here's the technical document he wrote (in Japanese).

Masayuki Yokobori

He stole his son's toys and created an app using them. The train make sounds using MIDI.


Daichi Hirono

ScoreSketch is a simple sequencer by the winner of 2nd hackathon.

kirinsan.org

Dictates sound Otamatone generates, convert it to MIDI signals, and play synthesizer.

Takashi Takagi(@okame_okame)

Electric Mokugyo (Source code)
Mokugyo is a wooden drum that buddhists use to pray. He used it as an instrument.

@watilde

abeck.js (Source code)
By writing a music sequence using ABC notation, it plays music and draws a sheet.

@mohayonao, @nanonum

Automatic composition (Source code)
Some people may know @mohayonao for creating incredible web audio demos. He and @nanonum created a cool music / visualization demo.

CookPitch

This is one of unique demos using Web Audio. It demonstrated a recipe site user can navigate pages by hamming, without using hand. Good for cooks.

Himakan

Face Tracking Effector (Source code)
The winner of this hackathon. I've seen similar ideas before, but this one is way cooler.

@aike1000

Future effectors
Realistic effectors on a browser. @aike1000 played one of his composition with his guitar using these.

@sascacci

Miracle collaboration
A collaboration of V-Drum and Dontata-kun. Dontata-kun is a little drum player controlled via MIDI. He demonstrated Dontata-kun playing drums synching him playing drums! using JSPA's song.

@g200kg

@g200kg showed a revised version of Livebeats.


Closing


This one was again, successful and fun hackathon. Attendees seem to be getting used to using their own favorite platform to build an audio app. Hopefully we can invite musicians and create music as well as apps, in the future.

See you next time!



P.S. Main organizer Ryoya Kawai. Otsukare sama!

2014年9月17日水曜日

ブラウザで音を楽しむイベント:Web Music ハッカソン #3 レポート



ブラウザで利用可能な Web Audio API や Web MIDI API などを使って音を楽しもうというこのハッカソンも、早いものでもう3回目となりました。今回も実に濃い内容で、素晴らしい作品が目白押しだったのですが、このポストではできるだけさらっと、その内容をお伝えしたいと思います。

実は今回のハッカソン、前日にベルリンで Web Audio Hackday というイベントが開催されており、せっかく日程が近いのだから何かコラボレートしたいよね、ということで連絡を取り合い、ひとまず報告ブログという形で成果を見せ合うという試みをしています。この後で英語版の記事をポストする予定。ベルリンからの報告も、公開され次第リンクします。

オープニング

まずは挨拶の後、Google エンジニアで Web MIDI API の実装を担当している @toyoshim から、Web MIDI API の仕様に関するアップデートでスタート。資料はこちら:

そして今回もチューターとして参加された、日本の Web Music の世界ではすでに有名人の (実は世界的にも知る人ぞ知る) @g200kg さん、@aike1000 さん、@sascacci さんそれぞれから、Web Audio / MIDI を使ったアプリケーションのデモが行われました。あまりのレベルの高さにハッカソンのハードルがグググッと上がります。

@sascacci さんは 電子ドラムを使ったビジュアルエフェクト



@aike1000 さんからは各種テンプレートの紹介とデモ。サンプルコード集 は Web Audio API を使ってサイン波を出すところから、サンプル音の再生、ディレイやピッチチェンジャー、ディストーションの使い方などかなり便利なスニペットが書かれているので、ウェブ上のオーディオプログラミングに興味ある人は必ずチェックしましょう。 他にもシンセのテンプレ集VJフレームワークも。


@g200kg さんからは LiveBeats のデモ

また、ヤマハの多田氏から DAW (Digital Audio Workstation)、つまりいわゆるプロ向け音楽制作環境とブラウザを接続するための Web Music DAW Connector が発表されました。これがあれば、プロの音楽制作に JavaScript で作ったプラグインを持ち込むことができるようになります。
Web Music の世界が着実に前進していることを感じますね。
 

そして今回はなんと、JSPA (日本シンセサイザープログラマー協会) の方がこのイベントのために曲を作って披露してくれました。音源にポケミクを使っているので、伴奏はもちろん、初音ミクの歌が付いています。映像も制作してくれました。

 

このイベントは元々、ウェブプラットフォーム上で「音楽」と呼べるレベルのことができるようになることを目標にしていたので、良い刺激をもらいました。現段階では「音」レベルの原始的なところに留まっていると言わざるをえませんが、さらにプラットフォームを積み上げて、より音楽的なことができるようにしていくのが醍醐味とも言えます。

ハッキング

会場には参加者40名超に加え、W3C、ヤマハ、ローランド、コルグ、クリムゾンテクノロジーの各楽器メーカー、JSPA (日本シンセサイザープログラマー協会)AMEI (音楽電子事業協会) 関連の方など、多数ご来場頂きました。ウェブ業界よりも楽器業界からの注目度の高さの方が目立つくらいです。

今回も各楽器メーカーから楽器を貸し出して頂いたのですが、自前の楽器を持参された方がかなり多かったのが印象的です。その他ハッキング中の熱気は写真でご覧頂きましょう。


デモタイム

11時半に始まったハッキングタイムも16時半で終了。たったの5時間という短い時間でしたが、チューターのものも含めて、ユニークな作品が合計で26個制作されました。すべて紹介するわけにはいかないので、一部だけピックアップして紹介します。

これまでの反省を踏まえ、今回のデモのライブストリームでは、音声をラインで取って配信したため、非常にクオリティの高い動画を残すことができました。Roland さん、機材をご提供頂きありがとうございました。2時間半ありますが、ご興味ある方はぜひライブストリーム全体のアーカイブもお楽しみ下さい。

※各画像は YouTube の該当箇所にリンクしています。

村井教授


デモタイム最初にスペシャルゲストとして登場したのは日本のインターネットの父こと、慶応大学の村井純教授。ご挨拶を頂きました。スペシャルゲストの登場に、俄然盛り上がります。

D.F.Mac

3 回目の登場で皆勤賞となる D.F.Mac さんですが、今回も個性的な作品で会場を困惑させてくれました。野菜や空き缶をトリガーにブラウザと連携したDAWから音が鳴るという作品。詳しい解説はこちら

ヨコボリマサユキ

電車でGo! のコントローラーを MIDI で繋いでそれっぽい音が出せるという作品。


廣野大地

ScoreSketch は簡易型シーケンサー。前回優勝者の作品らしく、非常に完成度が高いです。

kirinsan.org

オタマトーンの音を解析して?MIDI 信号に変換し、シンセサイザーを鳴らすという作品。

高木崇(@okame_okame)

エレキ木魚 (ソースコード)
毎回木魚芸^Hアートを披露してくれる高木さんの新作。

@watilde

abeck.js (ソースコード)
ABC記譜法でシーケンスを登録すると、音楽の再生と譜面の生成ができるという作品。

@mohayonao, @nanonum

自動作曲 (ソースコード)
入賞こそ逃しましたが、音楽的にもかっこよく、ビジュアライゼーションまで付いている贅沢な作品。

CookPitch

ハミングでページ送りなどができるレシピサービス。手を使わずに済むので、料理をしながら PC が見れます!

Himakan

Face Tracking Effector (ソースコード)
今回の優勝作品です。アイディア的に似たようなものはいくつか見てきましたが、この作品は圧倒的にかっこよいです。

@aike1000

未来のエフェクター
オープニングのデモで披露してくれたギターエフェクトに、それっぽい見た目 (どこかで見たような・・・?) を加えて、曲として演奏してくださいました。

@sascacci

奇跡のコラボ
V ドラムと Dontata くんの奇跡のコラボです。V ドラムに合わせて Dontata くんがドラムを叩いてくれます。そして JSPA 提供の楽曲に合わせてセッション!

@g200kg

Livebeats の改良版を披露してくださいました。


まとめ


今回も大いに盛り上がった Web Music ハッカソンでした。みなさん使い慣れたプラットフォームなどができてきて、徐々に音楽的になってきていることを感じます。まだしばらく時間はかかりそうですが、個人的にはミュージシャンが参加しても楽しめるようなイベントになるといいな、と感じています。
次回もお楽しみに!



P.S. 主催の河合さん、お疲れ様でした!

2014年1月21日火曜日

Web Music Hackathon #2 Report

日本語版はこちら

On January 18th 2014, Google cooperated with a community Web Music Developers JP and held the second Web Music Hackathon at Google Tokyo office.
MIDIappy designed by g200kg
This hackathon is aimed to hack:
and build something within a day.

The first hackathon was a blast with quite a few fantastic apps built. Read details on this blog article (in Japanese).

This hackthon again, was with cooperation from AMEI (Association of Musical Electronics Industry), YAMAHA, Korg, Roland and Crimson Technology brought instruments to hack on, as well as NTT Communications brought equipments to make WebRTC environment easier.

The demo Mr. Watanabe from Roland shows off at the beginning of the event represented the potential of this area quite well.


It turned out we had 30+ attendees with many observers from each instrument manufactures etc, 60+ people packed in the venue.







The demos

Hack started before noon, finished around half past 4 PM then we moved to the demo time. More than 20 fantastic works were done. There's a video recording available online. You can watch it along with other photos and comments at Google+ event.

I've picked up several notable presentations here since the video is very long lasting nearly 3 hours. Each photos are linked to relevant starting time of the video.

A browser keyboard utilizing @mohayonao's CoffeeCollider. Your code in the form is recognized in realtime.

Let browser sing with eVY1 which has YAMAHA's new sound module NSX1 on it. You can find the app here (requires eVY1)

Leave 2 second message associated with your Twitter account at My-hi.net. You can listen to others' voice by hovering cursor over Twitter icons.

Tins as MIDI instruments.

"MIDIappy" is a mascot character designed by gaito a.k.a g200kg. He made it dance as a 3D modeled figure on WebGL and controllable using a MIDI controller.

The most flashy demo at this hackathon was this one. Multiple demos together including a Leap Motion controllable mirror ball via DMX, a visual effects demo using WebRTC, WebGL with music analysis + MIDI controller, etc.

This one got the second prize. The presenter played music using gesture over Leap Motion and visualized the sound to touch pads on Ableton Push. Check out his fancy gesture.

The winner of the hackathon was a music sequencer using Google Spreadsheet + Chrome Extension. It's amazing to see how effective to use spreadsheet as a sequencer platform. Note that the referencing feature of spreadsheet is used to represent chords.

Conlusion

Actually, half of attendees at this hackathon had attended the last one as well. I can tell because it was so much fun! Unfortunately I missed the after party but this one was also a great event.
I'm hoping we can continue holding this event and gradually shift our focus on something more musical rather than sound oriented.

If you are interested in this event, please subscribe to our mailing list or join Google+ community. Ryoya Kawai who is the main organizer of this event will give you updates.

We're looking forward to your attendance.

2014年1月19日日曜日

Web Music ハッカソン #2 を開催しました

2014 年 1 月 18 日(土)、Web Music Developers JP と Google の共催で Web Music ハッカソン #2 を開催しました。
g200kg さんがデザインした Web MIDI API のゆるキャラ「みでゃっぴー」
近年のウェブ技術の発展の中で生まれたブラウザ上で利用できる各種 API:
  • Web Audio API:オーディオをシンセサイズできる API
  • Web MIDI API: MIDI を扱うことができる API
  • WebRTC: P2P でオーディオ、ビデオ、データをやりとりできる API
  • Web Speech API: 音声認識できる API
などを使って、丸一日で何か作り上げよう、という趣旨です。

前回は初回にも関わらず、素晴らしい作品がたくさん生まれました。その時の様子はこちらのブログポストからご覧頂くことができます。
ウェブはどこまで楽器と融合できるか? 〜 Web Music ハッカソンを開催しました

今回も AMEI(一般社団法人 音楽電子事業協会)の協力で ヤマハコルグローランドクリムゾンテクノロジー 各社から楽器を持ち寄って頂き、NTT コミュニケーションズ からも WebRTC の環境を用意して頂きました。

オープニングで披露された ローランドの渡邊さんのデモがこの分野のポテンシャルをよく表しています。ぜひご覧ください。


蓋を開けてみると、参加者数は前回を超える 30+ 名に加え、各メーカーからの見学者や取材(月刊 I/O)の方も多数集まり、会場である Google オフィス Hanabi は熱気に包まれました。







デモ

お昼前から始まったハッカソンは午後 4 時半で開発を終え、その後デモタイムに移りました。今回も発表されただけで 20 を超える素晴らしい作品が生まれました。デモの様子は動画で配信しましたので、他の写真なども含めこちらからアーカイブをご覧頂くことができます

とはいえこの動画、全部で約 2 時間 45 分あります。さすがに長過ぎますし、すべての作品を紹介するわけにはいかないので、個人的に印象に残った作品をいくつか (これでもかなり絞ってます) ピックアップして紹介していきます。(画像は動画のデモ開始位置にリンクしています)

@mohayonao さんの作られた CoffeeCollider のソースコードをリアルタイム演奏する楽器。作品はこちら by CCKB 制作委員会チーム

ヤマハの新音源 NSX1 を載せた eVY1 を使った初音ミクボイスの作品。オチが秀逸。作品はこちら (要 eVY1) by ひとりになっちゃったチーム

Twitter のアカウントで認証して 2 秒間の挨拶が残せるというサービス My-hi.net 。マウスオーバーで他の人の声を聞くことができます。 by aklaswad

缶を MIDI 楽器にしてしまった作品。 by こだま

今回のハッカソンでお披露目された g200kg こと gaito さんがデザインされた Web MIDI API のマスコットキャラクター「みでゃっぴー」の 3D モデルを WebGL 上で MIDI コントローラーで制御するというデモ。 by g200kg

今回一番派手だったデモがこちら。Leap Motion で制御するミラーボールや MIDI コントローラーと音楽に合わせて変化するビジュアライザを組み合わせた作品。 by 光の魔術師集団Xチーム

準優勝の作品。Leap Motion を使い、ジェスチャーで鳴らす楽器や音の大きさを調整するアプリです。アウトプットは Ableton Push のパッドを光らせることでビジュアライズ。動きが結構サマになってます。 by mtomasz

優勝作品はこちら。Google Spreadsheet をシーケンサーにして音楽を鳴らしてしまう Chrome Extension。表計算ソフトの参照機能を使うことでコードを表現できるところなどに注目。 by hirono

まとめ

今回実は半数くらいの方が二度目の参加でした。それだけ前回が楽しかったのだと思います。僕は残念ながら懇親会に参加できなかったのですが、おそらく今回もみなさん存分に楽しまれたのだと思います。
このハッカソンは今後も継続的にやって、徐々により音楽的な作品が作れる環境を整えられたらいいな、なんて話をしています。

次回以降の開催については、メーリングリスト か Google+ のコミュニティ にご参加頂ければ、前回・今回のイベントを中心となって企画してくれた Ryoya Kawai さんが、この分野の最新情報も含めて提供してくれることと思います。

みなさんの参加をお待ちしています。