【実験】文字を聴く

イヤホンまたはヘッドホンを接続したうえでお読みください。

 

 どうも、京音4回生のです。

 2021年最初の投稿となります。今年もどうぞよろしくお願い致します。

 

 

 さて突然だが、私は電子音楽が好きだ。

 シュトックハウゼンジャン・ミッシェル・ジャールKraftwerkAphex Twin。Oneohtrix Point Never。みんな好きだ。

 

 自分でも電子音楽を作ってみたい。

 しかし、ズブの素人なので何をしたらいいかわからない。

 

 なので、いろいろと実験をすることにした。

 今回はその第一弾である。

 

 

スペクトログラム

 

 スペクトログラムというものがある。

 簡単にいうと、「どの周波数の音がどれくらいの強さで鳴っているか」を時間にそって表示したものだ。

 

 たとえば、つぎの2つの音声を聴いてほしい。

 

 

 「ドレミファソラシド」を、それぞれ別の音源で鳴らしたものである。

 それぞれのスペクトログラムは次のようになる。

 

f:id:keionkakimasen:20210113212700j:plain

f:id:keionkakimasen:20210113212713j:plain

 

 スペクトログラムの読み方は簡単だ。

 縦軸が周波数、横軸が時間、そして色の濃淡が音の強さに対応している。

 

 下の画像は、上の画像と比べて細かい線がたくさん描かれている。

 この細かい線は倍音を描き出したものである。

 

 1つめの音声はサイン波による「ドレミファソラシド」で、倍音をほとんど含まない。

 2つめの音声はストリングスによる「ドレミファソラシド」で、倍音をゆたかに含んでいる。

 

 このように、スペクトログラムを使えば音に含まれる周波数を分析することができる。

 

 では、その逆はどうだろうか。

 画像を分析して音を作りだすことはできるのだろうか。

 

逆スペクトログラム

 

 結論から言うと、できる

 なんのことはない、スペクトログラムを生成するときの処理を逆に行えばよいのだ。

 

 そして、それを実行することができるフリーソフトもある。

 今回は「The Analysis & Resynthesis Sound Spectrograph (The ARSS)」というソフトを利用した。

 以下のページの「Download」からダウンロードすることができる。

 

arss.sourceforge.net

 使い方は、たとえばこの動画で学ぶことができる。

 

www.youtube.com

 

  このソフトを使って、画像を音声に変換していこう。

 

文字を聴く

 

 まずは、カタカナの「」。

 イロハの「イ」。伊号潜水艦の「イ」。世界で初めてブラウン管による受像が成功した文字「イ」。どんな音がするのだろうか。

 

f:id:keionkakimasen:20210113221856j:plain

 

 なるほど、たしかに「イ」の音がする。

 電子音楽の黎明期につくられた作品に使われていそうな音だ。

 

 どんどんいこう。次は「イロハ」だ。

 

f:id:keionkakimasen:20210113222332j:plain

 

 こんな音がするのか。

 

 ここで問題。

 この音声は、なんと書かれた画像を変換したものでしょうか。

 

 

 

 

 

 

 

 

 

 正解はこちら。

 

 

 

 

 

f:id:keionkakimasen:20210113223310j:plain

 

 

 ……続けていこう。

 

 ひらがな。カタカナ。漢字。アルファベット。数字。

 

f:id:keionkakimasen:20210113223854j:plain

 

 メイリオ。MS明朝。游ゴシック Bold。HG教科書体。HGP創英角ポップ体。HG丸ゴシックM-PRO。

f:id:keionkakimasen:20210113224824j:plain

 

 文字種の違いが、フォントの違いが、さまざまな音を生み出す。

 

音楽をつくる

 

 ここで私は考えた。

 

このブログのタイトルを聴いてみよう

 

 

f:id:keionkakimasen:20210113225423j:plain

 

 

 なかなかどうして、いいじゃないか。

 これだけでも電子音楽とよんでいいかもしれない。

 

 

 これをAbleton Liveに取り込む。*1

 

 適当に分割して拍に合わせる。

 

 適当にドラムとベースをつけ、エフェクトをかける。

 

 

 

 そしてできあがったものがこちら。

 

 

 思った以上にそれっぽい。

 ……どうにも耳寂しい出来だが、これくらいが実験というものだろう。

 

さいごに

 

 今回は、逆スペクトログラムを使用して画像を音に変換してみた。

 

 記事にすることはできなかったが、画像に書き込みをしたりARSSのパラメーターを変化させたりすることで更に新たな響きを生み出すことができる。

 読者諸兄も試してみてはいかがだろうか。

 

 こういった実験は今後も続けていきたい。

 よい結果が得られたものは、ここで記事として紹介するかもしれない。

 

 最後に、逆スペクトログラムに関連した作品を3つほど挙げておこう。

 

 

 

store.steampowered.com

 

 

Bits per sample : 16

Sample rate : 44100

Min. frequency (Hz) : 250.000

Bands per octave : 45.000

Pixels per second : 150.000

 

 

【本が書いた記事】

*1:いまだに9 Standardを使っている。早く11を買え