Deep Learning (2)

まだ一部の研究事例しか見ていないが、ガウシアンを始めとする数学的手法で発生させたノイズを用いているので、それとは異なるノイズは無視される（効果がない）。

学習を必要とする手法Rを試す。説明が不親切なため学習のステップに進めない。

今日はここまで。

Pre-trained dataを使った結果
小さめのショットノイズは除去されているが、大きい画素が無視されている。
また、横線や文字が平均化フィルターをかけたようにボケている。

 

Original

Denoised

 

Deep Learning

 ファクシミリのクリーニングに役立つはずと思い、巷で騒がしい「Deep Learning」をいじってみた。色々な提案があるのどれがよいかサッパリわからない。とりあえず目に入った教師データなしの方法を試す。ノイズに埋もれた画像から元の画像を取り出すということなのだが...。

たまたま目に入った手法で上手く行ったら目出たいが、そうは簡単に問屋は卸してくれないようで。

処理時間はBerbara(女性の名)で約40分、タブラチュアで約30分。

プラットホームはGoogle Colab. GPUあり

ノイズだらけの中から復元するこの技術は素晴らしいが、定量評価のためかノイズパターンは固定されており、元々含まれていたノイズを落としてくれるものではない。

「教師不要でありながら、何が信号で何がノイズなのか判別できる」というのはさすがに都合が良すぎる？！

ということで、他にどんなアプローチが提案されているか調べてみる...。

Losy, Menuet et Air. (2)

前回版に対し横線の修復方法を変更

【着眼】
オリジナルのタブラチュアの文字部分はそれ自体は高コントラストであり読み易い。
しかし、裏抜けが強く現れているため読み難い。
また、裏抜けと横線は濃度やコントラストが類似している部分が多い。

【処理】
１．裏抜けを抑圧して文字を優先的に抽出。
　　このとき部分的に横線に消えてしまうことは次の処理でカバー。

２．横線だけを抽出する。
　　この作品では元々横線の太さや濃度が一様ではない。

　　特に６コースの線は細く擦れている部分が目立つ。

　　グラフカルな方法で直線を上書きすると、そこだけ整い過ぎて違和感がでてしまう。

　　なので、綺麗に残っているコースの線の複製を６コースの位置に重ねる。

　　これで、綺麗に整った横線ができる。

３．結果、文字を優先的に抽出した画像と、横線を優先的に抽出した画像とを重ねる。

　　全体として整った綺麗な画像が得られる。

Losy, Menuet et Air.

(PL-Wtm) Tabulatura lutniowa RM 4140 olim Mf 2008 からのレストアです

このオリジナル譜の特徴は、

1.　タブラチュアの文字は鮮明

2.　文字に比べ横線は薄く、最下段の線は他に比べて細い

　　（5線譜の用紙に線を1本追記したように見える）

3.　裏抜けが著しいが、文字に比べて薄め

　　（最上段の横線は1コースを2コースと読み間違えそうなほど紛らわしい）

裏抜けを抑えるフィルタをかけてから文字をレスキューすると横線も消えてしまいます。なので、別途、横線を抽出してから太さや濃度が均一になりすぎないように揃えてから、レスキューした文字と合成しました。

Original

Restored

不要な領域を消す

 写ってしまった人や物を、あたかも、最初から写っていなかったかのように補正するソフト

いくつもありますが、得意なのは、背景が草むらや草原、樹木の茂、砂浜、砂利路面、水面、空など、どれもきめ細かいパターンが広がっているものです。

皆さん、草の葉の１枚1枚は微妙に形や向きが違っていても、いちいち気にしていませんよね。

原理は簡単。消したい領域の周辺の画像をコピペしているだけです。きめ細かいパターンが背景なら、それをコピペしておけば人の目を騙せるのです。

（1枚の画像のみを用いて人物等で隠れた領域を復元することは不可能です）

そのコピペの時にボカシを入れたり、どの領域からコピーするか、消したい領域の輪郭を自動抽出するなど、開発者にによって個性があります。

当然ですが、きめ細かいパターンが広がっていない背景の写真では残念な結果になります。期待はしていませんでしたが、ファクシミリのクリーニングにおいては、背景部分の汚れやシミにに限って言えば、汚れていない領域をコピペすることで問題ないですが、文字や線の擦れや汚れの修復においては、このようなソフトは殆ど役に立ちません。

桜折る馬鹿、....。　通行人もいません。

水面が背景だと全く分からない。

左の人は上手く消せた。中央の2人のいた場所がおかしなことに。右の人は消せたが。

お兄さんがいた場所がおかしなことに。

銅像があった場所はモダンアート？！

コピペで誤魔化そうとするとこうなる。

他の部分からのコピペでは解決できない問題

Gigue, Losy (GOËSS)

 Minkoff は手間のかかる手作業によりノイズを落とし、クリアな原稿を作ってくれていましたが、Tree Edition はそのような特別な配慮はなく、単純モノクロ化処理をしてしまっています。オリジナルが持つ情報の大部分は捨てられているので、復元・清書を自動化することが難しくなります。
オリジナルに接したかったのですが、今回もやむなく、Tree Edition 版から抽出した画像を使うことにしました。
大きなドット状のノイズを落とす方法を色々試し、何とか、ましなタブラチュアができました。

 

Tree Edition - 10v -

 

Tree Edition - 11 -

After Cleaning  - 10v -

After Cleaning  - 11 -

Jakob Lindbergの演奏、流麗ですね。

Gigue, Losy (Rostock)

Rostock Ms Mus Saec XVII.18-52-2

Tree Edition 版から Gigue

Tree Edition 版はとても綺麗とは言えないですね。 Universitätsbibliothek Rostockで公開されていないか調べてみましたが、見つけられませんでした。 

それで、やむなく、Tree Edition 版をクリーニングしてみました。まだ、改良の余地は十分にあります。 

左：Tree Edition 版　　　右：クリーニング版

【改良版】

ノイズフィルタの種類を変えてみました。水平線部に目立っていた「擦れ」感が大幅に解消されました。

Losy, Gigue 1

Losy, Gigue 2

BWV 1000 FUGA (3)

 Becker III.11.4 にはスコアも含まれていたので、ついでにクリーニングしました。

 

 

 

 

 

BWV 1000 FUGA (2)

 Weyrauch の Lute Tablature  (Becker III.11.4)

パラメータ・チューニングを追い込めば、クリーニング後の画像はもっと綺麗になりますが、出版する訳ではないので今回はこの程度に留めました。

なお、あくまで、ノイズ除去とコントラスト補正の範囲内での処理とし、擦れた線の復元などの加筆処理はしませんでした。

 

 

 

 

 

BWV 1000 FUGA

幾つかのエディションが出ています。色々な変更が加えられています。それらを見る前に、元となっているWeyrauchのタブラチュアは一通り見ておきたいです。

手元にTree Edition版があります。文字の部分はクッキリしているので読めなくはないですが、背景がザラついていて少し読みづらいですね。MINKOFF.や.S.P.E.S.のようなクリーニングは全くされていません。（そうと分かってからは、Tree Editionのファクシミリ版は買わなくなりました。）

現代ギター別冊の「バッハ・リュート作品の全て」は解像度が低く、しかも、ボケた感じです。

現在、Tree Edition版はpdfが無料で入手できますので、そこから画像を抜き出して、クリーニングをかけてみました。背景のノイズが落ちてコントラストも改善されました。でも、元の品質がよくないので、結果もそれなりにというところ。擦れた線を修復する方法はなくはありませんが。

 

Tree Edition - Before

 

 

 

Tree Edition - After

 次に、高解像度のオリジナル画像がライプツィッヒの図書館から入手できますので、これをクリーニングしてみました。こちらの方が絶対に綺麗です。
(D-LEm) Leipziger Stadtbibliothek - Musikbibliothek, Leipzig
Weyrauch, Johann Christian

 

Becker III.11.4 - Before

 

Becker III.11.4 - After