AI消しゴム（物体除去）の仕組みと、うまくいかないとき
インペインティングを専門用語なしで解説。モデルが実際に予測しているもの、そこから生じる4つの失敗パターン、良い修復と自信たっぷりの作り話の見分け方を紹介します。
他の言語:EnglishDeutschPortuguêsFrançaisBahasa Indonesiaالعربيةहिन्दी
物体除去は、消しゴムで消しているように感じます。実際はむしろその反対で、何も消されてはおらず、新しい何かが書き込まれています。この事実ひとつで、このツールが成功するすべての理由と、失敗するすべての理由が説明できます。
モデルがやっていること
あなたが領域に印をつけます。モデルはそれを欠けた部分として扱い、こう問います。まわりのすべてのピクセルを踏まえると、この隙間にはどんな内容がいちばんもっともらしいか？
モデルは、マスクした領域の中をランダムなノイズから始め、まわりの画像に導かれながら繰り返し磨き上げていき、その領域が周囲と矛盾しなくなるまで続けます。これは画像生成全般の裏にあるのと同じノイズ除去のプロセスです。違いは、ここではモデルが四方を本物のピクセルに制約されていることです。
ここからすぐに2つのことが導かれ、それがほぼすべてを説明します。
取り戻すことはない。常に作り出している。 ゴミ箱の後ろにあったものを保持している隠れたレイヤーはありません。写真はそもそも、それを含んでいなかったのです。
自信と正しさは無関係。 モデルは、正しい答えが推測できるかどうかに関係なく、もっともらしい答えを出します。「わかりません」と言う仕組みを持っていません。
4つの失敗パターン
うまくいかないことは、すべてこのどれかに当てはまります。
1. 固有の情報
文字、ロゴ、顔、番地、ナンバープレート。正しい答えは特定の場所についての特定の事実で、モデルは事実にアクセスできません。文字や顔が一般的にどう見えるかを知っているだけです。言葉のように読めて、よく見るとでたらめな字形や、誰でもない顔を作り出します。
これは実際に影響が出る失敗パターンです。出力がもっともらしく、信頼できそうに見えるからです。
2. 硬い繰り返しの構造
レンガ、タイル、柵、窓の格子、床板。モデルは質感を再現しますが、リズムを崩すことがよくあります。一段だけ列からはみ出したレンガ、半マスずれたタイルの格子。質感は簡単でも、位置合わせは難しいのです。正しくするには、局所的な模様を合わせるのではなく、全体の構造を続ける必要があるからです。
選択範囲を小さくすると改善します。位置を合わせる基準になる周囲の格子が、より多く見えるからです。
3. 大きな隙間
マスクした領域が大きいほど、モデルは続けるよりも作り出すことが多くなり、結果はやわらかく、一貫性のないものになります。大きく埋めた部分は、周囲より目に見えてぼやけて戻ってくることがよくあります。生成された内容が、写真のスケールではなくモデル自身のスケールで作られるからです。
大きな除去を2〜3回に分けるだけで、たいていは完全に解決します。
4. 物が触れていたすべて
物は、物だけではありません。影を落とし、窓や濡れた舗装に映り込んでいたかもしれず、近くの面に自分の色をわずかに反射させています。物だけを消してそれらを残すと、埋めた部分そのものが完璧でも、結果はどこかおかしく見えます。
4つのうち、これがいちばん見落とされやすく、そして知っていればいちばん直しやすいものです。
難しさは予測できる
役に立つルールがあります。難しさは、隠れた領域がどれだけ構造的で、どれだけ固有かに応じて上がる。
- 空、水面、芝生、無地の壁：簡単。なめらかで情報が少なく、統計的に予測しやすい。
- 葉の茂み、砂利、カーペット：簡単。不規則な質感で、だいたい正しければ正しいのと区別がつかない。
- レンガ、タイル、羽目板：中程度。構造があるので、間違いが見える。
- 文字、顔、ロゴ、固有の物：信頼できない。固有なので真実の答えだけが正しく、モデルはそれを知りえない。
何かを選択する前に、自分のケースをこの尺度に当てはめてみましょう。そのまま進めるか、分けて作業するか、別の方法を探すかがわかります。
良い修復と、自信たっぷりの作り話を見分ける
100%に拡大して、次の条件を満たしていれば良い修復です。
- 物の輪郭があった場所に、幽霊のような輪郭線が残っていない
- 影を落とす物がないのに影だけ残っている、ということがない
- 修復部分のシャープさと粒子が、周囲と合っている
- 修復部分をまたぐ模様が、ずれずに続いている
一方、その領域に文字、顔、あるいは見る人が頼りにするものが含まれていたなら、どんなに良く見えても、その修復は作り話です。その場合の問題は、説得力があるかどうかではありません。それを「そこにあったものの写真」として示すことが誠実かどうかです。
実践での結論
シンプルな背景の前の雑多な物には、気軽に使いましょう。Kitanaアプリの物体除去ツールは、まさにこの使い方に向いています。構造のあるものには、小さく分けて作業しましょう。影も含めましょう。そして文字や顔の上の結果は、存在しなかったものの絵として扱いましょう。それがまさに、その正体だからです。
被写体の後ろにあるものを1つずつではなく丸ごと入れ替えたいなら、背景の置き換えのほうが簡単です。手順はAIで写真の背景を変更する入門ガイドで説明しており、背景変更ツールならブラウザでそのまま試せます。商品写真をきれいな白背景にしたい場合は、AIで写真の背景を白にする方法も参考にしてください。
よくある質問
- インペインティングとは？
- マスクした領域を、まわりのすべてと矛盾しない生成コンテンツで埋めることの専門的な呼び名です。モデルは隠れたピクセルを取り戻しているのではありません。そんなものは存在しないからです。まわりの画像が隙間にどう続くのが一番もっともらしいかを予測しています。
- ツールは、物の後ろに実際に何があったか知っているのですか？
- いいえ。そして、それこそが要点です。ツールは物の後ろを一度も見ていません。文脈から統計的にありそうなものを作り出します。それは舗装、空、芝生、壁ならたいてい正しく、文字、顔、その場所に固有のものならたいてい間違っています。
- 空は簡単なのに、レンガは難しいのはなぜ？
- 空はなめらかで情報が少なく、ノイズの入ったグラデーションなので、予測はとても簡単です。レンガは硬い繰り返しの構造で、少しでもずれるとわかってしまいます。モデルは質感ではなく格子を続けなければなりません。難しさは、その領域がどれだけ構造的で、どれだけ固有かに比例します。
- 何かを消したことは、モデルからばれますか？
- C2PAのコンテンツクレデンシャルのような来歴メタデータを埋め込むツールもあり、フォレンジック分析で、塗りつぶした領域を統計的な特徴から検出できることもよくあります。日常の用途ではめったに問題になりませんが、その違いが重要な場面では、編集した写真を無加工の写真として示すべきではないということです。
- 同じ選択範囲でも、毎回結果が違うのはなぜ？
- 生成は確率的だからです。ランダムなノイズから始めて、もっともらしい答えに向けてノイズを取り除いていくので、毎回違う道筋をたどります。これは便利でもあります。ほぼ正しい結果なら、何も変えずにもう一度実行するだけで、もっと良い結果になることがよくあります。
- 物体除去が、そもそも向いていないことはありますか？
- あります。物が主役の被写体に重なっている場合や、文字、顔など、見る人が正確さを頼りにするものを隠している場合、モデルはそれを自信たっぷりに作り出します。そういうときは、トリミングし直すか撮り直すのが誠実な答えです。
