「私たちは、スマートフォンでスペクトル イメージャを開発して使用する本当のチャンスがあると信じています。さまざまなカメラやスマートフォンの計算能力によってこれまでの進歩にもかかわらず、写真の本当の色を実際に識別できるものはありません。」
これは、 Spectricity CEO の Vincent Mouret 氏が、最近のインタビューでデジタル トレンドに対する同社の使命と、 スマートフォン ですぐに使用できる小型スペクトル イメージ センサーを製造している理由について説明した方法です。しかし、スペクトル センサーとは正確には何で、どのように機能するのでしょうか?実は、単に美しい色をキャプチャするだけではなく、それ以上のことができることがわかりました。
この色を見たことがあるでしょうか？
その話に入る前に、Spectricity の S1 マルチスペクトル イメージ センサーがカメラに対してどのような役割を果たしているかについて話しましょう。ほとんどの携帯電話のカメラは 3 色の RGB (赤、緑、青) センサーを使用していますが、Spectricity S1 センサーは可視光線と近赤外線の範囲をさらに詳しく調べて、より自然でより一貫した色を再現し、ホワイト バランスも大幅に改善されています。
「スマートフォンに組み込まれている標準的なカメラには、赤、緑、青を認識する RGB センサーが搭載されています」とムーレ氏は言います。 「フィルターを追加して、さまざまな色、さまざまな波長の光、さまざまな光源からの光、シーンのオブジェクトからの反射光を含む最大 16 個の異なる画像を作成します。標準の RGB と比較したこれらの異なる画像のおかげで、多くの異なるプロパティを識別できます。」
これが意味するのは、以下の画像例でわかるように、照明条件に関係なく、S1 センサーを搭載した携帯電話で撮影した画像は全体的により一貫した色を持つということです。会話中に、例で見られた色の再現性と一貫性を再現するライブデモンストレーションを見ましたが、センサーがスマートフォンではなくPCによって操作されたことは注目に値します。
「Xiaomi、Samsung、Apple、Huawei のカメラでは、照明条件が異なると色が大きく異なることがわかります。スペクトル イメージャで撮影した同じシーンには、わずかな違いがありますが、小さな違いです。画像の色は私たちが肉眼で見た色です。すべてのスマートフォンが非常に異なる色を生成していることがわかります。」
この色の精度により、スマートフォンのカメラの能力も向上し、さまざまな肌の色合いをより適切に再現できるようになります。別の画像例では、S1 センサーがここでも大幅な改善を示しているように見えました。
「光の当たり具合によって肌の色合いが全く違うのがわかります」とムーレ氏は指摘する。 「解決策は、スペクトル イメージャを使用して照明条件を分析し、実際に適切なトーンを与えることです。これが唯一の方法です。多くの AI を背後に配置することはできますが、それだけでは十分ではありません。追加のハードウェアが必要です。」
残念ながら、ムーレ氏は、S1 センサーと 比較するための スマートフォンを手元に持っていませんでした。これは、 ソフトウェアの機能強化を使用する ことによってのみ、同様のことができると約束されています。
それはセンサーですか、それともカメラですか？
S1 のようなスペクトル イメージ センサーの利点は明らかなようですが、写真のより効果的なホワイト バランスと自然で一貫した色を望まない人はいないでしょうか。しかし、ムーレ氏が S1 の能力を説明したところ、センサーというよりもカメラのように聞こえました。どれですか？本当にスマホに収まるのか？その場合、どのような変更が必要になりますか?
私が見たデモを実行した Spectricity アプリケーション エンジニアの Michael Jacobs 氏が、S1 が実際には何であるかを説明しました。
「これは実際にはコンパニオンセンサーであり、深度センサーやRGBカメラで使用される3Dセンサーによく似ています」と彼は認めた。
ただし、 技術的には 写真を撮影しますが、個別に使用したい写真ではないだけで、ムーレ氏は次のように説明しました。
「当社のイメージ センサーの解像度は VGA、800 x 600 ピクセルです。この小さなスペクトル イメージを RGB イメージと組み合わせる必要があります。モジュール自体は非常に小さいです。スマートフォンに統合されるように設計されています。つまり、5mm x 5mm x 6mm です」とムーレ氏は、センサーの構造について詳しく話す前に私に語った。 「それは簡単ではありませんが、それほど洗練されたものではないと思います」と彼は説明し、このモジュールは通常のCMOSセンサーと同じ方法を使用して構築されていると述べました。 「全体的なコストに関して言えば、モジュール全体のコストは、大量生産の標準カメラと同じになります。」
現時点では、このセンサーは、Qualcomm や MediaTek のスマートフォン プロセッサで使用されている標準の画像信号プロセッサ (ISP) と統合されますが、動作するには追加のソフトウェアが必要になります。
S1 マルチスペクトル イメージ センサーは、1 つのトリックだけで機能するものではなく、実際には皮膚のバイオマーカーを認識して分析できるという興味深い 2 番目の機能を備えています。これが意味するのは、本物の人間を「見ている」かどうかを判断できるということです。これは、セキュリティ アプリケーションに使用できる可能性があります。たとえば、誰かが身元を隠すためにマスクを着用しているかどうかがわかります。スキンケア、さらには健康アプリケーションにも使用できます。 AIや他のソフトウェアと組み合わせる。ポートレート モードの写真を強化するために使用することもできます。
電話機でいつ使用されるのでしょうか?
メーカーは、2016 年の に遡り、しばらくの間携帯電話での色の再現性の向上に取り組んできました。LG G5 では、色のパフォーマンスを向上させるために、レーザー オートフォーカス センサーとともに専用のカラー スペクトル センサーが使用されていました。ファーウェイは異なるアプローチを採用し、色の再現性を高め、低照度でのパフォーマンスを向上させるために、 の RGB センサーを放棄し、RYYB センサーを採用しました。 と さまざまな用途向けに近赤外線 RGB センサーの実験も行っています。
Spectricity S1 センサーは世界初であり、これらの例とは異なる方向を目指しています。デモとサンプル画像に基づくと、かなりの有望性が示されていますが、携帯電話ではいつ表示されると予想すればよいでしょうか?
「最初はハイエンドの携帯電話に導入される予定だ」とムーレ氏は語った。 「2024年にはその量は少なくなるが、2025年にはさらに多くなり、2026年からはより広範囲に広がるだろう。」
ムーレ氏はまた、最初の例はサムスンやアップルなどの企業ではなく、中国のスマートフォンメーカーから生まれると予想している。しかし、ムーレ氏はこれが将来的に変わると予想しており、 CES 2023 の S1 センサーに関するプレスリリース で、期待を裏切ることなく次のように述べています。
「S1を搭載した最初のスマートフォンモデルは2024年にリリースされると予想しており、今後数年以内にすべてのスマートフォンに当社のテクノロジーが搭載されると予想しています。」
はい、 すべてのスマートフォンに適用されます 。これは大きな目標ですが、デモで見たパフォーマンスが、最終的にはS1を備えた携帯電話のカメラから見えるものであるならば、取り残されることを望むメーカーはほとんどないでしょう。