iPhoneのカメラは、日常の撮影を楽しむ一般ユーザーだけでなく、プロにも高く評価されている。開発にあたっての工夫は何なのか、アップルのカメラ開発担当者に聞いてみた
自社でハードとソフトの両方の開発を手がけているのが大きい
Apple本社でiPhoneのプロダクトマネージャーを務めるLouis Dudley氏は、まずiPhone 13シリーズでカメラ性能のさらなる底上げを図った点をアピールしました。
「iPhone 13シリーズは最新のA15 Bionicを搭載し、コンピュテーショナルフォトグラフィをさらに進化させました。シネマティックモードとフォトグラフィスタイルの2つの新機能は、アップルだけが提供できる機能として注目してほしいと感じます。iPhone 13/13 miniでは最大級のセンサーやセンサーシフト方式の手ぶれ補正機構を搭載し、写真や動画の美しさをさらに高めました。iPhone 13 Pro/13 Pro Maxではマクロ機能の追加や望遠レンズの改良で、写真や動画の撮影性能をこれまでとは違う次元に引き上げました。プロ仕様のカメラを多くの人に届けられることをうれしく思います」
iPhoneカメラの最大の強みとして、Louis Dudley氏はカメラのハードウエアとソフトウエアをともに自社で開発していることを挙げました。この点について、Apple本社でカメラのハードウエアエンジニアリングを担当するバイスプレジデントのGraham Townsend氏は「ソフトウエアの開発担当者と連携して開発を進められるのが最大のメリットです。センサーやレンズ、アクチュエーターなどのハードウエア開発は、早い段階からソフトウエアやファームウエアの開発部門と密接に連携しながら進めており、それが最高のものを生み出すことにつながっています」と解説します。
多くのスマートフォンメーカーは、センサーやレンズ、アクチュエーターなどが一体になった汎用のカメラモジュールを購入して自社のスマートフォンに実装する方法を採用しています。スマートフォンの開発がスピーディーかつ低コストで済むメリットはありますが、カメラの性能はモジュールに大きく左右されるほか、独自の機能や“味”を盛り込むのは難しいといったデメリットがあります。
例えるならば、iPhoneのカメラはオーダーメイドのスーツで、多くのスマートフォンのカメラはいわゆる「吊るし」の既製品スーツ、といえるでしょう。
一瞬で複雑な処理をこなして写真を磨き上げるコンピュテーショナルフォトグラフィ
iPhone 13シリーズのカメラは、大型化されたセンサーやセンサーシフト方式の光学式手ブレ補正機構、最新のA15 Bionicなど、優れたハードウエアをふんだんに搭載しています。しかし、Apple本社でカメラのソフトウエアエンジニアリングを手がけるバイスプレジデントのJon McCormack氏は、「iPhone 13シリーズはハードウエア自体が画期的なことは事実ですが、それだけでは不完全です。iPhoneを最高のカメラに磨き上げるには、コンピュテーショナルフォトグラフィの存在が欠かせないのです」と語ります。
コンピュテーショナルフォトグラフィは、いわゆる撮影後の画像処理と思われがちですが、iPhoneの場合はそんな単純な話では済みません。写真撮影時にシャッターボタンを押すと、一瞬で複数のフレームをキャプチャしたうえで、被写体や背後に広がる空を切り分けつつ、被写体が人物だとしたら髪の毛や肌の色などを機械学習で判別し、それぞれを適切に画像処理したうえで1枚の写真に仕上げる、といった複雑な処理を一瞬でこなしています。
特に、iPhone 13ではスマートHDR4に対応したことで、1枚の写真に複数の人が写っている場合でも個々に切り分けて、それぞれの人にどういった光が当たっているのか、それぞれがどのような肌の色なのかを把握し、肌のトーンを正確に表現できるようになっています。Jon McCormack氏は「iPhoneを使えば、どのような状況でも自分の周りの世界を素晴らしい写真として収められます。これは、ハードウエアとソフトウエアを独自に革新し続けているアップルだからこそできることだと考えます」と語ります。
A15 Bionicが“ポートレートモードの動画版”を可能にした
A15 Bionicの搭載で可能になったのが、動画に奥行き感のある表現を与えるシネマティックモードです。撮影しているシーンでもっとも重要となる被写体を認識してピントを合わせつつ、人物の向きやシーンの変化に合わせて自動でピントを切り替えます。撮影後の編集画面で、被写界深度を調整してボケの表現を変えられるだけでなく、ピントが合う被写体自体も変えられるのが画期的といえます。
【動画】シネマティックモードで撮影した動画。手前の猫と奥の子どもの間でフォーカスが切り替わり、奥行き感やストーリー性を持つ動画に仕上がった
「シネマティックモードは、写真のポートレートモードの技術から派生した機能ですが、動画での処理はとても複雑で難しいものでした。しかし、A15 Bionicの進化したニューラルエンジンのおかげで、写真と同じように動画でも被写体の深度がフレームごとに捉えられるようになり、この機能が実現できました。これまでのビデオカメラやデジタルカメラでは成しえない画期的な撮影機能で、iPhone 13を使って自分だけの物語が作れるようになります。もちろん、みなさんはテクノロジーの存在を意識する必要はまったくありません」（Jon McCormack氏）
ちなみに、シネマティックモードは広角カメラと超広角カメラの両方を同時に使って撮影し、リアルタイムで深度の情報を生成しているそうです。iPhone 13 Pro/13 Pro Maxのみ、LiDARスキャナを用いてピント合わせをアシストしており、光量の少ない薄暗いシーンでもピント合わせの速度や精度が落ちないようにしているとみられます。
Louis Dudley氏は「アップルはiPhoneのカメラを最善のものに仕上げ、美しく撮影して届けられることを目標にしています。iPhone 13では、ハードウエアとソフトウエアの両チームが尽力することで、従来のスマートフォンのカメラでは成し得なかった新たな写真と動画の撮影が可能になりました。人間はみなそれぞれ独自の物語を持っていますが、あなたが大好きなものや大好きな人との大切な時間を、ぜひ新しいiPhone 13で残してほしいと思います」と語りました。