Hesaplamalı fotoğrafçılık yakın çekim için hazır

ABD Ulusal Seyahat ve Turizm Ofisi'ne göre rekor bir sayı olan 2017'de 87 milyondan fazla Amerikalı uluslararası seyahat etti. Bunların arasındaysanız, belki de Stonehenge, Tac Mahal, Ha Long Körfezi veya Çin Seddi gibi bir yeri ziyaret ettiniz. Ve bir panorama çekmek için telefonunuzu kullanmış olabilirsiniz, belki de süper geniş, 360 derecelik bir manzara görüntüsünü çekmek için telefonunuzla etrafta dolaşıyor olabilirsiniz.

Başarılı olsaydınız - yani yanlış hizalanmış bölümler, vinyet veya renk kaymaları olmazdı - o zaman basit ama etkili bir hesaplama fotoğrafçılığı örneği deneyimlediniz. Ancak son birkaç yılda, bilgisayar fotoğrafçılığı bu kadar dar kullanımların ötesine geçti. Bize fotoğrafçılığa farklı bir bakış açısı getiremez, aynı zamanda dünyamızı bakış açımızı değiştirir.

Hesaplamalı Fotoğraf Nedir?

Stanford Üniversitesi'nde bilgisayar bilimi profesörü ve Google'ın baş mühendislerinden biri olan Stanford Üniversitesi'nden bilgisayar uzmanı profesörü olan Marc Levoy, bilgisayar fotoğrafçılığını dijital fotoğrafçılığın yeteneklerini artıran veya genişleten çeşitli "bilgisayarlı görüntüleme teknikleri" olarak tanımladı. çıktı sıradan bir fotoğraf, ancak geleneksel bir kamera tarafından çekilemeyen bir fotoğraf. "

Adobe’nin ana ürün müdürü Josh Haftel’e göre, geleneksel fotoğrafçılığa hesaplayıcı unsurlar eklemek, özellikle görüntüleme ve yazılım şirketleri için yeni fırsatlara izin veriyor: “Hesaplamalı fotoğrafçılığını görmemizin yolu, bize iki şey yapma fırsatı veriyor. mobil kameralarda var olan fiziksel kısıtlamaların çoğunu denemek ve ayağa kaldırmak ”dedi.

Sığ alan derinliğini (DOF) simüle etmek için akıllı telefon almak (konuyu görsel olarak ayırdığı için profesyonel görünümlü bir görüntünün işareti) iyi bir örnektir. Bir kameranın çok ince bir cihazda, telefon gibi, sığ DOF'lu bir görüntü yakalayabilmesini engelleyen fizik yasalarıdır.

"Sahip olamazsın sığ Çok küçük bir sensöre sahip alan derinliği "diyor Haftel. Fakat büyük bir sensör büyük bir lens gerektiriyor. Çoğu insan telefonlarının ultra ince olmasını istediğinden, büyük, hacimli bir lensle eşleştirilmiş büyük bir sensör bir seçenek değil. Telefonlar, küçük ana lensler ve minik sensörler ile inşa edilmiştir; bu, yakın ve uzaktaki tüm konuların net odaklanmasını sağlayan geniş bir alan derinliği üretir.

Haftel, akıllı telefon üreticilerinin ve basit kamera üreticilerinin, "gözü kandıracak şekillerde efekti taklit ederek" hile yapmak için hesaplamalı fotoğrafçılık kullanarak bunu telafi edebileceklerini söyledi. Sonuç olarak, algoritmalar arka plan olarak neyin kabul edildiğini ve ön plan konusu olarak neyin belirlendiğini belirlemek için kullanılır. Ardından kamera, arka planı bulanıklaştırarak sığ DOF'yi simüle eder.

Haftel, hesaplamalı fotoğrafçılığın kullanılabileceğini söyleyen ikinci yöntem, fotoğrafçıların geleneksel araçları kullanarak mümkün olmayan şeyleri yapmalarına yardımcı olmak için yeni süreçler ve teknikler kullanmaktır. Haftel, örnek olarak HDR'ye (yüksek dinamik aralık) işaret ediyor.

"HDR, aynı anda veya hızlı bir şekilde art arda birden fazla çekim yapma ve ardından sensörün doğal yeteneğinin sınırlamalarını aşmak için onları birleştirme yeteneğidir." Aslında, HDR, özellikle mobil cihazlarda, ton aralığını görüntü sensörünün doğal olarak yakalayabileceğinin ötesine genişleterek en aydınlık ve en koyu gölgelerde daha fazla ayrıntı yakalamanıza izin verir.

Hesaplamalı Fotoğrafçılık Kısa Düştüğünde

Hesaplamalı fotoğrafçılığın tüm uygulamaları başarılı olmamıştır. İki cesur girişim Lytro ve Light L16 kameralarıydı: Geleneksel ve hesaplamalı fotoğraf özelliklerini birleştirmek yerine (iPhone'lar, Android telefonlar ve bazı bağımsız kameralar gibi), Lytro ve Light L16 yalnızca hesaplamalı fotoğrafçılığa odaklanmaya çalıştı.

Pazara ilk giren, 2012'de çekilen ve fotoğraf çektirildikten sonra fotoğrafın odağını ayarlamanıza izin veren Lytro ışık alanı kamerasıydı. Bunu, geleneksel kameraların yapmadığı, kameraya giren ışığın yönünü kaydederek yaptı. Teknoloji ilginçti, ancak kameranın düşük çözünürlük ve kullanımı zor bir arayüz de dahil olmak üzere sorunları vardı.

Aynı zamanda oldukça dar bir kullanım durumu vardı. Imaging Resource'un kurucusu, yayıncısı ve editörü Dave Etchells'in belirttiği gibi: "Gerçeklerden sonra odaklanabilmek harika bir özellik iken, kamera açıklığı o kadar küçüktü ki, mesafeleri gerçekten ayırt edemezsiniz Gerçekten kameraya yakın bir şey olmadıkça. "

Örneğin, yerel bir beyzbol elması ile bir beyzbol oyuncusu vurduğunuzu varsayalım. Çite yakın bir yerde fotoğraf çekebilir ve uzaktayken bile oyuncuyu çitin içinden yakalayabilirsiniz. Ardından odağı çitten oynatıcıya kolayca değiştirebilirsiniz. Ancak Etchells'in belirttiği gibi, "Ne kadar sıklıkla böyle bir fotoğraf çekersiniz?"

Bağımsız bir hesap makinesi olmayı hedefleyen daha yeni bir cihaz, üst seviye bir D-SLR veya aynasız kamera ile aynı düzeyde görüntü kalitesi ve performansı ile ince, taşınabilir bir kamera üretme girişimi olan Light L16 idi. L16, tek bir kamera gövdesinde 16 farklı lens ve sensör modülü ile tasarlandı. Güçlü yerleşik yazılım, çeşitli modüllerden bir görüntü oluşturacaktır.

Etchells başlangıçta Işık L16 kavramı ile etkilendi. Ancak gerçek bir ürün olarak, “çeşitli sorunları vardı” dedi.

Örneğin, Işık, kamera ve Light L16 yapan fotoğraf şirketi, bu küçük sensörlerden gelen verilerin büyük bir sensöre eşdeğer olacağını iddia etti. Etchells, “Bunun ayrıca D-SLR kalitesi olacağını iddia ettiler” dedi. Ancak saha testlerinde, Imaging Resource bunun böyle olmadığını buldu.

Etchells şöyle diyor: “Fotoğrafın belirli bölgelerinde“ görüntünün aydınlık bölgelerinde bile ”aşırı gürültüye sahip olması da dahil olmak üzere başka sorunlar vardı. Fotoğrafların bölümleri (şirketin kamerayı tanıtmak için kullandığı örnek fotoğraflar dahil) gölgelerde neredeyse hiç ayrıntı yoktu.

Etchells, “Düşük ışıkta sadece bir felaketti” diyor. "Çok iyi bir kamera değildi, dönem."

Sıradaki ne?

Bu eksikliklere rağmen, birçok şirket hesaplamalı fotoğrafçılığın yeni uygulamalarıyla öne çıkıyor. Bazı durumlarda, fotoğrafçılık olarak kabul edilenler ile video ve VR (sanal gerçeklik) gibi diğer medya türleri arasındaki çizgiyi bulanıklaştırırlar.

Örneğin, Google, siyah beyaz fotoğrafları renklendirme de dahil olmak üzere yeni özellikler için AI (yapay zeka) kullanarak Google Foto uygulamasını genişletecek. Microsoft, iOS için Pix uygulamasında AI kullanıyor, böylece kullanıcılar LinkedIn'e sorunsuz bir şekilde kartvizit ekleyebilir. Facebook, yakında "Facebook'ta paylaşmak için bir akıllı telefon kullanarak insanların 3B anları yakalayabilmelerini sağlayan yeni bir ortam türü" olan 3B Fotoğraflar özelliğini ortaya çıkaracak. Adobe'nin Lightroom uygulamasında, mobil cihaz fotoğrafçıları HDR özelliklerini kullanabilir ve RAW dosya biçimindeki görüntüleri yakalayabilir.

VR ve Hesaplamalı Fotoğraf

Mobil cihazlar ve hatta bağımsız kameralar bile bilgisayar fotoğrafçılığını ilginç şekillerde kullanıyor Daha güçlü kullanım durumları, VR ve AR (genişletilmiş gerçeklik) gibi genişletilmiş gerçeklik platformları dünyasından geliyor. New York'ta sürükleyici bir medya stüdyosu olan Scatter'ın CEO ve kurucusu James George için bilgisayarlı fotoğrafçılık dır-dir sanatçıların vizyonlarını ifade etmeleri için yeni yollar açmak.

“Scatter'da, hesaplama fotoğrafçılığını öncülük etmeye çalıştığımız yeni yaratıcı disiplinlerin temelini sağlayan teknoloji olarak görüyoruz … Hesaplama eklemek, gözlerimizin yaptığı görüntüyle yaptığımız bazı şeyleri sentezlemeye ve simüle etmeye başlayabilir. beyinlerimizde bakın "diyor George.

Temel olarak, istihbarat aşağı geliyor. Beynimizi, algıladığımız görüntüleri düşünmek ve anlamak için kullanırız.

George, "Bilgisayarlar dünyaya bakmaya ve bir şeyler görmeye ve onların neler yaptığını aynı şekilde anlamaya başlamaya başlıyor" diyor. Dolayısıyla hesaplamalı fotoğrafçılık, "yalnızca fotoğrafın saf olarak yakalanmasının ötesine geçen, ancak aslında bir şeyi algılamadaki insan deneyimini taklit etmeye başlayan ek bir sentez ve zeka katmanı" dır.

Scatter'ın hesaplama fotoğrafçılığını kullanma şekli, hacimsel fotoğrafçılığa denir ; bu, çeşitli bakış açılarından bir konuyu kaydetme ve daha sonra tüm bu bakış açılarını üç boyutlu bir sunumda analiz etmek ve yeniden oluşturmak için bir yazılım kullanan bir yöntemdir. (Hem fotoğraflar hem de video hacimsel olabilir ve VR veya AR deneyimi içinde dolaştırabileceğiniz 3D benzeri hologramlar olarak görünebilir.) "Özellikle, şeyleri iki boyutlu bir şekilde yeniden oluşturma becerisiyle özellikle ilgileniyorum, "diyor George. "Hafızamızda, eğer yürürsek bir boşluk aslında olayların birbirleriyle ilişki içinde olduklarını mekansal olarak hatırlayabiliriz. ”

George, Scatter'ın bir video oyunu ya da hologram gibi hareket edebilecek şekilde, tamamen ve serbestçe gezilebilir bir alanın gösterimini çıkarabildiğini ve yaratabildiğini söylüyor. video oyunları ile bu fotoğrafçılıkla film yapımı arasındaki kesişim ve volumetrik film yapımı mümkün kılınıyor. ”

Diğerlerinin hacimsel VR korumaları üretmelerine yardımcı olmak için Scatter, film yapımcılarının bir HD video kameraya aksesuar olarak Microsoft Kinect gibi kameralardan gelen derinlik sensöründen faydalanmalarını sağlayan bir yazılım uygulaması olan DepthKit'i geliştirdi. Bunu yaparken, bir CGI ve video yazılımı melezi olan DepthKit, “sanal dünyalarda gerçek zamanlı oynatım için uygun olan” gerçekçi 3D formları üretiyor, diyor George.

Scatter, hesaplamalı fotoğrafçılık ve volumetrik film yapım teknikleri kullanarak, DepthKit ile birçok güçlü VR deneyimi üretti. George, 2014 yılında, interaktif bir bileşen içeren kod sanatını inceleyen bir belgesel olan "Bulutlar" oluşturmak için Jonathan Minard ile birlikte çalıştı. 2017'de Scatter, izleyicileri Stuxnet virüsü perspektifinden görmek için görünmez siber savaş dünyasında benzersiz bir perspektif sağlamak için VR kullanan Zero Days filmine dayalı bir VR uyarlaması üretti.

DepthKit ile ilgili en güçlü projelerden biri, bu yılın başlarında TriBeCa film festivalinde ön plana çıkan Pakistanlı sanatçı Asad J. Malik'in artırılmış gerçeklik deneyimi olan "Terminal 3". Bu deneyim, neredeyse bir Microsoft HoloLens aracılığıyla bir ABD sınır devriyesi memurunun ayakkabılarına adım atmanıza ve Müslüman gibi görünen birinin hayalet benzeri bir 3D hacimsel hologramını sorgulamanıza izin veriyor (toplam 6 karakter var).

George, “Asad, üniversiteye gitmek için ABD'ye göç eden ve geçmişi ve neden orada olduğu hakkında sorgulanan bazı olumsuz deneyimler yaşayan Pakistanlı bir yerli. Bu deneyimi şok ederek, 'Terminal 3'ü yarattı” diyor.

Deneyimi bu kadar cazip kılan şeylerin anahtarlarından biri Malik'in 1RIC'deki ekibi, artırılmış gerçeklik stüdyosu, DepthKit'i videoyu volumetrik hologramlara dönüştürmek için kullandı. Maya ve Cinema 4D gibi grafik araçları. Hologramı AR sanal alanı içinde doğru şekilde konumlandırmak için Kinect'ten D-SLR videoya derinlik sensörü verilerini ekleyerek, DepthKit yazılımı videoyu içine dönüştürür bilişimsel video. D-SLR ve Kinect'i birlikte kalibre etmek için siyah-beyaz bir dama tahtası kullanılır, daha sonra hacimsel fotoğraflar ve videolar çekmek için her iki kamera aynı anda kullanılabilir.

• Kötü fotoğraf düzeltmek için 10 hızlı ipucu Kötü fotoğraf düzeltmek için 10 hızlı ipucu
• 10 temel dijital fotoğrafçılık ipuçları 10 ötesindeki temel dijital fotoğrafçılık ipuçları
• Daha iyi Smartphone Fotoğraflar için 10 Kolay İpuçları ve püf noktaları Daha iyi Smartphone Fotoğraflar için 10 Kolay İpuçları ve püf noktaları

DepthKit ile yaratılan bu AR deneyimleri video oyunlarının çalışma biçimine benzer olduğundan, "Terminal 3" gibi bir deneyim güçlü etkileşimli efektler üretebilir. Örneğin, George Malik'in hologramların sorguladığınız şekliyle form değiştirmesine izin verdiğini söylüyor: Sorgulama sırasında sorularınız suçlayıcı hale gelirse, hologram kayıtsızlaştırılır ve daha az insan görünür. “Ama kişinin biyografisini, kendi deneyimlerini ve değerlerini çağırmaya başladığınızda, ” diyor George, “hologram aslında doldurmaya ve daha fotogerçekçi olmaya başlar.”

Bu incelikli efekti yaratırken, sorgulayıcının algısını ve bir kişiyi nasıl görebileceklerini "gerçek kimliği ve benzersizliği olan gerçek bir kişi yerine sadece bir amblem olarak görebileceklerini" söylüyor. Bir şekilde, kullanıcılara daha iyi bir anlayış kazandırabilir. George, “Bir soru sormak veya başka bir soru sormak için izin verilen bir dizi bilgi istemi ile” diyor, “kendi önyargılarınızla ve aynı zamanda bu bireysel hikayeyle karşı karşıya kalıyorsunuz.”

Gelişmekte olan teknolojilerin çoğu gibi, bilgisayarlı fotoğrafçılık hem başarı hem de başarısızlık payını tecrübe ediyor. Bu, bazı önemli özelliklerin veya tüm teknolojilerin raf ömrünün kısa olabileceği anlamına gelir. Lytro'yu Alın: 2017'de, Google şirketi satın almadan hemen önce, Lytro pictures.lytro.com'u kapattı, böylece artık web sitelerinde veya sosyal medyada resim yayınlayamıyordunuz. Panasonic'in, onu özleyenler için, çeşitli üst düzey aynasız fotoğraf makinelerinde ve göster ve çeklerde kullandığı Post Focus adlı Lytro benzeri bir odaklama özelliği var.

Şimdiye kadar gördüğümüz hesaplamalı fotoğrafçılık araçları ve özellikleri sadece Başlat . Mobil cihazlar daha yeni, daha çok yönlü kameralar ve lensler, daha güçlü yerleşik işlemciler ve daha geniş hücresel ağ oluşturma yetenekleriyle tasarlandığından, bu araçların çok daha güçlü, dinamik ve sezgisel olacağını düşünüyorum. Çok yakın gelecekte, hesaplamalı fotoğrafçılığın gerçek renklerini görmeye başlayabilirsiniz.