Ev İleri düşünme Büyük veri: zorlu bir 'trilyon dolarlık fırsat'

Büyük veri: zorlu bir 'trilyon dolarlık fırsat'

Video: Hande Yener - Acı Veriyor (Kasım 2024)

Video: Hande Yener - Acı Veriyor (Kasım 2024)
Anonim

Dünkü Bloomberg Kurumsal Teknoloji Zirvesi'nde beni etkileyen şeylerden biri, yeni yollarla verilerle ilgilenmeye odaklanmaktı - başka bir deyişle, genellikle "büyük veri" olarak adlandırılan şeyle ilgilenmek.

Konuşmaların bazıları büyük verilerin değeriyle ve bunun gerçekten de "trilyon dolarlık bir fırsat" olup olmadığına bakarken, diğerleri bireysel organizasyonların ve endüstrinin bir bütün olarak bu yeni tekniklerin yaygınlaştırılmasında karşılaştığı özel zorluklarla ilgilendi.

Bloomberg Enterprise Solutions'ın Küresel Başkanı Gerard Francis, Bloomberg LP, şirketlerin yapabilecekleri en önemli şeyin "onu kullanarak verilerin değerinden yararlanmak" olduğunu ve erişim, kalite ve akışına odaklanmak olduğunu öne sürerek güne başladı. bir kuruluş içindeki veriler. Daha sonraki panellerde, verilerle ilgilenen yeni araçların yanı sıra verilerle ilgilenecek kişileri depolama, yönetme ve bulma konusundaki belirli konular hakkında birçok konuşma yapıldı.

Şirket trendleri genel panelinde, MongoDB'nin kurucusu ve Eş Kurucusu Dwight Merriman, uygulama izinin veri katmanının "25 yıl içinde gördüğümüz en büyük bozulma ve değişime" sahip olduğunu söyledi. Şirketlerin 25 yıldan uzun bir süredir ilişkisel veritabanlarını kullandıklarını ve yığındaki en eski teknolojiyi yaptığını söyledi. Ancak şimdi, Hadoop ve yeni veritabanı teknolojileri gibi dosya tabanlı depolamada sıklıkla "NoSQL" olarak gruplanan şeyler var. Büyük Veri'nin “büyük” değil, veri şekli, veri türleri ve gerçek zamanlı veri ile başa çıkma hareketi ile ilgili olduğunu belirtti.

Google Şef Bilgi Sorumlusu Benjamin Fried, çoğu işletmenin "büyük veri" sorunu yaşamadığını kabul etti. Veri setlerinin birçoğu - İK verileri ve finansal veriler gibi şeylerle birlikte - o kadar büyük değil, dedi. Önemli olan verilerle düzgün bir şekilde başa çıkmak için ihtiyaç duyduğunuz esneklik.

Yine de Büyük Veri Nedir?

MarkLogic'ten Gary Bloom, Neustar'dan Mark Bregman, Streambase'den Mark Palmer ve Bloomberg Vipul Nagrath'ı

Bu kavram - bu esnekliğin veri boyutu kadar önemli olduğu - günün ilerleyen saatlerinde başka bir panelde yankılandı. Orada katılımcılar, şirketlerin uzun süredir veri ağırlıklı uygulamalarla uğraştıklarını kabul ettiler, ancak ölçek son zamanlarda değişti. Örneğin, Neustar'ın Kıdemli Başkan Yardımcısı ve Baş Teknoloji Şefi Mark F. Bregman, bazı şirketlerin şimdi değerli olduklarını ümit ederek "her şeyi" sakladığını belirtti.

MarkLogic'in CEO'su ve CEO'su Gary Bloom'a göre "Büyük, karmaşıklık olarak daha iyi tanımlanır". Birçok "büyük veri" uygulamasının birçok farklı türde veri içerdiğini, ancak "büyük veri" uygulamalarında normal olarak duyduğunuz ses türünün olmadığını belirtti.

Hava durumu verilerini, havaalanı verilerini, mekansal verileri, uçuş verilerini, havayolu rezervasyon verilerini ve sosyal verileri birleştiren bir hava trafiği örneğinden bahsetti. Heterojen verilerle başa çıkmanın, MongoDB'den Merriman'dan daha önce yaptığı açıklamaları hatırlatan geleneksel ilişkisel veritabanları ile gerçekten zor olduğunu, bunun ana bilgisayardan ilişkisel veritabanları dönemine geçtiğimizden bu yana "veritabanında ilk nesil değişim" olduğunu belirtti.

Birçok insanın sosyal medya verileri hakkında konuştuğunu belirtti, ancak gerçekten faydalanabileceğiniz bir şey alabilmek için gerçekten diğer verilerle birleştirilmesi gerekiyor. Bu verileri birleştirmek "gerçek değer" dir.

Elbette, bazı uygulamalar çok fazla bilgi içerir, Bregman heterojenliğin sadece bir faktör olduğunu söyler. Günde 8TB bilgi üretebilen DNS verilerini ve bu tür şeylerin Hadoop'ta saklanması gerektiğini belirtti. Bregman ve diğerleri, “veri büyüklüğü” söz konusu olduğunda, gerçek değerin ham verilerde olmadığını, bunun yerine kullanabileceğiniz bir şey olduğunda analitikte bulunduğunu belirtti. Paneldeki diğerleri kabul etti.

Streambase CEO'su Mark Palmer, pek çok uygulamada büyük miktarda veriyi akış analitiğiyle birleştirmenin önemli olduğunu söyledi; ve geleneksel ve gerçek zamanlı analitiği birleştirerek yaratılabilecek ekstra değerden bahsetti.

Ancak veri karmaşıklığının bir sorun olduğu konusunda hemfikir. Şimdi Streambase'in sahibi olan Tibco'yu işleten Vivek Ranadivé'nin, teknolojinin fan deneyimini nasıl geliştirebileceğini bulmak için bir basketbol takımı satın aldığını belirtti. Yine bir Twitter akışından başlayarak diğer veri türlerinden yararlanarak "farklı veri türlerini birleştirmek" hakkında konuştu.

Bloom, "gecikmenin, seyircinin gözünde olduğunu" söyleyerek hepsinin uygulamaya bağlı olduğunu belirtti. Bazı uygulamaların, veritabanında isabet etmeden önce, verileri kablodan ayrıştırması gerekirken, diğerleri istemez.

Bregman, bilgi işlem kaynaklarını taşımak yerine zor olmak yerine, artık verilerin taşınması zorlaşıyor. Birçok uygulama için "kilitlenmenin" verilerin yeri olduğunu belirtti. Verilerinizi genel bir bulutta sakladıktan sonra, taşımak çok zordur. Sonuç olarak, birçok kuruluşun kitlesel miktarda veriyi kendi lokasyonlarında depolamak istediğini, ardından hesaplama işlevselliği için farklı sağlayıcılara geçebileceğini söyledi. MarkLogic’in Bloom’undan bir borç para alırken, kurumların büyük miktarda veri sakladığınız bir yer olarak "veri merkezli bir veri merkezine" nasıl ihtiyaç duyabileceğinden bahsetti.

Büyük Veri 'Trilyon Dolarlık Bir Fırsat mı?'

MediaTech Capital Partners, Bibudera'nın Doug Cutting, Snaplogic'ten Gaurav Dhillon ve Bloomberg Link'ten Jason Kelly'den Porter Bibb

Diğer bir panel, MediaTech Capital Partners'ın Yönetici Ortağı Porter Bibb'in yorumunu yansıtarak büyük verilerin getirdiği fırsatları ve zorlukları tartıştı. Bibb, yeni teknikleri kullanan kurumlar için trilyon dolardan fazla fayda bulunduğunu söyledi. Bugüne dek, “bu teknolojinin sunduğu potansiyele dokunmaya bile başlamadık” dedi.

Bibb, kurumların veri stratejilerini iş stratejileri ile uyumlu hale getirmenin ne kadar önemli olduğu hakkında konuştu ve çoğu kurumsal ve hükümet sisteminin yanlış hizalandığından endişelendi.

Bu ilk oturumda, Andreessen Horowitz'den Scott Weiss, "Hadoop kriyojenik depoya benziyor" dedi, bu yüzden Bloomberg Link'in moderatörü Jason Kelly, ilk olarak Hadoop'un yaratıcılarından biri olan Cloudera Şefi Mimar Doug Cutting'a nasıl baktığını sordu. söyledi.

Bahsedilen Hadoop'un kesilmesi insanların daha fazla veriyle çalışmasına izin veriyor. Kuruluşların verileri banttan çekip çıkardıklarını, bunun yerine çevrimiçi ve kullanışlı olduklarını söyledi. Müşteriler "aktif bir arşiv" de 90 günlük verilerle çalışmaktan beş veya 10 yıllık verilere geçiyorlar.

Bu panelde, tüm bu verilerle ilgili spesifik konular ele alınmıştır. Snaplogic CEO'su Gaurav Dhillon, "veri yerçekimi" hakkında konuştu ve Hadoop'taki yerinde olan verileri almanın ve bunu buluta taşımanın mantıklı olmadığını söyledi. Ancak aynı zamanda, bulutta tıklama akışı analizi gibi veriler varsa, bu özelliği şirket içinde taşımak hiç mantıklı gelmiyor. Sonuç olarak, verilerin taşınmasında çok az sayıda "sınır ötesi fırsat" gördüğünü söyledi.

Cutting, veri bilim adamlarının gerçekten sıkıntısı olduğuna inanmadığını söyledi. Bunun yerine, matematik ve işletmeyi anlayan birçok insan olduğunu söyledi, ancak sadece araçları yok. Araçların temellerini ve birkaç hafta içinde ne yaptıklarını öğrenebilirsiniz, dedi, ancak işinizi anlamak yıllar alır. Ancak bunu anlayan birçok insan var.

Dhillon ayrıca hangi bilgilerin nerede depolanabileceğiyle ilgili mevzuat hakkındaki endişeleri de yansıtıyordu. Bazı dikey pazarların yerinde depolanması için bilgi gerektirdiğini, ancak verileri kendi menşei ülkesinden çıkarmak gibi şartlar konusunda endişeli olduğunu söyledi. Bunların çoğu, Snowden vahyleri ve veri ihlali gibi şeylere aşırı tepki verilmesi olduğunu, “yasama acelesinin asla iyi olmadığını” belirtti.

Snowden ve Target ihlallerinin müşterileri verilerden korktuğunu düşünüyor mu diye sordu, Cutting, birçok kişinin endişelendiğinden endişelendiğini söyledi. Birçok insan teknolojiden korkuyor, dedi ve endüstrinin, verilerinin kullanılmadığı fikrinde müşterileri rahatlatması bir başarısızlıktı. “Ürpertici olmak zorunda değilsiniz” dedi.

Sonunda, değerlemeler hakkında çok fazla tartışma yapıldı ve Bibb, Cloudera'ya yapılan son Intel yatırımının şirketin ne yaptığını doğruladığı için “büyük bir sorun” olduğunu öne sürdü. Oracle, IBM, Microsoft ve Amazon gibi diğer büyük şirketlerin tahmine dayalı analitik şirketlerinin etrafında dolaştığını söyledi. "Altın acele daha yeni başlıyor."

Dhillon, değerlemelerin sıhhi tesisat şirketlerinin büyük veri pazarına getirdiklerini yansıttığını söyledi. Böyle bir "çekme ve kürek çeken" erkeklerin iyi değerlere sahip olduğunu gördüğü için mutlu olduğunu söyledi, ancak değerlemelerin piyasada öne çıkmasından korktuğunu söyledi.

Bibb, büyük verilerin medyada aşırı pozlandırılmış olabileceğini düşündüğünü, ancak “c-suite” de (CEO'lar, CFO'lar ve diğer üst düzey yöneticiler anlamına gelmediğini) kötüleştiğini söyledi. Henüz keşfedilmemiş büyük bir ekonomik potansiyele sahip olduğunu söyledi. ."

Büyük veri: zorlu bir 'trilyon dolarlık fırsat'