Veri gölleri açıklandı

Büyük Veri devrimi, işletmelerin çalışma şeklini yeniden tanımladı; veri herşeyin temelini oluşturur. Sadece Apache Hadoop ve Spark gibi açık kaynaklı araçlar değil, aynı zamanda çok sayıda veriyi gerçek zamanlı olarak toplamayı, işlemeyi ve kaydetmeyi kolaylaştırdı, aynı zamanda iş zekası (BI) ve veri görselleştirme araçları analiz yüzeyini çizmemize yardımcı olmaya başladı ve bu verileri temel iş kararlarını bilgilendirmek için dönüştürmek.

Ne kadar Büyük Veri ve İş Zekası teknolojisi ne kadar geliştiyse de, hala analiz etmek için doğru noktaları bulmak için hala hiç bitmeyen bir samanlıkta iğneler için dalış gibi hissettiren bu kadar büyük miktarlardaki sürekli bileşik veri ile uğraşıyoruz. Çözüm? Samanlığı yeniden tasarlayın.

Verileri daha ölçeklenebilir bir şekilde yapılandıran ve denemeyi kolaylaştıran yeni bir bulut tabanlı kurumsal mimari türü olan veri göllerini girin; sert şemalara ve silolara kilitlenmekten çok keşif ve manipülasyona daha açık hale getirir. Forrester Research’ün Kurumsal Mimari Araştırmacısı Nasry Angel, işletmelerin neden veri göl mimarisini benimsediklerini açıkladı.

Angel, “Klişe gibi geliyor, ancak etkili bir modern veri ortamı düşündüğünüzde, çok daha deneysel” dedi. “Hızlı ve hızlı bir şekilde öğrenebilmeniz gerekir. Geçmişte, özellikle bir depodaki verileri yönetmek, ondalık basamağa kadar tamamen kalite ile ilgiliydi; her şeyin tamamen doğru ve doğru olduğundan emin olmak içindi. gerçeğin versiyonu.Piksel-mükemmel bir rapor oluşturmak ve 5.000 kullanıcıya patlatmak.

“Bugünlerde, daha bilimsel bir süreç. Test etmek istediğiniz veriler hakkında bir hipotezle giriyorsunuz ve gitmeden önce farklı şeyler denemek ve bir şeyler üretmek için verilerle oynamak, karıştırmak ve eşleştirmek mümkün. "

Veri Gölünde Neler Var?

Bir veri gölü bir depolama deposudur. Her ne kadar, bir veri ambarından veya “data mart” dan farklı olarak Angel, veri göllerinin şemalara dayanan bir veri ambarının sabit, yapılandırılmış ortamından ziyade çoklu düğümlere dağıtıldığını açıkladı (aşağıdaki Infographic).

“Bir veri gölü, verileri okuduğunuzda bir şema yapmanızı gerektiren bir veri ambarına karşı yazarken bir şema uygulamanıza olanak tanır. Bu nedenle, temel olarak, bir veri ambarı, içeriğini anlamadan önce verileri modellemenizi gerektirir. Gerçekten mantıklı değil, "dedi Angel.

Kaynak: JustOne Database, Inc. (Tam görünümü görmek için yukarıdaki grafiğe tıklayın.)

"Genellikle, bir depoda, en iyi veri modelleri olduğunu düşündükleri şeylerle gelen BT uzmanlarına sahipsiniz ve verinin nihai kullanıcıları değiller. Verimliliği ve işletme değerini nasıl engellediğini hızlı bir şekilde görebilirsiniz." . “Sonuçta, siz ve iş kullanıcıları verilerin yapısı hakkında karar verenler olmanız gerekir ve bir veri gölünde önce orada ne olduğunu keşfedebilir ve sonra en iyi organize etmek için bir şema çözebilirsiniz.”

Veri gölleri tipik olarak Hadoop üzerine kuruludur ve Hortonworks ve MapR gibi kurumsal Hadoop dağıtımları veri göl mimarileri sunar. İşletmeler, Amazon Web Hizmetleri (AWS) ve Microsoft Azure de dahil olmak üzere Hizmet Olarak Altyapı (IaaS) bulutlarını kullanarak veri gölleri oluşturabilir. Amazon'un Elastik Hesap Bulutu (EC2) veri göllerini desteklerken, Microsoft gerçek zamanlı verileri depolamak ve analiz etmek için özel bir Azure Data Lake platformuna sahiptir. Angel, veri göllerinin, işletmelerin kendilerine makul bir güvenle yatırım yapmaya başlayabilecekleri Büyük Veri alanı içindeki noktaya kadar olgunlaştığını söyledi.

Angel, “Birkaç yıl önce Hadoop öfkelenmişti. Şimdi Hadoop'un metalaştırıldığı bir noktaya geliyoruz” dedi. “Soru Hadoop olmasa değil, ne zaman olacak ve onunla ne yapacaksın? Verileri bir veri gölü gibi ortak bir yere ulaştıktan sonra Hadoop üzerine ne tür uygulamalar oluşturacaksınız? Bu noktada, verileri, belirli iş gereksinimlerinizi karşılayacak uygulamalar geliştirmek için kullanmaktır. ”

Veri Deposunun Üzerine Bina

Big Data ile ilgili en heyecan verici kısım, kilidini açma ihtimalinin hepsi. Farklı veri kombinasyonları ve iş sonuçlarıyla oynamak ve denemek için bir veri gölü kurduğunuzda, yenilikçi analiz tekniklerini üst üste koymaya başlayabilirsiniz.

Makine öğrenimi (ML) algoritmaları zaten bulut altyapısının dokusunun bir parçası haline geliyor ve araştırmacılar, karmaşık kalıpları tanımak için makineleri ve veri sistemlerini eğitmek için sürekli olarak derin öğrenme tekniklerini ve sinir ağlarını geliştiriyorlar. Tahmine dayalı analitik, giderek daha fazla veri aracı ve kurumsal platformda oluşturulmakta, müşteri ilişkileri yönetimi (CRM) için tahminsel puanlama ve otomatik bölümlendirmeden finansal piyasa trendlerini belirlemeye ve makinelerde mekanik arızaları önlemeye kadar her şey için kullanılmaktadır.

Tüm bunlar, işletmenizin hangi veri deposunda olursa olsun gereksinimlerine göre beslenip ölçeklendiği durumlarda gerçekleşir. Angel, veri göllerinin kuruluşların işleyiş şeklini değiştirdiğini gördüğü bazı gerçek dünya kullanım durumlarından bahsetti.

“Farklı dergilerden oluşan bir portföyü olan bir yayıncı şirketle çalışıyordum - avukatlar için bir yayın var, bir başka muhasebeciler için, bir başka danışman için vb. Silo, "diye açıkladı Angel.

“Böylece tüm verileri bir depodan çıkarıp veri gölüne koyduk ve veri gölü silolar arasında görmelerini sağladı. Verileri araştırıp veri keşfi yapabildiler ve tüm bu farklı yayınlarda bunu fark ettiler, Her dergiden müşteriler siber güvenlik ile ilgilendiler. Siber güvenlik okurları bütün bu farklı rollerde güçlüydü. Öyleyse ne yaptılar? Siber güvenliği yıllık konferanslarının teması haline getirdiler. "

Angel'ın bahsettiği bir başka örnek e-ticaret. Bir çevrimiçi sanat perakendecisi olan başka bir müşteri, bir veri gölüne bir ton bilgi atıyor ve bunu yalnızca bir depo olarak değil, iş görüşlerini bir araya getirmek için bir çeşit tuval olarak kullanıyordu. Perakendeci işlem verilerini (siparişler, faturalar, ödemeler vb.), Tıklama verilerini (her web sitesi ziyaretçisinin tıklama ve sayfa sıralaması) ve perakendecinin veri deposundan gelen verileri göle getirdi ve alışveriş sepetiyle mücadele etmek için konserde kullandı terk ve dönüşümler.

Angel, "Bir veri gölünün tepesine inşa etmek ve bunu karmaşık iş görüşlerini formüle etmek için kullanmak istiyorsun." Dedi. "Sanat perakendecisi, bir müşterinin tıklama akışına bakabiliyor ve tıklamaları müşteri profilleriyle eşleştirebiliyor, daha sonra müşterinin geçmişte ne satın aldığını görmek için işlemsel verileri kullanabiliyor ve bu bilgileri çok özel e-posta kampanyaları yayınlamak için kullanıyordu. Onların arabası, perakendeci iki saat sonra takip edebilir ve 'Bu Picasso'yu kontrol ettiğinizi gördük; işte tekrar bakmak istiyorsanız işte bağlantı.'

Veri gölleri evrensel olarak her türlü iş kullanımı vakasında uygulanabilir. Ancak, mimarlığa geçmeyi düşünen Baş Teknik Görevlisi (CTO) veya Baş Bilgi Güvenliği Görevlisi (CISO) için Angel, veri ambarlarının henüz eskimiş değil, eski olduğunu vurguladı. Çoğu kurumsal kuruluş için, ister bulut sağlayıcı ister özel Hadoop dağıtımı kullanıyorsanız, işletmelerin ikisine de ihtiyacı var.

Veri gölleri, veriyi belirli bir şemaya uygunluk sınırlarını ortadan kaldırarak benzersiz kavrayışlara erişmenizi sağlar ve AWS gibi ucuz ve esnek bir bulut depolamasının kullanılması için ölçeklendirmek ve düşürmek için çok daha düşük toplam sahip olma maliyeti ile birlikte gelir; Aslında kullandığınız işlem gücü için ödeme. Bir veri ambarının işletilmesi daha pahalıdır ve sonuç olarak BT uzmanlarının hangi verilerin gelip geleceği konusunda daha seçici olmasını sağlar. Ancak bir işletmenin en önemli kritik verileri için bu kötü bir şey değil.

Angel, "Veri ambarının güvenlik açısından avantajları ve veri yönetimini kontrol etmek için çok kolay bir araç olması, " dedi. “Öyleyse hala en hassas bilgilerinizi depoda, görev açısından en önemli şeylerde tutmak istiyorsunuz. Ancak yeni iş fırsatları ve gizli öngörüleri keşfetmeye gelince, bir veri gölünden yararlanmak istiyorsunuz.”