Bu savunucular verilerimizin kaybolmamasını sağlamak istiyor

Bu yılın Mayıs ayının sonlarında, 45. ABD Başkanı'nın açılışından tam beş ay sonra, yeni yönetimin bilim ve iklim değişikliğine karşı tutumu ile ilgilenen bir grup insan kendi özel yıldönümünü kutladı.

Kuzey Teksas Üniversitesi kampüsünden uzak olmayan bir yerde, Dallas'ın kuzeyindeki ovalarda, bir dizi düzine insan federal iklim ve çevresel veri setlerinin kopyalarını tanımlamak ve indirmek için Data Rescue Denton'da bir araya geldi. Bu hackathon tarzı toplantılar, açılıştan hemen önceki günlerde büyük ilgi gördü; Denton, Ocak ayından bu yana 50. olaydı.

Başlangıçta yeni yönetimin iklimi ve diğer çevresel verileri silebileceği ya da gizleyebileceği endişesiyle örgütlenen veri kurtarıcılarının en büyük korkuları, Trump Beyaz Saray'ın ilk eylemlerinden biri iklim değişikliği sayfalarını web sitesinden silmek olduğunda gerçekleşiyor gibi görünüyordu. Daha sonra, ABD Tarım Bakanlığı, hayvan refahı denetim raporlarını web sitesinden çıkardıktan sonra, 1.771 sayfa tamamen yeniden düzenlenmiş materyalle Ulusal Coğrafi Bilgi Özgürlüğü Yasası talebine cevap verdi.

Herkes merkezi data açık veri portalı üzerinden data.gov'daki 153.000'den fazla federal veri setine erişebilir. Ancak bu, devlet bürokrasisinin bulutsusunda yer alan verilerin sadece bir bölümüdür, bir sunucudaki daha küçük olan kesirlere aldırma.

Stanford Üniversitesi Kütüphanesi'ndeki Federal Hükümet Bilgi Kütüphanecisi Jim Jacobs, "Hükümet bilgilerinin yaklaşık yüzde 20'si bir yerde web üzerinden erişilebilir" dedi. “Bu mümkün olmayan oldukça büyük bir yığın. Her ne kadar ajanslar kendi wikilerine ve içerik yönetim sistemlerine sahip olsalar da, bir kısmıyla ilgili öğrendiğiniz tek şey, eğer birileri FOIA'larsa.”

Elbette, pek çok bilgi gerçekten ele geçirildi ve şu anda hükümet dışı sunucularda bulunuyor. Data Refuge Arasında Olaylar ve 2016 Dönem Sonu Taraması gibi projeler, 200 TB'ın üzerinde hükümet web sitesi ve verileri arşivlendi. Ancak kurtarma örgütleri terabayt hükümet kurumu bilim verilerinin tam kopyalarını alma çabalarının uzun vadede gerçekçi bir şekilde sürdürülemeyeceklerini görmeye başladılar; Titanik'i bir yüksükle kurtarmak gibi olacaklar.

Her ne kadar Data Rescue Denton, türünün son organize olaylarından biri olmasına rağmen, toplu çaba daha geniş bir topluluğun daha fazla devlet verisinin bulunabilir, anlaşılır ve kullanışlı hale getirilmesi için bir konserde çalışmaya teşvik etti.

Kütüphanelere Bakmak

Pennsylvania Üniversitesinde Bethany Wiggin, Veri Kurtarma olaylarının yaratıcısı olan Veri Sığınağı hareketinin merkezinde yer aldığı Çevresel Beşeri Bilimler Penn Programının yöneticisidir. Odak şimdi, yerel merkezli, periyodik bölümler yerine uzun vadeli çabalar için ulusal çerçevelerden yararlanmaya doğru yöneldiğini söyledi.

Wiggin, özellikle araştırma kütüphaneleri arasında “Kurtarma-veri olaylarını çeşitli yerlerde ortaya çıkaran ve ölçeklendirilebilecek bir şey olduğunu fark ettik” dedi. “Ancak bu çabalar biz başlamadan önce gerçekleşti. Data Refuge’ın gücü bu bağlantıları kalınlaştırmak, uzun süredir devam eden, yavaş hareket eden projeleri katalize etmek ve ne kadar önemli olduklarına ışık tutmaktı.”

Wiggin, son zamanlarda araştırma kütüphanelerinin, kütüphane organizasyonlarının ve kütüphanelerin bilgiye erişimdeki geleneksel rolünü genişletmek için katalize edilen açık veri gruplarının yeni bir ortaklığı olan Kütüphaneler + Ağı'nın öncülüğünde yardımcı olmaktadır. Katılımcılar arasında, Ulusal Arşivler ve çeşitli federal büroların baş veri görevlileri gibi geniş kapsamlı kuruluşların katılımı ve işbirliğine sahip olan Stanford Üniversitesi araştırma kütüphanesi, Kaliforniya Dijital Kütüphanesi ve Mozilla Vakfı bulunmaktadır.

Örneğin, bir proje, Jacobs'un birkaç yıldır koordine ettiği LOCKSS (“birçok kopya işin güvenliğini koruyor”). Federal Depozito Kütüphanesi Programı olarak bilinen 200 yıllık kütüphaneler ağı ile aynı prensibe dayanmaktadır; bu kütüphaneler, ABD Devlet Baskı Bürosu (GPO) tarafından yayınlanan resmi yayın havuzlarıdır.

LOCKSS, aksine, bu sistemin şimdiye kadar işbirliği ile GPO'dan yayın toplayan 36 kütüphaneden oluşan özel bir dijital versiyonudur. Dijital bilgilerin geniş fiziksel dağılım göstererek silmeye veya kurcalanmaya karşı nasıl korunabileceği için bir model.

Jacobs, "İçeriği kontrol edemediğiniz sürece korumayı garanti edemezsiniz." Dedi. “Depolayıcı kütüphaneleri son 200 yıl boyunca önemli ve yararlı kılan şeylerin bir kısmı, hükümetteki hiç kimsenin 1500 kütüphaneye gitmeden ve 'Evet, bu sayfayı değiştir.' Diyerek bir belgeyi düzenleyememesiydi.”

LOCKSS yazılımı, içeriğin önbelleklerini bit düzeyinde kontrol eder ve bunu, Jacobs'un bozulmuş dosyaların onarımı sırasında uzun süreli korumanın sağlanmasına yardımcı olduğunu söyleyen diğer kütüphaneler tarafından tutulan içerikle karşılaştırır.

Libraries + Network ile bir başka ortak olan John Chodacki, California Üniversitesi sisteminin 10 kampüsünün tümüne hizmet veren sanal bir bilgi merkezi olan California Dijital Kütüphanesi'nin küratörlüğünü yürütmektedir. Data.gov'ın baş mimarı olan Science and Society for Code geliştiricisi Max Ogden ve Philip Ashlock ile çalışan Chodacki, odaklarının data.gov'u iki yönlü bir cadde olarak kullanmaya odaklandığını söyledi.

İlk olarak, data.gov dosyasının bir kopyasını alarak ve güncellemeleri kontrol eden komut dosyalarını izleyerek, datamirror.org'un dışına yerleştirerek veri kurtarma işleminin kendisini çok daha verimli olabileceğini gösterdiler. Ardından Chodacki ve ortak çalışanlar, aynada katkıda bulunan veri kümelerinin ve meta verilerin, kurumdaki varolan data.gov iş akışlarına yansımasını ve aynadaki saplama sayfalarını besleyip besleyemeyeceğini aramaya başladı.

Data.gov'da makine tarafından okunabilen verilerin yayınlanmasını zorunlu kılan 2013 Obama yürütme emri uyarınca, ajanslar hala bu portalda listelenen kayıtların oluşturulmasından sorumlu olacaklardır; Chodacki ve Ogden'in fikri, kitle kaynağının önerilen veri setlerinin iş yükünü yaymaya yardımcı olduğu yönündedir.

Chodacki, "Tüm ekosistemi kopyalamamız gerekmiyor." Dedi. “Federal hükümet ve bu kurumlar, büyük veriler hakkında konuşmanın hiç kimseye göre çok daha güçlü bir şekilde ele alınmasından çok daha uzun süredir verilerle ilgileniyor.”

Kamu Özel Sektör Ortaklıkları

Maliyet meselesi, ajansların halk için hangi veri setlerinin halk için en değerli olduğunu nasıl belirleyebildiğine ve daha sonra devlet portalı üzerinden meta verilere veya gerçek veri setlerine bağlantıların yayınlanmasına ilişkin açık bir sorundur. Obama yürütme düzenini yasaya göre kodlayacak olan Senato'da bulunan AÇ Devlet Verileri Yasası tasarısının bir Kongre Bütçe Ofisi (CBO) raporu, tam uygulamasının 2018-2021 arasında 2 milyon dolara mal olacağını tahmin ediyor.

CBO, hükümetin para açısından, harcamalarda esasen gerçek bir artış olmadığını ifade etti.

Bununla birlikte, verimlilik, Ulusal Okyanus ve Atmosfer İdaresi'nde Ed Kearns'ın Amazon Web Services ve Google dahil olmak üzere özel ortaklarla birlikte denediği farklı bir sorudur. NOAA'nın baş veri sorumlusu Kearns, kamuoyunun kullanılabilirliğini ve NOAA verilerinin kullanımını artırmanın Büyük Veri Projesinin temel bir amacı olduğunu söyledi.

Şirketler hangi veri setlerini istediklerini belirlediler ve NOAA kamuoyuna hiçbir ek ücret ödemeden bunları geçti. Kearns, NOAA'nın sahip olduğu herhangi bir şeyin masada olduğunu söyledi, ancak beş yıllık ortaklığın amacı, tüm NOAA verilerini buluta çıkarmak değil, sadece stratejik parçalar.

Bu veri kümelerini özel şirketlerin bulut hizmetlerinde barındırmak, büyük veri kümelerinin federal kurumlardan aktarılması için hala standart olan 80'lerin tarzı FTP erişimine çeşitli avantajlar sunar. Başlangıç ​​olarak, NOAA'nın veri kümeleri çok büyük olma eğilimindedir - ajans dünyanın okyanuslarını, atmosferini, güneşini ve uzay havasını izler ve bazen toplu teslimat için haftalar veya aylar gerektirir.

Bunun bir örneği, ajansın yüksek çözünürlüklü NEXRAD Seviye II Doppler radar arşividir. Amerikan Meteoroloji Derneği tarafından Mayıs ayında yayınlanan bir araştırmaya göre, 270 terabaytlık NEXRAD arşivinin tamamını Ekim 2015'te tek bir müşteriye devretmek 203.310 $ maliyetle 540 gün sürdü. NOAA Amazon ve Google ile buluta çalışmadan önce arşivin tam kopyası dış analiz için hiç mevcut değildi.

Deney, kullanım artışlarıyla birlikte bazı ilginç erken sonuçlara da sahiptir. NOAA’nın hava durumu ve tahmin web sayfaları, hükümet siteleri arasında zaten en yüksek trafik seviyelerinden bazılarını alıyor, ancak Google yakın zamanda bir iklim ve hava durumu veri kümesini, büyük boyutta bir miktar hakkında, BigQuery veritabanına ekledikten sonra, şirket bu veri setinin 1.2 petabaytını sunduğunu bildirdi 1 Ocak’tan 30 Nisan’a kadar - NOAA sunucularından benzer bir zaman diliminde hiç olmadığı kadar erişilmiş.

Kearns, "Google, yepyeni bir izleyici kitlesine açabildi." Dedi.

Sadece yağmur ve mevsim sıcaklıkları değil. Artık Büyük Veri ortakları aracılığıyla erişilebilen veri kümeleri arasında balıkçılık bilgileri, deniz havası ve IBM tarafından barındırılan bir katalog NOAA merkezlerinden güncel, tahmini, tarihi ve coğrafi veri kümelerini listeleyen bir katalog yer alıyor. Gelecekteki veri setleri ekosistemler ve balıkçılık genomikleri hakkında bilgiler bile içerebilir.

Ancak, tasarım gereği ortaklık, ortakların en çok istedikleri şeyi seçmelerine izin veriyor; bu da gizliliği yüksek, ancak potansiyel olarak yüksek değerli veri kümelerini gün ışığında görmeme riskini taşıyor. Kearns, neyin sonunda değerli olarak tanımlanabileceğini söylemek için çok erken olduğunu söyledi.

“Bu verilerle neler yapabileceğinin ölçeği ve erişimi bizim için şaşırtıcı” dedi. “Tüm olası kullanımları hayal edemiyoruz.”

Daha küçük bir ölçekte, Philadelphia Şehri, halkın en yararlı olacağını belirten veri kümelerini yayınlamaya yönelik özel bir kuruluşla çalıştı. Bir kentin büyüklüğü, federal bir varlıktan daha günlük operasyonel manevra kabiliyeti sunsa da, Philly'nin modeli, henüz yayınlanmamış veri kümelerinin yayınlanmasının stratejisi için bir yaklaşımı temsil ediyor.

Veri görselleştirme konusunda uzmanlaşmış Philly merkezli bir yazılım firması olan Azavea, kentte kar amacı gütmeyen kuruluşların kullanımına ilgi duyabilecek yayınlanmamış veri setlerinin bir listesini geliştirmek için şehrin baş bilgi memuru Tim Wisniewski ile işbirliği yaptı. Wisniewski ve Azavea, hem kentin çevrimiçi meta veri katalogunu hem de listeyi geliştirmek için şehir bölümlerinden gelen girdileri kullandı. Azavea ve diğer ortaklar daha sonra Philadelphia kar amacı gütmeyen kuruluşlara bir liste bıraktı ve kar amacı gütmeyen kuruluşların tercih ettikleri veri setlerini nasıl kullandıkları konusunda öne sürdüğü projelerde halkın oy kullanabileceği bir yarışma olan OpenDataVote'u başlattı.

Son kazananlar, kar amacı gütmeyen programların okullardaki etkisini ölçmek için Philadelphia School District'e bağış yapan şehir verilerini kullanmak için kar amacı gütmeyen MicroSociety'nin eğitimle ortaya koydukları bir öneriydi.

Wisniewski, "Bu şehrin kar amacı gütmeyen kuruluşunun belirli bir veri kümesine ilgi duyduğunu söyleyebiliriz çünkü bununla bir şeyler yapabilirler ve bu birçok insanın onları desteklemek için oy kullandığı" dedi. “Bize katı bir kullanım davasıyla departmanlara gitmemize izin veriyor, elimizden geleni yapmak yerine, hey, sadece bu verileri serbest bırakmak.”

Eski Veriler ve Yeni

Ancak, zaten mevcut olan verilere çok fazla erişim olsa bile, yeni politikalar ve finansman direktifleri verinin kendisinin artık üretilmediği anlamına geldiğinde ne olur? Bu gerçekten endişe verici, dedi. Başkan Obama’nın Çevre Koruma Ajansı’nın baş bilgi sorumlusu olarak görev yapan ve şimdi California’nın Santa Clara İlçesi’nde IT başkanlığını yürütüyor.

Dunkin, "İnsanlar eski veriler için endişeleniyor, ancak beni en çok endişelendiren şey, yeni verinin daha önce olduğu gibi aynı oranda sunulmaması veya üretilmemesidir." Dedi.

Önerilen 2018 federal bütçenin Science dergisi tarafından yapılan bir analizinde , birçok devlet kurumu bütçe önerildiği şekilde geçirilirse araştırma bütçelerinde önemli indirimler gerçekleştireceğini belirtti. Ulusal Sağlık Enstitüleri'ndeki kabaca yüzde 22'lik bir kesim araştırma üniversitelerine yapılan ödemelere ayrılacaktı; NASA bütçe talebi, sera gazı emisyonlarını ve diğer yer bilimleri programlarını izleme girişimlerini ortadan kaldıracaktır. NOAA'daki iklim programları da benzer düzeylerde kesintilerle kapatılabilir.

Görev süresi boyunca, EPA, topluluğunun sağlığını ve nasıl tepki vereceğini anlamak için herkesin kullanabileceği bir veri toplama aracı oluşturmaya çalışıyordu. Kötü hava günü mü? Dışarı çıkma. Kirli yoldan aşağı akışı var mı? Çocukları uzak tut.

Dunkin, “Beklentim geriye doğru hareket edecek” dedi. "Yanılıyor olabilirim, ancak verileri kullanıma sunmayacağımızı söylerseniz, mantıklı sonuç, kamuya açık kişilerin de mevcut olmayacak veya oluşturulmayacak olan veri kümeleridir."

Data Refuge's Wiggin, devam eden veri yayınları talep etmek için daha fazla insanı katalize etmesini ve federal hükümet genelinde mevcut veri toplama programlarını sürdürmek için bir destek alanı yaratmasını umduğunu bu konuda bir hikaye anlatımı projesi üzerinde çalışıyor. "Kasabamızdaki Üç Hikaye" anlatısı, federal verilerin beklenmedik yerlerde, ilk önce Philadelphia'da, daha sonra da ülke genelinde diğer yerlerde olan gizli etkisinin canlandırılmasını sağlayacak.

Wiggin, "Bir sonraki aşamaya geçerken Veri Sığınağı hareketinin önemli bir parçası, insanların federal olarak üretilen verilerin yaşamlarında ne kadar yaygın kullanıldığını anlamalarına yardımcı olmaktır" dedi. "İklim veya sağlık veya kamu güvenliği olarak adlandırılsanız da, hala federal veriler. Topluluklarda, belediye binasında, polis teşebbüslerinde, orduda. Verinin ne kadar önemli olduğunu hatırlamaya devam etmeliyiz."

Kaynaklar:

• EPA Çevresel Veri Kümesi Geçidi: Çevre Koruma Ajansının meta veri portalı.
• Açık Veri @ DOE: Enerji Bakanlığı'nın açık veri portalı.
• USDA Ekonomik Araştırma Hizmeti Veri Portalı
• NOAA Büyük Veri Kaynakları: NOAA tarafından oluşturulan verileri barındıran Büyük Veri ortaklarının platform sayfalarına bağlantılar.
• Kuzey Teksas Üniversitesi: Siber Mezarlık: Eski, modası geçmiş veya kepenkli hükümet web sitelerinin bir arşivi.
• Çevresel Veri ve Yönetişim Girişimi Arşivleme Projesi Sayfa: Devlet verilerini keşfetme ve arşivleme ile ilgili araçlar, kodlar ve uygulamalar.
• İnternet Arşivi Wayback Makinesi
• İnternet Arşivi: Wayback Makinesi'nde Sayfalar Nasıl Kaydedilir: Sayfaları arşivlemeye aday göstermenin altı yolu.
• California Dijital Kütüphanesi: Dönem Sonu Web Arşivi: ABD Sonu Taramalarından 2008'den günümüze kadar kaydedilmiş ABD Hükümeti web siteleri koleksiyonu.
• FreeGovInfo.info: Eyalet ve federal düzeydeki veri portalları hakkında bilgi içeren geniş kapsamlı içerik ve açık veri konularındaki haber öykülerinin arşivleri.
• İklim Aynası: Gönüllü toplanan iklim veri kümeleri topluluğu.

Bu hikaye ilk önce PC Magazine Digital Edition'da yayınlandı. Daha özgün özellik hikayeleri, haberler, incelemeler ve nasıl yapılır!