Big Data (Büyük Veri) Nedir? Big Data Teknolojileri Nelerdir?

Aylık olarak eline ne kadar para geçeceğini bilmezsen, ya ihtiyaçlarını gerektiği gibi karşılayamazsın ya da borca batarsın değil mi? Büyük veriyi de bu şekilde düşünebilirsin. Eğer verilerini ölçemezsen onları yönetemezsin. Peki, sence büyük veri nedir; ne değildir?

Küçük bir kitapçı dükkanın olduğunu düşünün. Bir gün, bir hafta, hatta bir ay içinde hangi kitapların satıldığını rahatlıkla takip edebilirsin. Peki, söz konusu daha büyük bir kitapçı zinciri ve koca bir yığın halindeki gün sonu raporları olduğunda ne yapabilirsin? Dükkanına gelen her müşterinin hangi kitabı satın aldığını ve o kitaba bağlı olarak hangi kitaplardan hoşlanabileceğini bilebilir misin? 

Hadi, örnek olarak çevrim içi bir kitap platformu olarak kurulan Amazon’u inceleyelim: Amazon, kullanıcılarının yalnızca satın aldığı kitabı değil, inceledikleri tüm kitapları görebiliyordu. Kullanıcıların tıkladıkları reklamlar, gezdikleri yazarlar arasındaki benzerlikler veya kitaplara yaptıkları yorumlar… Evet, doğru tahmin! Amazon’un ilk başarısı, gelişmiş algoritmasından ve elindeki verileri doğru şekilde yönetmesinden kaynaklanıyordu. Amazon bu başarıya “büyük veriyi yönetme” gücüyle sahip oldu. Sen de bu güce ortak olmak istemez misin?

Big Data Nedir?

Big data (büyük veri), geleneksel veri işleme teknolojilerinin yetersiz kaldığı, çok dağınık kaynaklardan çok yüksek frekansta veri toplanması anlamına geliyor. Büyük veri, çok çeşitli ve hacmi hızlıca artan verileri kapsıyor. Dolayısıyla büyük veriler, gün içinde akışı hiç kesilmeyen, yeni kaynaklardan elde edilen çeşitli veri kümelerinden oluşuyor. Peki, bu karmaşık ve dağınık kaynaklar neler?

Büyük veride işlenen dağınık ve karmaşık kaynaklar arasında sosyal medya paylaşımları, bloglar, fotoğraflar, videolar, ağ günlükleri ve log dosyaları gibi birbirinden farklı veri yığınları yer alıyor. Bu verilerin anlamlı ve işlenebilir bir biçime dönüştürülmesi sayesinde şirketlere değer katacak bilgilere ulaşılabiliyor.

Big Data Teknolojileri Nelerdir?

Büyük verinin birden fazla kaynaktan meydana geldiğine değindik. Peki, büyük veri teknolojileri neler olabilir? Big data teknolojileri verinin depolanması, veri madenciliği, veri analizi ve veri görselleştirmesi olmak üzere dört farklı kola ayrılıyor.

Veri Depolama

Veri depolama, verilerin saklandığı ve yönetildiği teknolojileri kapsıyor. Kişilerin ve diğer teknolojilerin veriye erişimi bu sistem üzerinden sağlanıyor. Veri saklama teknolojisine örnek olarak büyük veri kümelerini depolamak ve analiz etmek için geliştirilen Hadoop örnek olarak gösterilebilir. Açık kaynaklı bir sistem olan Hadoop, büyük verilerin daha kolay çalışabilmesi ve saklanabilmesi için yüksek işlem gücü ve çok sayıda eş zamanlı görevleri yönetme yeteneğine sahip. Hadoop’un yanı sıra Mongodb ve Cassandra sistemleri de veri deposuna örnek olarak verilebilir.

Veri Madenciliği

Veri madenciliği ham veriden kullanılabilir bilgiler ve trendler çıkarmak için kullanılıyor. Veri madenciliğine örnek olarak Presto verilebilir. Presto’yu kısaca, SQL sorgulama dilini kullanan bir sorgulama motoru olarak tanımlamak mümkün. Bu sorgulama motoru Hadoop, Cassandra, Kafka vb. büyük veri kaynaklarının sorgulanmasına ve sorgu içinde birden fazla veri kaynağının kullanılmasına izin veriyor.

Veri Analizi

Veri analizi, verinin temizlenerek iş kararlarının belirlenmesi ve takip edilmesi için uygun şekilde dönüştürülmesini ve modellenmesini sağlıyor. Veri analizi teknolojisini sunan isimler arasında Kafka, Splunk, Spark vb. yazılım platformları yer alıyor. 

Veri Görselleştirilmesi

Veri görselleştirmesi, verinin grafikler sayesinde görsel bir dile dönüştürülmesi anlamına geliyor. Bu sayede verilerdeki bilgiler, ortaya çıkan trendler ve düşüşler kolayca görülüyor ve yorumlanabiliyor. Bu teknolojiye, verilerin görselleştirilmesini sağlayan Tableau, Plotly, Looker vb. yazılım programları örnek olarak gösterilebilir.

Ayrıca bakınız; Yapay Zeka Nedir?

Big Data Özellikleri Nelerdir?

Geleneksel yöntemlerle işlenmesi neredeyse imkansız olan büyük, hızlı ve karmaşık verileri ifade eden büyük veriyi daha net şekilde açıklamanın yolu, sahip olduğu özelliklerden geçiyor. Büyük verinin özellikleri, İngilizce baş harflerinden hareketle 5V (variety, velocity, volume, veracity ve value) olarak özetleniyor.

Volume (Veri Büyüklüğü – Veri Hacmi)

Veri hacmi, big datada işlenen verinin büyüklüğünü ifade ediyor. Büyük verilerle yüksek hacimli ve yapılandırılmamış verileri işlemek gerekiyor. Bu veriler arasında Twitter’daki veri akışları, bir web sayfasında gerçekleştirilen tıklamalar veya mobil uygulamalardan gelen çeşitli kaynaklar bulunuyor. Bazı şirketler onlarca terabayt veriyle uğraşırken, bazı şirketlerde bu sayı yüzlerce petabayta çıkabiliyor.

Velocity (Hız)

Hız, verilerin alınma veya eyleme geçme hızını gösteriyor. Günümüzde pek çok akıllı ürün gerçek zamanlı verileri topluyor ve bu verileri gerçek zamanlı olarak değerlendirip kullanıcısına istediği bilgiyi sunuyor. Örneğin; akıllı tartılar sayesinde anlık olarak vücuttaki yağ miktarı hakkında bilgi edinilebiliyor.

Variety (Çeşitlilik)

Çeşitlilik, kullanılabilecek pek çok veri türünü ifade ediyor. Büyük verilerin her geçen gün artmasıyla birlikte yapılandırılmamış veya yarı yapılandırılmış veri türleri de artıyor. Metin, ses ve video gibi verilerden anlam çıkarmak ve ana veriyi destekleme amacıyla kullanabilmek için bu verilerin işlenmesi gerekiyor.

Verification (Doğrulama)

Doğrulama sayesinde verilerin ne kadarının güvenilebilir olduğu anlaşılıyor. Bazı verilerin gerekli güvenlik seviyelerinden geçmesi ve yalnızca doğru kişilerle paylaşılması gerekiyor. İşte bu işlemler, büyük verinin doğrulama özelliği sayesinde gerçekleştiriliyor. 

Value (Değer)

Big data özelliklerinin ilk dört adımını tamamlayan verilerin, son aşamaya gelindiğinde şirket için bir değer yaratması bekleniyor. İşlenen veriler kullanıcıların karar verma sürelerindeki etkileri, anlık iletilebilir olmaları, kolay ulaşılabilir olmaları vb. özelliklere göre değerli kabul ediliyor.

Big Data Örnekleri Nelerdir?

E-ticaret sitelerindeki alışverişler, ürünler arasındaki geçişler ve siparişlere yapılan yorumlar birbirinden farklı sektörlerde binlerce yeni veri oluşturuyor. Ayrıca bankacılık uygulamalarıyla yapılan para transferleri veya döviz işlemleri de gün içinde yepyeni ekonomik verilerin ortaya çıkmasını sağlıyor. Dolayısıyla büyük veriye örnek olarak sosyal medya uygulamalarından bankacılık işlemlerine kadar çeşitli kaynakları göstermek mümkün. 

Söz konusu ticaret verileri olduğunda menkul kıymetler borsasını da ayrı bir noktaya koymak gerekiyor. Öyle ki menkul kıymetler borsası, günde yaklaşık bir terabayt yeni veri üretebiliyor. İstatistiklere göre bir sosyal medya platformu olan Facebook’un veritabanlarına ise her gün 500 terabaytı aşkın yeni veri yükleniyor. Özetle; günlük hayatımızda sık sık kullandığımız pek çok kanal büyük verilerin ortaya çıkmasını sağlıyor. Peki, acaba bu verileri kimler analiz ediyor?

Ayrıca bakınız; Makine Öğrenimi nedir?

Büyük Veri Analizi Yapan Şirketler Hangileri?

Büyük veri, rekabet avantajı elde etmek için pek çok büyük ve başarılı şirket tarafından kullanılıyor. Şirketler elde ettikleri verilerle iş süreçlerini otomatikleştirebiliyor, hedef kitleleri hakkında bilgi alabiliyor ve geri bildirimleri bu doğrultuda hazırlayabiliyor. Büyük veriyi hangi markaların en iyi şekilde kullandığı ise aslında malum. İşte, onlardan bazıları:

Amazon

Çevrim içi perakende devleri arasında yer alan Amazon, büyük veriyi işleme yoluyla kullanıcıları hakkında çeşitli bilgilere ulaşabiliyor. İsimler, adresler, ödeme yöntemleri ve arama geçmişlerinin tümüne erişebilen Amazon, bu bilgileri kendi veri bankasında depoluyor. Bu veriler reklam algoritmalarında, müşteri ilişkilerini geliştirmede ve müşteriye ilgisini çekebilecek ürünler gösterme sırasında kullanılıyor. 

Netflix

Eğlence amaçlı yayın hizmeti sunan Netflix, dünya genelinde milyonlarca tüketicinin izleme alışkanlıklarına dair zengin veri birikimine sahip şirketler arasında yer alıyor. Netflix, kullanıcılarının hangi içerikleri sevdiğini; hatta dizi ve filmleri kaçıncı dakikasına kadar izlediklerini dahi biliyor. Bu bilgiler doğrultusunda hem ülkelere özel yeni içerikler üretiyor hem de kullanıcılara özel önerilerde bulunabiliyor.

Starbucks 

Aynı cadde üzerinde birden fazla Starbucks şubesiyle muhakkak karşılaşmışsınızdır. Peki, Starbucks’ın aynı lokasyonda birbirine yakın şubeler açıp nasıl zarar etmediğini merak ediyor musunuz? Elbette ki elindeki verileri yönetme becerisi sayesinde! Dünyanın en büyük kahve devleri arasında yer alan Starbucks konum, trafik, bölge demografisi ve müşteri davranışları hakkında çeşitli verileri biriktiriyor, yorumluyor ve bu verileri en iyi şekilde analiz ederek yönetiyor. 

Starbucks, mobil uygulaması sayesinde müşterilerinin hangi kahve çeşitlerini tükettiklerini, hangi sıklıkla kahve içtiklerini ve ödeme yöntemlerini bile takip edebiliyor. Bu verileri de yeni lezzetleri ve kampanyaları geliştirme süreçlerinde kullanıyor. Hep birlikte şahit oluyoruz ki, geleceğin teknolojisi olarak addedilen büyük veriyi kullanan ve bu alana yatırım yapan şirketler, her geçen yıl güçlerini ve kazançlarını artırıyor. Üstelik artırmaya da hız kesmeden devam edecekler gibi görünüyor.

Büyük veri sayesinde kazancını ve saygınlığını artıran şirketlere açacağın Midas yatırım hesabı ile yatırım yaparak, dünyanın en büyük markalarının gücünden sen de hemen yararlanmaya başlayabilirsin!

Hisse senetleri riskli yatırım ürünleridir. Şirketlere ortaklık, hem kârlarına hemde zararlarına ortaklık anlamına gelir. Ana paranızdan kâr etme ihtimaliniz olduğu gibi, zarar etme ihtimalinizde bulunmaktadır.

Ayrıca bakınız; Geleceğin Teknoloji Hisseleri