Yazar arşivleri: matmuh19

Hive, facebook tarafından büyük verileri sorgulamak, çözümlemek için geliştirilmiş bir veri ambarıdır. Sql’e çok yakın bir dil olan HQL(Hive Ql ) ile birçok farklı formattaki veriyi sorgulayabiliriz. Hive büyük veriyi sorgulamak için yazılan HQL sorgularını map reduce işlerine(koduna) dönüştürerek , hızlı ve yüksek performanslı çalışmasını sağlamış olur . Map reduce mantığı : HIVE TABLO YAPISI“Apache Hive” yazısının devamını oku

RDD (Resilient Distributed Dataset): Spark’ın temelini oluşturur. Herşey RDD üzerinden dönmektedir. Verilen üç  sunucuyu spark cluster’ı olarak düşünelim. RDD1 üç parçaya ayrılmış. Bunu bir tablonun veya büyük bir text tablosunun üçte bir parçası olarak düşünelim. Biz veri üstünde ne yaparsak yapalım asla bu veriler bozulmaz. Progmımız bozulsa yada hata alsa bile bu veriler kesinlikle kaybolmaz.“Apache Spark – RDD Mantığı” yazısının devamını oku

Büyük veri için neden farklı platformlara ihtiyacımız var ? Tek bir bilgisayarla bu kadar çok veriyi işlemeye çalıştığımızı düşünelim : Bu durumda bilgisayarımız iflas edecektir: Bu durumun olmaması için yapılması gereken birden fazla makine kullanmak : Şekilde görüldüğü gibi dört bilgisayar kullanıyoruz. Büyük veri ne yapıyor peki? Bu makinelerin harddiskini, RAM’ini, işlemci gücünü kullanıyor. Bunları“Apache Spark – Giriş” yazısının devamını oku

Spark, büyük ölçekli veri işleme için hızlı ve genel bir motordur. Diğer platformlara kıyasla daha hızlı olmanın sırrı Spark’ın Memory (RAM) üzerinde çalışması ve bu işlemi Disk’ten daha hızlı hale getirmesidir. Makine öğrenmesi için özel bir kütüphanesi olan MLLib, hem yüksek kalitede algoritmalar( başarıyı artırmak için birden fazla iterasyon yapan) sunar hem de hız( MapReduce’den“Apache Spark Machine Learning” yazısının devamını oku

Big Data Nedir? Yıllardır structure veri  üzerinde çalışılıyor ancak son zamanlarda üretilen dataların structure veriden çıktığını görüyoruz. Anormal büyüyen veri tipleri var. Sentiment : Duygu Analizi veya diğer bir adı ile ‘Fikir Madenciliği’(Opinion Mining) tam anlamıyla birlikte; bir yazarın veya bir yazının belirli bir konuya yönelik tutumunun, olumlu(positive), olumsuz(negative), tarafsız(neutral) olarak değerlendirilmesi için bir metin“Introduction To IA” yazısının devamını oku

Geçmişte internete çıkan tek cihaz bilgisayarlarımızdı. Günümüzde artık birçok alet internete çıkabilmektedir. Bir cihazın internete çıkabilmesi demek http protokolü üzerinde başka cihazlarla iletişim kurabilmesidir. Bu noktada devreye web servisler girer. Bir tanım yapmamız gerekirse : İnternete açılabilen cihazlar arasında http protokolünü kullanarak haberleşmeyi sağlayan sistemlere web servis denir. Temel iki çeşit web servis bulunur. SOAP“WEB SERVİS NEDİR?” yazısının devamını oku