Kategori arşivleri: Kodlama

Elimizdeki veri setinde x ve y değerleri bazen doğrusal olmayabilir.Yani biri artınca diğerinde artan veya azalan bir süreklilik yoktur. Bu durumda Polynomial Regression ( Polinomsal Regresyon ) kullanılır. Lineer regresyon, multiple regresyon ve polinomial regresyon arasında kıyaslama yaparsak : Lineer regresyon : y = b0 + b1*x Multiple lineer regresyon : y = b0 +“Python ile Polinomial Regresyon” yazısının devamını oku

Bir y eksenine birden fazla faktörlerin etki etmesiyle multiple lineer regresyon durumu gerekmektedir. Lineer regresyon anlatımındaki maaş ve deneyime yaş eklersek multiple olur yani maaşı etkileyen iki faktör var artık elimizde. Matematiksel olarak lineer regresyon ve multiple regresyon : Lineer regresyon : y = b0 + b1*x Multiple lineer regresyon : y = b0 +“Python ile Multiple Lineer Regresyon” yazısının devamını oku

MACHINE LEARNING Machine Learning nedir? Dünyada text, resim, müzik, video gibi pek çok veri  bulunmaktadır. Bu veriler günden güne artmaktadır. Günlük 2.5 Kentirilyon byte veri üretilmektedir. Bu verilerin bir şekilde anlamlandırılması gerekmektedir. Bu anlamlandırmayı matematiksel ve istatistiksel olarak insanlar yapabilir ancak insanların bir ömür boyu yapabileceği işlemleri  bir makine saniyeler içerisinde yapabilir. Bu nedenle veri“Python ile Lineer Regresyon” yazısının devamını oku

Hive, facebook tarafından büyük verileri sorgulamak, çözümlemek için geliştirilmiş bir veri ambarıdır. Sql’e çok yakın bir dil olan HQL(Hive Ql ) ile birçok farklı formattaki veriyi sorgulayabiliriz. Hive büyük veriyi sorgulamak için yazılan HQL sorgularını map reduce işlerine(koduna) dönüştürerek , hızlı ve yüksek performanslı çalışmasını sağlamış olur . Map reduce mantığı : HIVE TABLO YAPISI“Apache Hive” yazısının devamını oku

RDD (Resilient Distributed Dataset): Spark’ın temelini oluşturur. Herşey RDD üzerinden dönmektedir. Verilen üç  sunucuyu spark cluster’ı olarak düşünelim. RDD1 üç parçaya ayrılmış. Bunu bir tablonun veya büyük bir text tablosunun üçte bir parçası olarak düşünelim. Biz veri üstünde ne yaparsak yapalım asla bu veriler bozulmaz. Progmımız bozulsa yada hata alsa bile bu veriler kesinlikle kaybolmaz.“Apache Spark – RDD Mantığı” yazısının devamını oku

Büyük veri için neden farklı platformlara ihtiyacımız var ? Tek bir bilgisayarla bu kadar çok veriyi işlemeye çalıştığımızı düşünelim : Bu durumda bilgisayarımız iflas edecektir: Bu durumun olmaması için yapılması gereken birden fazla makine kullanmak : Şekilde görüldüğü gibi dört bilgisayar kullanıyoruz. Büyük veri ne yapıyor peki? Bu makinelerin harddiskini, RAM’ini, işlemci gücünü kullanıyor. Bunları“Apache Spark – Giriş” yazısının devamını oku

Spark, büyük ölçekli veri işleme için hızlı ve genel bir motordur. Diğer platformlara kıyasla daha hızlı olmanın sırrı Spark’ın Memory (RAM) üzerinde çalışması ve bu işlemi Disk’ten daha hızlı hale getirmesidir. Makine öğrenmesi için özel bir kütüphanesi olan MLLib, hem yüksek kalitede algoritmalar( başarıyı artırmak için birden fazla iterasyon yapan) sunar hem de hız( MapReduce’den“Apache Spark Machine Learning” yazısının devamını oku

Big Data Nedir? Yıllardır structure veri  üzerinde çalışılıyor ancak son zamanlarda üretilen dataların structure veriden çıktığını görüyoruz. Anormal büyüyen veri tipleri var. Sentiment : Duygu Analizi veya diğer bir adı ile ‘Fikir Madenciliği’(Opinion Mining) tam anlamıyla birlikte; bir yazarın veya bir yazının belirli bir konuya yönelik tutumunun, olumlu(positive), olumsuz(negative), tarafsız(neutral) olarak değerlendirilmesi için bir metin“Introduction To IA” yazısının devamını oku

Geçmişte internete çıkan tek cihaz bilgisayarlarımızdı. Günümüzde artık birçok alet internete çıkabilmektedir. Bir cihazın internete çıkabilmesi demek http protokolü üzerinde başka cihazlarla iletişim kurabilmesidir. Bu noktada devreye web servisler girer. Bir tanım yapmamız gerekirse : İnternete açılabilen cihazlar arasında http protokolünü kullanarak haberleşmeyi sağlayan sistemlere web servis denir. Temel iki çeşit web servis bulunur. SOAP“WEB SERVİS NEDİR?” yazısının devamını oku