All posts by abdulalialiyev
Apache Arrow
Apache Arrow ilə Yüksək Sürətli Məlumat Emalı. Məlumatların analitikası və emalın zamanı sürət və səmərəlilik hər şeydən üstündür. Açıq mənbəli, programlaşdırma dilləri daxilində inkişaf platforması(cross language development platform) olan Apache Arrow yüksək sürətli məlumat emal imkanlarını açmaq üçün güclü bir vasitə kimi ortaya çıxır. Bu bloq yazısında biz Apache Arrow-un nə olduğunu, nə üçün vacib…
Apache FLINK
Bu günümüzün sürətli rəqəmsal dünyasında müəssisələr rəqabət üstünlüyünü əldə etmək üçün əllərində olan məlumatlarının gücündən istifadə etmək üçün daim yenilikçi yollar axtarırlar. Real vaxt rejimində məlumatların işlənməsi(real time data processing) bu axtarışda mühüm komponentə çevrilir. Açıq mənbəli məlumat axını aləti(stream processing tool) olan Apache Flink, real vaxt rejimində məlumat analitikası sahəsində super qəhrəman kimi ortaya…
Data Modelləmək və Data Arxitektlik: Data İdarə etməsinin Təməl Daşları
Data bu gün iş dünyası üçün böyük dəyərə malikdir. Şirkətlər müştərilərin seçimlərini başa düşmək, əməliyyatları təkmilləşdirmək və strateji qərarlar qəbul etmək üçün böyük həcmdə məlumatlara etibar edirlər. Bununla belə, bu məlumatların effektiv idarə edilməsi və istifadəsi uğurlu məlumat modelləşdirmə və məlumat arxitekturasını tələb edir. Data modelləşdirilməsi məlumatların təşkilini, strukturunu və əlaqələrini müəyyən edən bir prosesdir….
Sütun və Sətir Əsaslı Bazalar
Salam! Bu postumuzda Sətir və Sütun əsaslı dataları saxlamaq və onların üstünlüklərindən danışacağıq. Əlaqəli data bazalarında(RDBMS) data-nı saxlamağın iki yolu vardır: Sətir əsaslı Sütun əsaslı (C-store olaraq da bilinir) Sətir əsaslı bazalar, dataları rekord-a(record) görə tənzimləyən, bir sətirlə bağlı bütün dataları prossess etdiyi zaman yaddaşda yan yana tutan bazalardır. Sətir əsaslı bazalar, dataları düzgün şəkildə…
LogStash necə çalışır?
Artıq logstash təməllərini öğrəndiyimizə görə, necə çalışdığı haqqında biraz daha detallı danışaq. İlk öncə sizlərə execution modeli ve lock stage addımının gələn log və ya requestləri necə prosesi etdiyini göstərmək istəyirəm. Nəzərə alaq ki baş verən requestləri(events) izləyən 2 input-dan(A, B) ibarət bucür bir mapping-imiz var. Hər bir giriş(input) bir-birini bloklamamaq üçün özünə məxsus thread…
LOGSTASH Nədir?
Logstash İstifadə etdiyimiz sistemlərin bir çoxunda logların toplanması və onların analiz olunması ehtiyacı müxtəlif səbəblərdən yarana bilər. Bu ehtiyac vebsaytlar və ya proqramlardakı istifadəçi davranışlarını müşahidə etmək və ya istifadəçilərin qarşılaşdığı problemləri müəyyən etmək və onları analiz etmək ola bilər. Logstash, sizin konfiqurasiyanıza uygun olaraq logların istədiyiniz yerdən oxunmasını, istədiyiniz kimi analiz olunmasını təmin edən…
KIBANA Nədir?
Kibana log və time series dataların analitikası, tətbiqetmələrin monitorinqi kimi önəmli məlumatların vizuallaşdırılması və analiz olunması üçün isifadə olunan Elastic stack-in ən önəmli komponentlərindən biridir. Kibana vasitəsilə histoqramlar, xətti diaqramlar, pie chart-lar, istilik xəritələri və coğrafi xəritələr üzrə güclü və istifadəsi asan olan vizuallaşdırmalar hazırlamaq mümkündür. “Elastic stack”-in bir parçası olduğu üçün məşhur analitika və…
ELASTICSEARCH Nədir?
Datalarımızı(Big Data or any) düzgün saxlamaq və təhlil etmək üçün ilk növbədə ehtiyaclarımızı yaxşı görə bilməliyik. Böyük məlumat blokları arasında tam mətn axtarışına ehtiyacımız varsa, Elasticsearch bizim üçün düzgün seçim ola bilər. Elasticsearch: Birbaşa mətn üzərində axtarış etmək əvəzinə, indekslər vasitəsilə axtarış aparır və çox tez nəticələr verir. Bundan əlavə, o, həmçinin sorğular üzrə statistik…
Data Streaming With Apache NiFi and Twitter
Salam! Xoş gördük sizləri blogumda, bu yazımda sizlərə Apache NIFI istifadə etməklə stream dataları götürüb fərqli sistemlərə nece yükləmək olar onu izah edəcəyəm. Daha sonra Grafana istifadə edərək gələn datanı real time vizual olaraq görəcəyik. İlk öncə Apache NIFI haqqında qısaca məlumat verim. Deməli NiFi, ayrı-ayrı sistemlər arasında məlumatların hərəkətini avtomatlaşdırmaq üçün inteqrasiya olunmuş ETL…
KAFKA Producer / Consumer in JAVA
Salam, Bu postda sizə Javada yazılmış simple Producer ve Consumer API -ları bölüşəcəyəm. Producer API: Consumer API