Data Mart, Data WareHouse, ETL, ELT, OLAP

Muhammad Miftahul Huda / 1304505099
Teknologi Informasi / Teknik / Universitas Udayana
Data WareHouse
I Putu Agus Eka Pratama, S.T., M.T.

1. Data Mart
Data Mart adalah fasiltas penyimpan data yang berorentasi pada Subject tertentu atau berorentasi pada Departemen tertentu dari suatu organisasi, fokus pada kebutuhan Departemen tertentu seperti Sales, Marketing, Operation atau Collection. Sehingga suatu Organisasi bisa mempunyai lebih dari satu Data Mart.
Sekumpulan berbagai Data Mart yang digunakan oleh perusahaan dan disimpan dalam suatu tempat penyimapanan, itulah yang disebut sebagai Data WareHouse. Sehingga dapat disimpulkan bahwa Data Mart adalah sub bagian dari Data WareHouse, lalu Data WareHouse berada pada lingkup perusahaan, sedangkan Data mart berada pada lingkup departemen atau bisa lebih kecil lagi.
 
Data Mart bagian dari Data WareHouse
(sumber http://www.exforsys.com/images/MSAS/T2/image004.jpg)




2. ETL & ELT
ETL (Extract Transform Load) dan ELT (Extract Load Transform) merupakan sebuah proses dari pembuatan Data WareHouse. Keduanya sama-sama berguna untuk mengambil data dari sumber data (Extract), mengubah format data dari sumber (Transform), dan memasukan data ke dalam Data WareHouse (Load).
Perbedaan diantara keduanya adalah letak urutan proses transformasinya. Yang mana pada ETL proses transformasi dilakukan setelah proses ekstrasi, sedangkan pada ELT proses transformasi dilakukan setelah proses loading.
3. OLAP
Data WareHouse menggunakan server OLAP untuk penyimpanan datanya. Yang mana database jenis ini memang sangat cocok untuk diimplemetasikan kedalam Data WareHose. Data yang disimpan dalam server OLAP merupakan data yang sudah siap untuk dipakai (analisa), karena datanya sudah disusun kedalam bentuk siap pakai dan minim normalisasi. Sangat berbeda dengan server OLTP yang datanya harus disimpan ke dalam tabel-tabel yang sudah dinormalisasi untuk menjaga keunikan datanya. Dengan karakteristik server OLTP tadi, tentunya untuk mengambil data untuk analisa memerlukan query yang sangat panjang, bahkan akan memakan waktu yang sangat lama jika ukuran datanya mencapai ratusan TeraByte.

Sumber
Minartiningtyas, Brigida Arie.  ETL (Extraction, Transformation, Loading), http://informatika.web.id/etl-extraction-transformation-loading.htm, (Diakses 18 Oktober 2015)

Pentaho User Group Indonesia.  ETL dan ELT, https://groups.google.com/forum/#!topic/pentaho-id/rF6_yCdDAEc, (Diakses 18 Oktober 2015) 

Hanifah, Ardijan Abu. Apakah Data Mart?, https://yoyonb.wordpress.com/2009/12/17/apakah-data-mart/, (Diakses 18 Oktober 2015)

Exforsys. Design of the data warehouse: Kimball Vs Inmon, http://www.exforsys.com/tutorials/msas/data-warehouse-design-kimball-vs-inmon.html, (Diakses 18 Oktober 2015) 

Read more

Data WareHouse dan Big Data

Muhammad Miftahul Huda / 1304505099
Teknologi Informasi / Teknik / Universitas Udayana
Data WareHouse
I Putu Agus Eka Pratama, S.T., M.T.

Big Data adalah kosa-kata yang sengaja diciptakan karena adanya trend pertumbuhan data secara terus-menerus dalam skala yang massive (besar-besaran).  Salah satu penggerak terbesar dari pertumbuhan data ini adalah “Ubiquitous Computing” (computasi di mana-mana) atau oleh beberapa kalangan disebut sebagai “Internet of Thing” atau “Internet of Everything”, yang artinya kecenderungan bahwa komputer senantiasa online dan ada dimana-mana, dalam kehidupan sehari-hari sudah terlihat mulai dari gadget seperti smart phone, smart watch, smart car, hingga peralatan elektronik seperti smart home appliances seperti TV, AC, Kulkas, CCTV, soft relay, sensor elektronik, dan lainnya.

Big Data adalah data dengan ciri berukuran sangat besar (ratusan TeraByte, hingga Petabyte), sangat variatif, sangat cepat pertumbuhannya dan mungkin tidak terstruktur yang perlu diolah khusus dengan teknologi inovatif sehingga mendapatkan informasi yang mendalam dan dapat membantu pengambilan keputusan yang lebih baik.

Teknologi Big Data diciptakan untuk menangani keempat ciri di atas. Jadi jika data Anda memiliki satu ciri saja atau beberapa kombinasi ciri di atas, tentunya dapat memanfaatkan teknologi Big Data yang tersedia di pasaran..

Manfaat yang bisa diberikan dari Big Data antara lain bisa memberikan gambaran yang lebih lengkap dari sebelumnya karena biasanya data yang dianalisis adalah data terstruktur misalnya data relasional database.

Contoh skenario dimana Big Data digunakan misalnya adalah pemanfaatan data dari social media, twitter, facebook dan sebagainya dipadukan dengan data dari perusahaan sendiri misalnya data dari penjualan atau data pelanggan yang sudah ada di relasional database. Dengan demikian bisa didapatkan analisis untuk melakukan strategi marketing yang jitu. Misalnya dengan menganalisis orang-orang di social media yang berpengaruh untuk memasarkan produk.

Big Data dan Data WareHouse

Seperti yang kita ketahui bahwa Data WareHouse merupakan analisis data (tumpukan dari berbagai sumber database) dalam subjek terntu agar didapatkan informasi dalam format atau bentuk yang baik untuk proses pengambilan keputusan. Masalah yang ada adalah, bagai mana melakukan proses analisa pada Data WareHouse jika data yang ada atau dimiliki perusahaan atau instansi berukuran ratusan TeraByte, bahkan hingga PetaByte (sesuai dengan karakteristik Big Data). Data yang dimiliki sangat variatif, belum terstruktur, berada di dalam konten halaman web, dan masih banyak lagi. sehingga perlu waktu yang sangat banyak untuk menangani itu semua. Teknologi Big Data dapat digunakan untuk membantu permasalahan pada Data WareHouse yang timbul tadi.

Saat ini sudah ada Teknologi yang dapat digunakan dalam implementasi Big Data. salah satunya adalah Apache Hadoop, sebuah  software open source yang dikembangkan oleh Apache Fondation. Lalu dengan menggunakan database noSQL (Not Only SQL), yaitu sebuah database yang tidak menggunakan tabel dan kolom dalam implementasi penyimpanan datanya. Sehingga database ini sangat cocok digunakan untuk data yang tidak terstruktur.

Sumber  

Oracle. Oracle Database 12c for Data Warehousing and Big Data [PDF], http://www.oracle.com/technetwork/database/bi-datawarehousing/data-warehousing-wp-12c-1896097.pdf, (Diakses 10 Oktober 2015)

Edwin SA.  Big Data? Binatang Apa itu?, http://bangwin.net/2015/03/11/big-data-binatang-apa-itu/, (Diakses 10 Oktober 2015)

Apa Itu Big Data?.  Definisi Big Data, http://www.apaitubigdata.com/p/apa-itu-big-data.html, (Diakses 10 Oktober 2015)

PT. Global Innovation Technology.  Big Data adalah Kesempatan sekaligus Ancaman bagi Bisnis Anda, http://www.innovation.co.id/post/big-data-adalah-kesempatan-sekaligus-ancaman-bagi-bisnis-anda/, (Diakses 10 Oktober 2015) 

Open Big Data.  Apa Itu Big Data?, https://openbigdata.wordpress.com/2014/08/25/apa-itu-big-data/, (Diakses 10 Oktober 2015) 

 Adi Putra, Candra.  Pengantar Database NoSQL dan MongoDB, http://www.candra.web.id/2014/02/27/pengantar-database-nosql-dan-mongodb/, (Diakses 10 Oktober 2015)

Santoso, Bagus Aji.  7 Basis Data NoSQL Populer, http://www.codepolitan.com/7-basis-data-nosql-populer/, (Diakses 10 Oktober 2015)

Gudang Linux Indonesia.  Apache Hadoop, http://gudanglinux.com/glossary/apache-hadoop/, (Diakses 10 Oktober 2015)

Open Big Data.  Big Data dengan Hadoop, https://openbigdata.wordpress.com/2014/08/26/big-data-dengan-hadoop/, (Diakses 10 Oktober 2015) 

Read more

Data WareHouse dan Business Intelligence

Muhammad Miftahul Huda / 1304505099
Teknologi Informasi / Teknik / Universitas Udayana
Data WareHouse
I Putu Agus Eka Pratama, S.T., M.T.

Business Intelligence (BI) merupakan sekumpulan alat atau teknik yang membantu perusahaan untuk mengubah (mentarnansformasi) data bisnisnya ke dalam informasi yang tepat waktu dan akurat untuk keperluan proses pengambilan keputusan. Singkatnya BI merupakan alat atau teknik yang digunakan untuk mengekstrak pengetahuan (informasi) dari banyaknya tumpukan data yang terkumpul, dan digunakan oleh perusahaan-perusahaan moderen.

BI berbeda dengan AI (Artificial Intelligence).  Dimana :

• AI membuat keputusan untuk usernya
• sedangkan BI membantu usernya untuk membuat keputusan yang tepat berdasarkan data yang ada.

BI memiliki keterkaitan terhadap beberapa teknologi dibawah ini :

• On-Line Analytical Processing (OLAP) : Pemrosesasan dari seluruh sumber data berada di sini.
• Data WareHouse (DWH) : Analisis data berdasarkan subjek tertentu dilakukan di sini.
• Data Mining (DM) : Informasi yang sudah diperoleh dapat membantu pengambilan keputusan pada BI.
• Open Data (OD) : Informasi tambahan untuk membantu pengambilan keputusan pada BI.

 Macam - macam arsitektur DWH :

• Central : semua data berada di dalam satu DWH terpusat. Lalu semua klien menggunakannya bersama-sama.
  

•  Federated : seluruh data dikumpulkan pada 1 DWH terpusat. Lalu didistribusikan ke data mart sesuai dengan keperluannya masing2. Terakhir klien mengambil data yang diperlukan dari data mart yang sudah disediakan sesuai dengan keperluan informasi yang dibutuhkan.

•  Tiered : DWH yang terpusat didistribusikan ke data mart yang memiliki banyak tingkatan (level). setiap pendistribusian ke level yang lebih tinggi (bawah) semakin sedikit data yang didistribusikan (menyesuaikan dengan keperluan).

 

Sumber :
pertemuan ke-3 mata kuliah Data WareHouse (21 September 2015)

Read more

OLAP dan OLTP

Muhammad Miftahul Huda / 1304505099
Teknologi Informasi / Teknik / Universitas Udayana
Data WareHouse
I Putu Agus Eka Pratama, S.T., M.T.

Kita dapat membagi sistem IT ke dalam transaksional (OLTP) dan analisis (OLAP). Pada dasarnya kita dapat menggambarkan sistem OLTP menghasilkan sumber data untuk data warehouse, sedangkan sistem OLAP membantu untuk mengaanlisisnya.

Sumber : http://datawarehouse4u.info/images/olap_vs_oltp.jpg

OLTP (On-line Transaction Processing) memiliki karekteristik terjadi banyaknya transaksi data (INSERT, UPDATE, DELETE). Sistem OLTP lebih menekankan pada kecepatan dalam mengelola query, memelihara integritas data di dalam lingkungan multi user, serta efektivitas yang diukur dari banyaknya tarnsaksi per detik. Di dalam OLTP, database yang digunakan adalah database yang ternormalisasi.

OLAP (On-line Analytical Processing) memiliki karakteristik dengan sedikitnya transaksi data. Query yang dikerjakan biasanya sangat kompleks dan menyertakan fungsi agregat. Sistem OLAP efektifitasnya diukur dari waktu responnya. aplikasi OLAP biasanya digunakan untu data mining. Di dalam OLAP, database yang digunakan menggunakan skema multi-dimensional, di mana database digunakan untuk menyimpan data yang teragregat, dan data historis.

sumber :
Datawarehouse4u. OLTP vs OLAP, http://datawarehouse4u.info/OLTP-vs-OLAP.html, (diakses 14 September 2015)

DataOnFocus. OLTP vs OLAP, http://www.dataonfocus.com/oltp-vs-olap/, (diakses 14 September 2015)

Quora. Data Warehousing: What's the difference between OLAP and OLTP?, https://www.quora.com/Data-Warehousing/Whats-the-difference-between-OLAP-and-OLTP, (diakses 14 September 2015)

Read more