Rohmad Hidayat's Blog

Icon

My Notes on Mobile Technology, Python GUI, Python Web Framework, Software Development, Database, Server, Embedded System, Mini Computer

Tantangan Baru: ETL

ada teman datang dengan membawa tantangan baru yang pernah saya memimpikan bagarimana melakukan hal baru itu secara riil. Teman datang dengan menawari perkerjaan membuat aplikasi ETL (Extract, Transform and Load) dari database penjualan PT Tiga Serangkai. dengan membawa proposal yang menjelaskan target informasi/data yang akan di extract dari data awal, saya mencoba sambil berfikir, kesampaian juga akhirnya, he he he.

ETL adalah salah satu proses dalam dunia data warehousing atau bussiness intelligence.  secara definisi, ETL diartikan sebagai “ETL stands for extract, transform and load, the processes that enable companies to move data from multiple sources, reformat and cleanse it, and load it into another database, a data mart or a data warehouse for analysis, or on another operational system to support a business process.”(http://www.computerworld.com/s/article/89534/QuickStudy_ETL). proses ETL memiliki peran penting dalam mengambil data/informasi yang konsisten. ada beberapa langkah proses ETL yaitu:

  • Read the source data (OLTP)
  • Apply business, transformation, and technical rules
  • Load the data

dari pengalaman beberapa hari ini ada beberapa point penting, yaitu:

1. bahasa pemrograman yang kita pakai haruslah support bermacam koneksi database

2. pada langkah eksplorasi data, sangat nyaman bila kita menggunakan data manager agar leluasa berpindah dari tabel satu ke tabel lain untuk menyesuaikan dengan target data

3. proses extract data akan berjalan lambat dan memakan memori banyak. jadi perhatikan algoritma

Advertisements

Filed under: Bussiness Intelligence

Aplikasi Database IKM ( Industri Kecil Menengah )

Aplikasi ini adalah sebuah sistem untuk menyimpan database profil lengkap industri (profil, produksi, tenaga kerja, supporting dll). dengan dashboard depan menampilkan ringkasanprofil ikm dalam bentuk grafik data. Sistem ini cocok digunakan di kantor dinas perindustrian

Filed under: Bussiness Intelligence, Programming, Update Software

Modul Analisis Time Series

Yang sudah diselesaikan dan bisa diimplementasikan:

1. Analisis Growth ( data,growth=growth(var))

2. Analisis Polinomial fitting (scipy.polyfit, scipy.polyval())

3. Analisis Linear OLS ( reg=stats.linregress(x,y))

Filed under: Bussiness Intelligence, Programming, Python