Tantangan Baru: ETL

October 29, 2009 in Bussiness Intelligence

ada teman datang dengan membawa tantangan baru yang pernah saya memimpikan bagarimana melakukan hal baru itu secara riil. Teman datang dengan menawari perkerjaan membuat aplikasi ETL (Extract, Transform and Load) dari database penjualan PT Tiga Serangkai. dengan membawa proposal yang menjelaskan target informasi/data yang akan di extract dari data awal, saya mencoba sambil berfikir, kesampaian juga akhirnya, he he he.

ETL adalah salah satu proses dalam dunia data warehousing atau bussiness intelligence.  secara definisi, ETL diartikan sebagai “ETL stands for extract, transform and load, the processes that enable companies to move data from multiple sources, reformat and cleanse it, and load it into another database, a data mart or a data warehouse for analysis, or on another operational system to support a business process.”(http://www.computerworld.com/s/article/89534/QuickStudy_ETL). proses ETL memiliki peran penting dalam mengambil data/informasi yang konsisten. ada beberapa langkah proses ETL yaitu:

• Read the source data (OLTP)
• Apply business, transformation, and technical rules
• Load the data

dari pengalaman beberapa hari ini ada beberapa point penting, yaitu:

1. bahasa pemrograman yang kita pakai haruslah support bermacam koneksi database

2. pada langkah eksplorasi data, sangat nyaman bila kita menggunakan data manager agar leluasa berpindah dari tabel satu ke tabel lain untuk menyesuaikan dengan target data

3. proses extract data akan berjalan lambat dan memakan memori banyak. jadi perhatikan algoritma