Pipeline data & ETL/ELT

Masalah paling umum di perusahaan bukan kekurangan data, tapi data yang tersebar di lima sistem dan baru bisa dilihat setelah seseorang menyalinnya ke Excel.

Saya bangun pipeline yang berjalan sendiri, gagal dengan berisik kalau ada yang salah, dan bisa dipahami orang lain setelah saya selesai. Yang terakhir itu yang paling sering dilupakan: pipeline yang cuma dimengerti pembuatnya adalah utang, bukan aset.

Pengalaman saya lima tahun di infrastruktur data perusahaan transportasi berskala nasional, dengan volume jutaan transaksi per jam.

Yang saya kerjakan

• Rancang alur pengambilan data dari database, API, dan berkas
• Penjadwalan dengan Apache Airflow, transformasi dengan dbt
• Pemantauan, percobaan ulang otomatis, dan peringatan kalau gagal
• Uji mutu data supaya angka yang salah ketahuan sebelum sampai ke laporan
• Penyimpanan dalam format kolom yang hemat dan cepat dibaca

Yang kamu terima

• Kode sumber lengkap di repositori kamu
• Dokumentasi arsitektur dan cara pemeliharaan
• Pendampingan tim internal supaya bisa lanjut sendiri

Catatan

Pekerjaan ini bisa dikerjakan sepenuhnya jarak jauh lewat Google Meet, jadi tidak terbatas area Jatiranggon.

Harga di halaman ini adalah titik mulai. Angka pastinya saya kirim setelah tahu kondisi sebenarnya, dan tidak berubah setelah disepakati kecuali ruang lingkupnya kamu tambah.