Pendahuluan

Big Data bukan sekadar “data yang sangat banyak”. Jika hanya banyak, kita cukup membeli penyimpanan lebih besar. Masalah Big Data muncul ketika ukuran data, kecepatan kedatangannya, keragaman bentuknya, dan kebutuhan pengambilan keputusan membuat cara kerja biasa tidak lagi memadai. Sebuah berkas spreadsheet berisi seribu baris transaksi masih dapat dibaca manusia dengan cukup mudah. Namun jutaan transaksi per hari, log aplikasi dari ribuan server, klik pengguna dari aplikasi seluler, citra medis, pesan sensor, data lokasi, dan data media sosial membutuhkan cara berpikir, perangkat lunak, arsitektur sistem, serta praktik operasional yang berbeda.

Pada awal 2000-an, Doug Laney merumuskan tiga karakteristik yang kemudian sangat berpengaruh dalam pembahasan Big Data: volume, velocity, dan variety—ukuran data, kecepatan data mengalir, dan keragaman bentuk data (Laney, 2001). Dalam praktik modern, dua istilah lain sering ditambahkan: veracity, yaitu tingkat keandalan atau ketidakpastian data, dan value, yaitu nilai yang dapat dihasilkan dari data. Lima istilah ini akan dibahas lebih rinci pada Bab 1, tetapi sejak awal kita perlu memahami satu prinsip penting: data tidak otomatis bernilai hanya karena besar. Data menjadi bernilai ketika dikumpulkan dengan benar, disimpan secara tepat, diproses secara andal, dianalisis secara bertanggung jawab, dan digunakan untuk membantu keputusan yang bermakna.

Bayangkan sebuah platform e-commerce. Setiap kali pengguna membuka halaman produk, sistem dapat mencatat waktu akses, perangkat yang digunakan, lokasi kasar, produk yang dilihat, kata kunci pencarian, keranjang belanja, metode pembayaran, dan hasil transaksi. Dari data tersebut, perusahaan dapat memperkirakan produk yang sedang diminati, mendeteksi kegagalan pembayaran, menghitung efektivitas promosi, memberi rekomendasi produk, dan merencanakan stok gudang. Namun contoh yang sama juga menunjukkan tantangan Big Data. Data klik datang sangat cepat. Data transaksi harus akurat. Data pengguna harus dilindungi. Data produk berubah dari waktu ke waktu. Analisis rekomendasi perlu diuji agar tidak menyesatkan. Dashboard bisnis harus menjawab pertanyaan yang benar, bukan sekadar menampilkan grafik yang indah.

Buku ini ditulis untuk membantu Anda membangun pemahaman tersebut secara bertahap: dari fondasi komputasi dan representasi data, menuju sistem terdistribusi, penyimpanan skala besar, pipeline rekayasa data, analitik, machine learning, cloud, keamanan, tata kelola, hingga proyek profesional end-to-end. Tujuannya bukan membuat Anda hafal nama semua alat, melainkan membuat Anda mampu memahami mengapa alat-alat itu ada, kapan digunakan, bagaimana batasannya, dan bagaimana merancang sistem Big Data yang masuk akal.

Mengapa Big Data penting?

Dalam banyak organisasi modern, data telah menjadi bahan baku untuk memahami operasi, pelanggan, risiko, dan peluang. Perusahaan menggunakan data transaksi untuk memantau pendapatan. Rumah sakit menggunakan data klinis dan operasional untuk meningkatkan layanan. Pemerintah menggunakan data kependudukan dan layanan publik untuk merancang kebijakan. Peneliti menggunakan data besar dari sensor, eksperimen, observasi, dan simulasi untuk menguji hipotesis ilmiah. Jim Gray menyebut perubahan ini sebagai salah satu bentuk “paradigma keempat” dalam sains, yaitu penemuan berbasis data yang melengkapi teori, eksperimen, dan simulasi komputasional (Hey et al., 2009).

Namun Big Data juga membawa risiko. Data yang tampak lengkap dapat tetap bias. Model analitik dapat memperkuat ketidakadilan jika data latih mencerminkan ketimpangan masa lalu. Sistem yang mengumpulkan data pribadi dapat melanggar privasi jika tidak dirancang dengan kontrol akses, enkripsi, pembatasan tujuan, dan tata kelola yang jelas. Cathy O’Neil menunjukkan bahwa model berbasis data dapat menimbulkan dampak sosial serius ketika digunakan tanpa transparansi, akuntabilitas, dan evaluasi terhadap kelompok yang terdampak (O’Neil, 2016). Karena itu, buku ini tidak hanya membahas cara membuat sistem Big Data bekerja, tetapi juga cara membuatnya layak dipercaya.

Untuk mahasiswa S1, Big Data penting karena ia berada di pertemuan beberapa bidang: ilmu komputer, statistika, basis data, sistem terdistribusi, rekayasa perangkat lunak, komputasi awan, keamanan, visualisasi, dan domain bisnis. Seorang praktisi Big Data yang baik tidak harus menjadi ahli terdalam di semua bidang tersebut, tetapi harus mampu berbicara dengan cukup presisi di antara bidang-bidang itu. Misalnya, ketika analis bisnis meminta “data pelanggan aktif”, engineer perlu bertanya: aktif menurut definisi apa? Login dalam 30 hari terakhir? Melakukan transaksi? Membuka aplikasi? Ketika data scientist meminta data fitur untuk model prediksi, data engineer perlu memastikan data tersebut tidak bocor dari masa depan. Ketika manajer meminta dashboard real-time, arsitek data perlu menjelaskan biaya, kompleksitas, dan apakah kebutuhan bisnis benar-benar membutuhkan real-time atau cukup pembaruan berkala.

Dari data kecil ke sistem berskala besar

Untuk memahami Big Data dari prinsip pertama, mari mulai dari situasi sederhana. Misalkan Anda memiliki tabel penjualan berikut.

Dengan data sekecil ini, Anda dapat menghitung total pendapatan memakai kalkulator, spreadsheet, Python, atau SQL. Jika data bertambah menjadi satu juta baris, spreadsheet mungkin mulai lambat, tetapi basis data relasional masih dapat menanganinya dengan baik jika skema, indeks, dan query dirancang dengan benar. Jika data bertambah menjadi miliaran baris, disimpan dalam banyak format, datang terus-menerus dari berbagai aplikasi, dan perlu diolah untuk dashboard, laporan keuangan, deteksi fraud, serta machine learning, persoalannya berubah.

Perubahan itu bukan hanya perubahan ukuran. Ada perubahan cara berpikir.

Pertama, data perlu direpresentasikan. Komputer tidak menyimpan “tanggal”, “teks”, atau “angka” seperti manusia memahaminya. Semua harus direpresentasikan dalam bit, encoding, tipe data, format berkas, dan struktur penyimpanan tertentu. Kesalahan kecil seperti salah memahami zona waktu dapat membuat laporan harian berbeda antarnegara. Kesalahan encoding teks dapat merusak nama pelanggan. Kesalahan tipe data desimal dapat mengganggu perhitungan uang.

Kedua, data perlu dipartisi. Partisi berarti membagi data menjadi bagian-bagian lebih kecil agar dapat disimpan atau diproses oleh banyak mesin. Jika satu komputer tidak cukup, kita memerlukan beberapa komputer. Tetapi begitu data dibagi, muncul pertanyaan: data mana disimpan di mesin mana? Bagaimana jika satu mesin mati? Bagaimana menggabungkan hasil perhitungan dari banyak mesin? Sistem seperti Google File System dan MapReduce dirancang untuk menangani penyimpanan dan pemrosesan data berskala besar di atas banyak mesin komoditas, dengan asumsi kegagalan perangkat keras adalah hal yang perlu diantisipasi, bukan kejadian langka yang boleh diabaikan (Ghemawat et al., 2003; Dean & Ghemawat, 2004).

Ketiga, data perlu diorkestrasi. Orkestrasi berarti mengatur urutan, dependensi, jadwal, dan pemantauan pekerjaan data. Misalnya, laporan penjualan harian baru boleh dibuat setelah data transaksi, data pengembalian barang, dan data kurs mata uang selesai dimuat. Jika salah satu gagal, sistem harus tahu apakah pekerjaan perlu diulang, dihentikan, atau diberi peringatan kepada operator.

Keempat, data perlu ditafsirkan. Hasil query bukan selalu jawaban final. Jika penjualan naik 20%, kita perlu bertanya: dibandingkan periode apa? Apakah ada promosi? Apakah data dari semua kanal sudah masuk? Apakah ada perubahan definisi metrik? Apakah kenaikan itu signifikan secara statistik atau hanya variasi biasa? Di sinilah statistika, probabilitas, dan pemahaman domain menjadi penting.

Big Data adalah persoalan sistem, bukan hanya alat

Banyak orang pertama kali mengenal Big Data melalui nama alat: Hadoop, Spark, Kafka, Hive, Airflow, Flink, Snowflake, BigQuery, Databricks, Redshift, S3, Kubernetes, dan seterusnya. Alat-alat ini penting, tetapi Big Data tidak boleh dipelajari sebagai daftar merek atau teknologi. Teknologi berubah cepat. Prinsip bertahan lebih lama.

MapReduce, misalnya, memperkenalkan model pemrosesan terdistribusi yang sederhana: fungsi map mengubah input menjadi pasangan kunci-nilai, kemudian sistem mengelompokkan data berdasarkan kunci melalui tahap shuffle, lalu fungsi reduce menggabungkan nilai untuk setiap kunci (Dean & Ghemawat, 2004). Spark kemudian menjadi populer karena menyediakan model komputasi terdistribusi yang lebih fleksibel untuk beban kerja iteratif dan interaktif, termasuk pemrosesan berbasis memori melalui konsep Resilient Distributed Dataset atau RDD (Zaharia et al., 2010). Detail teknologinya akan kita pelajari nanti, tetapi pelajaran awalnya jelas: setiap alat muncul untuk menjawab keterbatasan tertentu dari cara kerja sebelumnya.

Contoh sederhana: menghitung jumlah kemunculan kata dalam jutaan dokumen. Pada satu komputer, kita dapat membaca setiap dokumen, memecah teks menjadi kata, lalu menghitung frekuensinya dalam kamus. Pada klaster berisi banyak komputer, setiap komputer dapat menghitung sebagian dokumen. Setelah itu, hasil parsial harus digabungkan. Kata “data” mungkin muncul di banyak mesin, sehingga sistem perlu membawa semua hitungan untuk kata “data” ke satu tempat logis agar dapat dijumlahkan. Proses membawa dan mengelompokkan data antarpartisi inilah yang sering menjadi mahal. Dalam sistem Big Data, biaya terbesar sering bukan operasi aritmetika sederhana, melainkan pembacaan data dari penyimpanan, perpindahan data melalui jaringan, dan koordinasi antarproses.

Karena itu, buku ini akan sering mengajak Anda bertanya:

• Di mana data berada?
• Dalam format apa data disimpan?
• Seberapa besar data yang dibaca?
• Apakah semua kolom diperlukan?
• Apakah data perlu dipindahkan antarjaringan?
• Apakah hasil dapat dihitung secara incremental?
• Apa yang terjadi jika pekerjaan gagal di tengah jalan?
• Bagaimana kita tahu hasilnya benar?
• Siapa yang boleh mengakses data?
• Berapa biaya menjalankan proses ini setiap hari?

Pertanyaan-pertanyaan tersebut membedakan pemrograman data biasa dari rekayasa sistem data yang matang.

Peran-peran dalam ekosistem Big Data

Di dunia profesional, pekerjaan Big Data sering dibagi ke beberapa peran. Pembagian ini tidak selalu sama di setiap organisasi, tetapi memahami peran-peran tersebut membantu Anda melihat peta kompetensi.

Data engineer membangun pipeline data. Pipeline adalah rangkaian proses yang mengambil data dari sumber, membersihkan atau mengubahnya, menyimpannya, dan menyediakannya untuk penggunaan berikutnya. Contohnya, pipeline yang mengambil data transaksi dari basis data operasional, menghapus duplikasi, mengubah format waktu menjadi UTC, menyimpan hasilnya dalam data lake, lalu memuat agregasi harian ke data warehouse.

Data analyst menggunakan data untuk menjawab pertanyaan bisnis atau organisasi. Ia menulis SQL, membuat dashboard, merancang metrik, melakukan analisis eksploratori, dan mengomunikasikan insight. Contohnya, seorang analis mencari penyebab turunnya tingkat konversi pembayaran dengan membandingkan kanal, metode pembayaran, wilayah, dan jenis perangkat.

Data scientist membangun model statistik atau machine learning untuk prediksi, klasifikasi, rekomendasi, segmentasi, atau optimasi. Contohnya, model yang memperkirakan kemungkinan pelanggan berhenti berlangganan. Namun model yang baik tidak hanya akurat di notebook eksperimen; ia juga harus dapat dijalankan dengan data produksi, dipantau, dan dievaluasi setelah digunakan. Sculley dan rekan-rekannya menunjukkan bahwa sistem machine learning produksi dapat menimbulkan “utang teknis” tersembunyi karena dependensi data, konfigurasi, pelatihan ulang, dan interaksi antarkomponen yang kompleks (Sculley et al., 2015).

Analytics engineer berada di antara data engineering dan data analysis. Fokusnya adalah membuat lapisan data analitik yang rapi, terdokumentasi, teruji, dan mudah digunakan oleh analis atau pengguna bisnis. Misalnya, ia mendefinisikan tabel fakta penjualan, dimensi pelanggan, dan metrik pendapatan bersih agar semua tim memakai definisi yang konsisten.

Data architect merancang struktur besar sistem data: sumber data, penyimpanan, integrasi, keamanan, tata kelola, pemrosesan batch, pemrosesan streaming, data warehouse, data lake, dan platform analitik. Peran ini membutuhkan pemahaman lintas teknologi dan kemampuan membuat trade-off.

Data steward atau pengelola tata kelola data memperhatikan kepemilikan data, definisi, kualitas, akses, kepatuhan, dan katalog data. Peran ini penting karena organisasi besar dapat memiliki ribuan tabel dan ratusan metrik. Tanpa tata kelola, orang dapat memakai istilah yang sama untuk hal berbeda atau memakai data sensitif tanpa kontrol yang tepat.

Buku ini tidak memaksa Anda memilih satu peran sejak awal. Sebaliknya, buku ini memberi fondasi agar Anda memahami seluruh alur. Setelah itu, Anda dapat memperdalam jalur yang paling sesuai dengan minat: rekayasa data, analitik, machine learning, arsitektur cloud, keamanan data, atau tata kelola.

Cara berpikir yang akan dibangun

Ada beberapa kebiasaan berpikir yang akan terus dilatih sepanjang buku ini.

Pertama, berpikir dari definisi. Banyak masalah data berasal dari definisi yang kabur. “Pelanggan aktif”, “transaksi berhasil”, “pengguna baru”, “pendapatan”, dan “retensi” harus didefinisikan secara operasional. Definisi operasional berarti definisi yang cukup jelas untuk dihitung dari data. Misalnya, “pengguna aktif bulanan” dapat didefinisikan sebagai pengguna unik yang melakukan minimal satu sesi login dalam 30 hari kalender terakhir. Definisi ini mungkin belum sempurna, tetapi dapat dihitung, diuji, dan diperdebatkan secara jelas.

Kedua, berpikir dari aliran data. Jangan hanya melihat tabel akhir. Tanyakan dari mana data berasal, bagaimana ia berubah, kapan ia diperbarui, siapa yang mengubahnya, dan apa yang terjadi ketika proses gagal. Istilah data lineage berarti jejak asal-usul dan transformasi data. Jika angka di dashboard salah, lineage membantu kita menelusuri apakah kesalahan berasal dari sumber, proses ingestion, transformasi, agregasi, atau visualisasi.

Ketiga, berpikir dari trade-off. Dalam sistem nyata, jarang ada pilihan yang unggul dalam semua aspek. Penyimpanan kolumnar seperti Parquet sering efisien untuk analitik yang membaca sebagian kolom, tetapi tidak selalu cocok untuk pembaruan baris tunggal yang sangat sering. Pemrosesan real-time memberi hasil cepat, tetapi menambah kompleksitas dibandingkan batch. Replikasi meningkatkan ketersediaan, tetapi membutuhkan mekanisme konsistensi. Indeks mempercepat query tertentu, tetapi menambah biaya penyimpanan dan memperlambat sebagian operasi tulis. Buku ini akan menekankan alasan di balik trade-off tersebut.

Keempat, berpikir dari kegagalan. Sistem Big Data berjalan di atas jaringan, disk, mesin virtual, container, scheduler, layanan cloud, dan perangkat lunak yang semuanya dapat gagal. Sistem yang baik bukan sistem yang menganggap kegagalan tidak terjadi, melainkan sistem yang tahu cara mendeteksi, membatasi dampak, mengulang proses dengan aman, dan memberi peringatan. Martin Kleppmann menekankan bahwa sistem data modern harus dirancang dengan mempertimbangkan reliabilitas, skalabilitas, dan maintainability sejak awal, bukan sebagai tambahan belakangan (Kleppmann, 2017).

Kelima, berpikir dari manusia yang menggunakan data. Dashboard yang benar secara teknis dapat tetap gagal jika membingungkan. Model prediksi yang akurat dapat tetap berbahaya jika digunakan untuk keputusan yang tidak etis. Pipeline yang canggih dapat tidak berguna jika tidak ada dokumentasi dan tidak ada orang yang memahami asumsi datanya. Big Data pada akhirnya adalah praktik sosio-teknis: ia melibatkan perangkat lunak, infrastruktur, organisasi, proses kerja, dan manusia.

Struktur perjalanan buku

Buku ini disusun sebagai jalur lengkap dari dasar hingga praktik profesional.

Bagian awal membangun fondasi. Bab 1 memperkenalkan peta besar Big Data: karakteristik, jenis platform, serta perbedaan antara data tradisional, data berskala besar, data lake, data warehouse, dan platform analitik modern. Bab 2 membahas fondasi berpikir komputasional dan representasi data: algoritma, kompleksitas, struktur data, encoding, format berkas, serialisasi, dan representasi teks, angka, waktu, serta data semi-terstruktur. Bab 3 menyiapkan dasar matematika, statistika, dan probabilitas. Bab 4 memperkuat keterampilan Python dan SQL sebagai bahasa kerja utama dalam banyak tugas data.

Bagian berikutnya masuk ke penyimpanan dan sistem. Bab 5 membahas basis data relasional dan pemodelan data. Bab 6 menjelaskan sistem terdistribusi: partisi, replikasi, konsistensi, fault tolerance, konsensus, latency, throughput, dan CAP theorem. Bab 7 membahas penyimpanan Big Data: file system, object storage, data lake, lakehouse, format CSV, JSON, Avro, ORC, dan Parquet. Bab 8 menempatkan Hadoop dalam sejarah evolusi platform Big Data. Bab 9 membahas MapReduce dari prinsip pertama. Bab 10 membahas Apache Spark sebagai engine pemrosesan data skala besar yang banyak digunakan.

Setelah itu, buku bergerak ke pemodelan, pipeline, dan analitik. Bab 11 membahas NoSQL dan basis data non-relasional. Bab 12 membahas data warehouse, OLAP, star schema, fact table, dimension table, dan desain analitik bisnis. Bab 13 membahas ETL, ELT, ingestion, validasi, scheduling, idempotency, backfill, dan incremental processing. Bab 14 membahas data streaming dan pemrosesan real-time. Bab 15 membahas kualitas data, observability, testing pipeline, data lineage, kontrak data, dan strategi menjaga kepercayaan terhadap data.

Bagian akhir menghubungkan Big Data dengan penggunaan profesional. Bab 16 membahas analitik eksploratori dan visualisasi. Bab 17 membahas machine learning pada skala Big Data. Bab 18 membahas arsitektur cloud. Bab 19 membahas orkestrasi, deployment, container, Kubernetes, CI/CD, dan versioning. Bab 20 membahas keamanan, privasi, etika, dan tata kelola. Bab 21 membahas optimasi performa dan biaya. Bab 22 menyatukan semua komponen menjadi arsitektur end-to-end. Bab 23 menghadirkan studi kasus industri. Bab 24 memandu proyek akhir dan portofolio profesional.

Urutan ini sengaja dibuat bertahap. Anda akan lebih mudah memahami Spark jika sudah memahami partisi data, kompleksitas, format penyimpanan, dan sistem terdistribusi. Anda akan lebih matang membangun pipeline jika sudah memahami SQL, basis data, skema, kualitas data, dan orkestrasi. Anda akan lebih bertanggung jawab memakai machine learning jika sudah memahami sampling, bias, validasi, data leakage, dan dampak etis.

Contoh perjalanan satu data

Untuk memberi gambaran konkret, mari ikuti perjalanan satu peristiwa sederhana: pengguna menekan tombol “Beli” pada aplikasi e-commerce.

Pada saat tombol ditekan, aplikasi menghasilkan event, yaitu catatan bahwa sesuatu terjadi pada waktu tertentu. Event tersebut dapat berisi user_id, product_id, timestamp, price, payment_method, dan session_id. Event dikirim ke sistem backend. Backend mungkin menyimpan transaksi ke basis data relasional karena transaksi pembayaran membutuhkan konsistensi yang kuat. Pada saat yang sama, salinan event dapat dikirim ke message broker seperti Kafka agar sistem analitik, notifikasi, fraud detection, dan rekomendasi dapat memprosesnya secara terpisah.

Data mentah kemudian masuk ke data lake. Di sana, data disimpan apa adanya atau dengan transformasi minimal. Pipeline harian membaca data mentah, memvalidasi skema, menghapus duplikasi, memperbaiki format waktu, dan menghasilkan tabel transaksi bersih. Tabel bersih dimuat ke data warehouse agar analis dapat menulis SQL untuk menghitung pendapatan harian. Pipeline lain membuat fitur untuk model machine learning, misalnya jumlah pembelian pengguna dalam 30 hari terakhir. Dashboard menampilkan pendapatan, jumlah pesanan, tingkat keberhasilan pembayaran, dan produk terlaris. Sistem observability memantau apakah jumlah event tiba-tiba turun, apakah schema berubah, atau apakah pipeline gagal.

Dari satu klik pengguna, kita sudah melihat hampir seluruh dunia Big Data: event, ingestion, basis data operasional, message broker, data lake, transformasi, warehouse, analitik, machine learning, dashboard, kualitas data, observability, dan tata kelola akses. Buku ini akan mengurai satu per satu komponen tersebut sampai Anda tidak hanya mengenal namanya, tetapi memahami prinsip kerjanya.

Apa yang diharapkan dari pembaca?

Buku ini ditujukan untuk mahasiswa S1. Anda tidak harus sudah menjadi programmer ahli, tetapi sebaiknya bersedia belajar pemrograman, SQL, matematika dasar, dan cara berpikir sistematis. Jika Anda belum kuat di salah satu bagian, gunakan buku ini sebagai peta. Bacalah perlahan, kerjakan contoh, dan jangan ragu kembali ke bab sebelumnya.

Ketika bertemu kode, jangan hanya membaca. Ketik ulang, jalankan, ubah sedikit, dan amati hasilnya. Ketika bertemu diagram arsitektur, jangan hanya menghafal panahnya. Tanyakan data mengalir dari mana ke mana, apa yang terjadi jika satu komponen gagal, dan siapa pengguna hasil akhirnya. Ketika bertemu metrik, tanyakan definisinya. Ketika bertemu model, tanyakan data latihnya. Ketika bertemu klaim “real-time”, tanyakan berapa detik atau menit yang dimaksud dan apakah kebutuhan bisnis benar-benar memerlukannya.

Kemampuan Big Data dibangun melalui kombinasi teori dan praktik. Teori memberi bahasa dan kerangka berpikir. Praktik memberi kepekaan terhadap detail: format waktu yang tidak seragam, data duplikat, query lambat, biaya cloud yang naik, pipeline yang gagal karena perubahan skema, dashboard yang disalahartikan, atau model yang menurun performanya setelah pola pengguna berubah.

Orientasi akhir

Big Data adalah ilmu dan praktik untuk membuat data berskala besar dapat disimpan, diproses, dianalisis, diamankan, dan digunakan secara bertanggung jawab. Ia bukan hanya tentang ukuran data, bukan hanya tentang Hadoop atau Spark, bukan hanya tentang machine learning, dan bukan hanya tentang dashboard. Ia adalah rangkaian keputusan teknis dan organisasi yang saling berhubungan.

Jika ada satu sikap yang perlu Anda bawa sepanjang buku ini, sikap itu adalah ketelitian. Teliti terhadap definisi, teliti terhadap asal data, teliti terhadap asumsi statistik, teliti terhadap kegagalan sistem, teliti terhadap biaya, dan teliti terhadap dampak sosial. Dengan ketelitian itu, Big Data tidak menjadi kumpulan istilah besar yang membingungkan, melainkan alat berpikir dan bekerja yang kuat.

Pada bab berikutnya, kita akan mulai dengan peta besar: apa sebenarnya yang dimaksud Big Data, bagaimana karakteristik volume, velocity, variety, veracity, dan value membantu kita memahami persoalan data modern, serta bagaimana membedakan data tradisional, data berskala besar, data lake, data warehouse, dan platform analitik modern.

References

Dean, J., & Ghemawat, S. (2004). MapReduce: Simplified Data Processing on Large Clusters. Proceedings of the 6th Symposium on Operating Systems Design and Implementation (OSDI).

Ghemawat, S., Gobioff, H., & Leung, S.-T. (2003). The Google File System. Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP).

Hey, T., Tansley, S., & Tolle, K. (Eds.). (2009). The Fourth Paradigm: Data-Intensive Scientific Discovery. Microsoft Research.

Kleppmann, M. (2017). Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems. O’Reilly Media.

Laney, D. (2001). 3D Data Management: Controlling Data Volume, Velocity, and Variety. META Group Research Note.

O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown.

Sculley, D., Holt, G., Golovin, D., Davydov, E., Phillips, T., Ebner, D., Chaudhary, V., Young, M., Crespo, J.-F., & Dennison, D. (2015). Hidden Technical Debt in Machine Learning Systems. Advances in Neural Information Processing Systems 28 (NIPS 2015).

Zaharia, M., Chowdhury, M., Franklin, M. J., Shenker, S., & Stoica, I. (2010). Spark: Cluster Computing with Working Sets. Proceedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing (HotCloud).