Apa keterampilan dan tanggung jawab big data engineer?
Insinyur data besar mengumpulkan, menyiapkan, dan menyerap data organisasi ke dalam lingkungan data besar. Mereka mempersiapkan dan membuat proses ekstraksi data dan saluran data yang mengotomatisasi data dari berbagai sistem sumber internal dan publik. Insinyur data besar juga membuat algoritme yang mengubah data menjadi format operasional atau bisnis.
Mendapatkan posisi big data engineer yang sukses membutuhkan pemahaman tentang:
- Pola dasar data umum, fungsi penulisan dan pengkodean, algoritma, pengembangan logika, aliran kontrol, pemrograman berorientasi objek, bekerja dengan perpustakaan eksternal dan mengumpulkan data dari berbagai sumber. Ini termasuk memiliki pengetahuan scraping, API, database, dan repositori yang tersedia untuk umum.
- Sumber data terstruktur (seperti RDBMS, spreadsheet), semi terstruktur (seperti file log, XML, JSON) dan tidak terstruktur (seperti teks, video, audio, gambar, getaran).
- Database relasional (seperti SQL, diagram hubungan entitas, pemodelan dimensi) dan database NoSQL (seperti Hadoop, Spark, database pemrosesan paralel besar-besaran).
- Kueri basis data berbasis SQL menggunakan gabungan, agregasi, dan subkueri.
- Alat sumber terbuka, yang dapat mencakup produk pemrosesan data waktu nyata seperti Beam, Kafka, Spark Streaming; database deret waktu seperti InfluxDB; database relasional seperti Postgres, database grafik seperti Neo4j; dan lingkungan pengembangan seperti Git dan GitHub.
- Alat abstraksi seperti Kubernetes.
- Menguasai bahasa pemrograman dan scripting komputer (C, C++, Java, Python). Serta kemampuan untuk membuat pemrograman dan logika pemrosesan.
- Pengalaman dengan algoritme pembelajaran mesin dan pembelajaran mesin otomatis (AutoML) untuk mengotomatisasi dan membangun aliran dan jalur pemrosesan data yang terus dipelajari.
