kapalomen: Hadoop, Perkenalan dengan Big Data Manfaat dan Teknologi Big Data

Hadoop adalah kerangka kerja open source yang memungkinkan untuk menyimpan dan mengolah data yang besar dalam lingkungan terdistribusi di cluster komputer menggunakan model pemrograman sederhana. Hal ini dirancang untuk meningkatkan dari server tunggal untuk ribuan mesin, masing-masing menawarkan komputasi dan penyimpanan lokal.

Postingan singkat kali ini memberikan pengenalan cepat untuk Big Data, algoritma MapReduce, dan Hadoop Distributed File System

Karena munculnya teknologi baru, perangkat, dan alat komunikasi seperti jaringan sosial, jumlah data yang dihasilkan oleh manusia ini berkembang pesat setiap tahun. Jumlah data yang dihasilkan oleh kami dari awal waktu sampai 2003 adalah 5 miliar gigabyte. Jika Anda menumpuk data dalam bentuk disk itu dapat mengisi penuh seluruh lapangan sepak bola. Jumlah yang sama diciptakan pada setiap dua hari di 2011, dan di setiap sepuluh menit pada tahun 2013. Tingkat ini masih berkembang pesat. Meskipun semua informasi ini diproduksi bermakna dan dapat berguna ketika diproses,itu menjadi diabaikan.

90% dari data dunia dihasilkan dalam beberapa tahun terakhir.

Apa yang dimaksud dengan Big Data ?

Big Data benar-benar berarti data besar, merupakan koleksi data set besar yang tidak dapat diproses menggunakan teknik komputasi tradisional. Big data tidak hanya data, melainkan telah menjadi subjek yang lengkap, yang melibatkan berbagai alat, technqiues dan kerangka kerja.

Apa yang menghadirkan pada Big data ?

Big data melibatkan data yang dihasilkan oleh perangkat yang berbeda dan aplikasi. Diberikan di bawah ini adalah beberapa bidang yang menhadirkan Big data.

• Black Box Data : Itu adalah komponen dari helikopter, pesawat terbang, dan jet, dll. Menangkap suara awak pesawat, rekaman mikrofon dan earphone, dan informasi kinerja pesawat.
• Sosial Media Data : Media sosial seperti Facebook dan Twitter memegang informasi dan pandangan yang dikirim oleh jutaan orang di seluruh dunia.
• Stock Exchange Data / Bursa Data : Data Bursa memegang informasi tentang 'beli' dan 'Jual' keputusan yang dibuat pada bagian dari perusahaan yang berbeda yang dilakukan oleh nasabah.
• Power Grid Data : Data grid listrik memegang informasi yang dikonsumsi oleh node tertentu sehubungan dengan stasiun base.
• Transportasi Data : Transport data mencakup model, kapasitas, jarak dan ketersediaan kendaraan.
• Search Engine Data / Data mesin pencarian: Mesin pencari mengambil banyak data dari database yang berbeda.

Dengan demikian Data yang besar mencakup volume besar, kecepatan tinggi dan extensible berbagai data. Data di dalamnya akan menjadi tiga jenis.

• Structured data / Terstruktur data : data relasional.
• Semi terstruktur data : XML data.
• Unstructured data : Word, PDF, teks, Media log.

Manfaat Big Data

Data yang besar benar-benar penting untuk kehidupan kita dan muncul sebagai salah satu teknologi yang paling penting dalam dunia modern. Berikut adalah hanya beberapa manfaat yang sangat dikenal kepada kita semua:

• Menggunakan informasi yang disimpan di jaringan sosial seperti Facebook, badan-badan pemasaran belajar tentang respons untuk campaigns mereka, promosi, dan media iklan lainnya.
• Menggunakan informasi di media sosial seperti preferensi dan persepsi produk konsumen mereka, produk perusahaan dan organisasi ritel merencanakan produksi mereka.
• Menggunakan data mengenai riwayat medis pasien, rumah sakit menyediakan pelayanan yang cepat dan lebih baik.

Teknologi Big Data

Teknologi Big data mengakibatkan pengambilan keputusan lebih konkret yang menghasilkan efisiensi operasional yang lebih besar, pengurangan biaya, dan mengurangi risiko untuk bisnis.

Untuk memanfaatkan kekuatan Big data, Anda akan memerlukan infrastruktur yang dapat mengelola dan proses volume yang besar data terstruktur dan tidak terstruktur dalam realtime dan dapat melindungi privasi dan keamanan.

Ada berbagai teknologi di pasar dari vendor yang berbeda termasuk Amazon, IBM, Microsoft, dll, untuk menangani Big data. Sambil melihat ke dalam teknologi yang menangani data besar, kami memeriksa berikut dua kelas teknologi:

Big Data operasional

Ini termasuk sistem seperti MongoDB yang memberikan kemampuan operasional untuk real-time, interaktif beban kerja dimana data terutama ditangkap dan disimpan.

Sistem Big data NoSQL dirancang untuk mengambil keuntungan dari arsitektur yang muncul selama dekade terakhir untuk memungkinkan besar-besaran perhitungan untuk dijalankan murah dan efisien cloud computing yang baru. Hal ini membuat beban kerja operasional Big data jauh lebih mudah untuk mengelola, lebih murah dan lebih cepat untuk menerapkan.

Beberapa sistem NoSQL dapat memberikan wawasan dan pola tren berdasarkan data real-time dengan minimal coding dan tanpa memerlukan data ilmuwan dan tambahan tanggal infrastructure.

*NoSQL adalah istilah yang dikenal dalam teknologi komputasi untuk merujuk kepada kelas yang luas dari sistem manajemen basis data yang di identifikasikan dengan tidak mematuhi aturan pada model sistem manajemen basis data relasional yang banyak digunakan.

Analisa Data yang besar

Ini termasuk sistem seperti sistem database Massively Parallel Processing (MPP) dan MapReduce yang memberikan kemampuan analitis untuk analisis retrospektif dan kompleks yang boleh menyentuh paling atau semua data.

MapReduce menyediakan metode baru menganalisis data yang komplementer untuk kemampuan yang disediakan oleh SQL, dan sistem yang didasarkan pada MapReduce yang dapat ditingkatkan dari satu server ke ribuan tinggi dan rendah mesin akhir.

Kedua-dua kelas teknologi komplementer dan sering digunakan bersama-sama.

Tantangan utama Big Data

Tantangan utama yang terkait dengan data yang besar adalah sebagai berikut:

• Menangkap data
• Curation
• Penyimpanan
• Mencari
• Berbagi
• Transfer
• Analisis
• Presentasi

Untuk memenuhi tantangan di atas, organisasi biasanya mengambil bantuan dari server perusahaan.