Kecerdasan Buatan (AI) telah menjadi topik hangat sejak lama, tetapi dampaknya terhadap masyarakat kita dan perusahaan baru mulai terwujud. AI dan bentuk pembelajaran mesin dan pembelajaran mendalam lainnya akan merevolusi bisnis, mengotomatiskan tugas yang berulang, dan mempercepat hasil — semuanya berdasarkan kumpulan data yang sangat besar.
Mengembangkan aplikasi deep learning umumnya mengikuti proses tiga langkah:
Persiapan data, di mana sejumlah besar “bahan mentah” diubah menjadi pelatihan dataModel yang dapat digunakan, di mana program perangkat lunak dilatih untuk mempelajari kemampuan baru dari dataInference, di mana (seperti tersirat) program menerapkan pembelajaran baru ini ke data baru
Semua ini menambah pertumbuhan data yang sangat besar. Analis industri memproyeksikan bahwa data tidak terstruktur — file dan objek — akan berlipat ganda atau bahkan tiga kali lipat kapasitasnya dalam beberapa tahun mendatang. Salah satu pendorong besar pertumbuhan ini adalah kasus penggunaan AI, pembelajaran mesin, dan pembelajaran mendalam.
Data “era berikutnya” ini menciptakan beberapa tantangan tersendiri bagi para pemimpin infrastruktur TI. Pertama, kumpulan data berada pada skala dan volume yang secara eksponensial lebih besar dari sebelumnya. Beberapa pelanggan kami yang mengembangkan teknologi bantuan pengemudi — pada dasarnya adalah bentuk pembelajaran mesin, khususnya visi mesin — telah menghasilkan lebih dari satu exabyte data hanya dalam beberapa tahun. Jadi skalanya masif.
Selain itu, aplikasi deep learning sangat menuntut kinerja infrastruktur penyimpanan. Pemrosesan kumpulan data besar yang tidak terstruktur ini membutuhkan latensi yang sangat rendah, dan yang terpenting kinerjanya harus konsisten pada skala besar. Sistem penyimpanan berbasis disk, yang didasarkan pada hard drive serial, tidak dapat memenuhi persyaratan ini. Hal ini menyebabkan pertumbuhan penyimpanan file dan objek all-flash, dan pertumbuhan itu akan meningkat dalam lima tahun ke depan karena harga flash turun, dan karena arsitektur baru menggunakan teknologi memori seperti Non-Volatile Memory Express (NVMe), dan Remote Direct Memory Access (RDMA) yang memungkinkan arsitektur penyimpanan terdistribusi ultra-low-latency. Jadi kinerja sistem penyimpanan harus ditingkatkan dengan urutan besarnya.
Terakhir — data tidak tinggal di satu tempat. Itu dihasilkan di luar pusat data, dipindahkan ke suatu tempat untuk diproses. Ini mungkin di cloud publik, mungkin di pusat data, atau kemungkinan besar bagian dari pipa data terjadi di kedua tempat. Jadi, pergerakan dan pengelolaan data ini di seluruh siklus hidupnya merupakan pertimbangan utama. Dan semakin banyak, kumpulan data ini akan disimpan selama beberapa dekade — bukan lima atau tujuh tahun. Secara khusus, kumpulan data besar yang digunakan untuk persiapan data, serta model itu sendiri, dapat disimpan selama beberapa dekade atau lebih jika model harus dilatih ulang.
Semua faktor ini telah memberi tekanan pada arsitektur penyimpanan lama. Sebagian besar data tidak terstruktur di dunia disimpan pada sistem yang dirancang lebih dari 20 tahun yang lalu. Sistem ini dirancang pada saat sebagian besar file yang dibuat dibuat oleh orang-orang, bukan perangkat, dan gagasan tentang triliunan file dan objek serta data exabyte yang akan disimpan selama beberapa dekade tidak ada di cakrawala.
Untuk pembuat keputusan infrastruktur TI, jika bisnis Anda memiliki inisiatif transformasi digital, atau inisiatif bisnis baru yang berbasis kecerdasan buatan, pembelajaran mesin, atau pembelajaran mendalam, infrastruktur penyimpanan data Anda mungkin menghambat bisnis Anda. Ini mungkin memengaruhi produktivitas ilmuwan data, pembuat konten, dan analis yang mengandalkan data ini setiap hari untuk memberikan hasil. Dan itu pasti menyebabkan Anda melakukan pertukaran yang tidak adil untuk mencoba dan membuatnya berhasil. Ambil langkah selanjutnya sekarang untuk menilai seperti apa arsitektur generasi berikutnya, untuk mendukung AI generasi berikutnya dan aplikasi pembelajaran mendalam.
Kredit Foto: Foto foton/Shutterstock
Eric Bassier adalah Direktur Senior Produk di Quantum.
