Praktik pengumpulan data semakin mendapat perhatian dan kecanggihan. Pengikisan web, dan proses akuisisi otomatis pada umumnya, mengubah sifat pengumpulan data sedemikian rupa sehingga tantangan lama terpecahkan dan masalah baru muncul.
Salah satunya adalah pemilihan data yang berkaitan dengan dinamika. Karena sekarang kami dapat mengumpulkan volume informasi yang tidak terpikirkan hanya dalam hitungan detik, mendapatkan sampel tertentu tidak lagi menjadi masalah. Selain itu, dalam bisnis, kita akan sering menjelajahi sumber yang sama berulang kali untuk memantau persaingan, merek, dan hal lain yang relevan dengan industri.
Dinamika data, dengan demikian, merupakan masalah pengoptimalan. Menyegarkan data setiap saat mungkin tidak diperlukan jika bidang tertentu mungkin tidak sering diperbarui, atau perubahan tersebut mungkin tidak penting untuk kasus penggunaan.
Data statis vs dinamis
Data statis dapat didefinisikan dengan cara dua kali lipat. Sebagai objek informasi, ini adalah objek yang tidak (sering) berubah. Contoh sumber tersebut dapat berupa artikel editorial, nama negara atau kota, deskripsi peristiwa dan lokasi, dll. Laporan berita faktual, setelah diterbitkan, tidak akan pernah berubah di masa mendatang.
Data dinamis, di sisi lain, adalah sesuatu yang terus berubah, seringkali karena faktor eksternal. Jenis data dinamis yang sering dijumpai mungkin berupa harga produk, nomor stok, jumlah pemesanan, dll.
Di suatu tempat di tengah terletak zona senja dari kedua definisi tersebut, seperti halnya ketika Anda mencoba memasukkan semuanya ke dalam kotak kecil yang rapi. Ada objek informasi seperti deskripsi produk, judul meta artikel, dan konten komersial yang sering berubah.
Apakah ini termasuk dalam data statis atau dinamis akan bergantung pada tujuan penggunaan. Proyek, terlepas dari jenis datanya, akan memiliki lebih banyak atau lebih sedikit penggunaan untuk sumber informasi tertentu. Alat SEO, misalnya, mungkin kurang menghargai data harga, tetapi ingin menyegarkan judul meta, deskripsi, dan banyak fitur lainnya.
Model penetapan harga, di sisi lain, jarang digunakan untuk deskripsi produk yang sering diperbarui. Mereka mungkin perlu mengambilnya sekali untuk tujuan pencocokan produk. Jika diperbarui untuk tujuan SEO, masih belum ada alasan untuk mengunjungi kembali deskripsi tersebut.
Memetakan data Anda
Setiap analisis data dan proyek pengumpulan akan memiliki kebutuhannya. Kembali ke contoh model harga, dua fitur teknis akan diperlukan — pencocokan produk dan data harga.
Produk harus dicocokkan karena setiap penerapan penetapan harga otomatis memerlukan akurasi. Produk yang tidak cocok dan perubahan harga dapat menyebabkan kerugian pendapatan yang sangat besar, terutama jika perubahan tersebut tidak ditangani.
Sebagian besar pencocokan terjadi melalui judul, deskripsi, dan spesifikasi produk. Dua yang pertama akan sering berubah, terutama di platform e-niaga, di mana pengoptimalan kata kunci merupakan faktor peringkat yang penting. Namun, mereka tidak akan berdampak pada kemampuan untuk mencocokkan identitas produk karena fitur dasar tidak akan berubah (mis., iPhone akan selalu menjadi iPhone).
Dengan demikian, deskripsi dan judul dapat diperlakukan sebagai data statis, meskipun agak dinamis. Untuk tujuan proyek, perubahan tersebut hampir tidak berdampak untuk menjamin pemantauan berkelanjutan.
Data penetapan harga, seperti yang mungkin sudah jelas, tidak hanya terus berubah secara alami, tetapi menangkap setiap perubahan saat terjadi akan sangat penting untuk proyek. Dengan demikian, itu pasti akan dianggap sebagai data dinamis.
Mengurangi biaya dengan pemetaan
Terlepas dari metode integrasi, baik internal maupun eksternal, praktik pengumpulan dan penyimpanan data mahal. Selain itu, sebagian besar perusahaan akan menggunakan solusi penyimpanan berbasis cloud, yang dapat memasukkan semua penulisan ke dalam biaya keseluruhan, yang berarti bahwa penyegaran data akan menghemat anggaran.
Memetakan tipe data (yaitu, statis atau dinamis) dapat mengoptimalkan proses pengumpulan data melalui beberapa cara. Pertama, halaman dapat dikategorikan ke dalam data statis, data dinamis, atau campuran. Sementara kategori pertama mungkin agak dangkal, itu masih menunjukkan bahwa tidak perlu sering mengunjungi kembali halaman tersebut, jika sama sekali.
Halaman campuran juga dapat mempermudah pengurangan biaya penulisan dan penyimpanan. Mengurangi jumlah data yang ditransfer dari satu tempat ke tempat lain dengan sendirinya merupakan bentuk pengoptimalan, tetapi ini menjadi lebih relevan ketika bandwidth, baca/tulis, dan biaya penyimpanan diperhitungkan.
Karena, bagaimanapun, scraper biasanya mengunduh seluruh HTML, setiap kunjungan ke URL akan menyimpan seluruh objek di memori. Dengan penggunaan penyedia eksternal, biaya biasanya dialokasikan per permintaan, sehingga tidak ada perbedaan antara memperbarui semua kolom data atau hanya yang dinamis.
Namun, dalam beberapa aplikasi, data historis mungkin diperlukan. Mengunduh dan memperbarui bidang yang sama dengan data yang sama setiap periode waktu akan menghabiskan biaya tulis dan penyimpanan tanpa alasan yang jelas. Fungsi perbandingan sederhana dapat diimplementasikan yang memeriksa apakah ada yang berubah dan hanya melakukan penulisan jika sudah demikian.
Akhirnya, dengan pipa gesekan internal, semua hal di atas masih berlaku, namun, pada tingkat yang jauh lebih besar. Biaya dapat dioptimalkan dengan mengurangi goresan yang tidak perlu, membatasi jumlah penulisan, dan hanya mem-parsing bagian HTML yang diperlukan.
Pada akhirnya, mengembangkan kerangka kerja mengambil langkah pertama menuju pengoptimalan yang sebenarnya. Mereka mungkin memulai, seperti ini, sebagai terlalu teoretis, tetapi kerangka kerja memberi kita lensa untuk menafsirkan proses yang sudah ada.
Kredit gambar: agsandrew/ depositphotos
Julius Černiauskas adalah Chief Executive Officer di Oxylabs.
