Web scraping adalah seni mengekstrak data dari internet. Dalam hal aplikasinya, ia memiliki banyak sekali aplikasi. Salah satunya adalah perbandingan harga dari situs web yang berbeda. Belanja online telah menjadi booming di industri ini sekarang, dan membandingkan harga produk tertentu telah menjadi suatu keharusan. Kita semua mengunjungi beberapa situs web ketika kita perlu membeli produk tertentu, tetapi pernahkah Anda berpikir untuk membuat alat perbandingan harga yang melakukan pekerjaan yang sama untuk Anda dan memberikan penawaran terbaik di depan Anda?
Pada artikel ini, kami akan membuat web scraping yang luar biasa untuk alat perbandingan harga di Python yang memungkinkan Anda melacak harga produk di berbagai sumber dan memberi tahu Anda tentang kinerja pesaing yang berbeda di pasar. Selain itu, alat ini juga akan memberi tahu bisnis apakah harga produk tertentu naik atau turun dari harga yang diprediksi.
Sumber data yang akan kita gunakan untuk artikel ini adalah file JSON, dan kita akan membandingkan harga produk yang kita dapatkan dari Amazon, eBay, dan Walmart. Contoh data kami terlihat seperti di bawah ini,
Jangan ragu untuk melompat ke bagian mana pun untuk mempelajari lebih lanjut tentang web scraping untuk perbandingan harga di python!
[
{
"last_visited": "2018-01-30T13:38:01",
"name": "PUMA Men's Evospeed 17.4 TT Soccer Shoe",
"amazon_price": 36.94,
"ebay_price": 37,
"walmart_price": 37,
"amazon_url": "https://www.amazon.com/PUMA-Evospeed-Soccer-Ultra-Yellow-Peacoat-Orange/dp/B01J5LEMZI/",
"ebay_url": "https://www.ebay.com/itm/PUMA-Mens-Evospeed-17-4-Tt-Soccer-Shoe/302471489090",
"walmart_url": "https://www.walmart.com/ip/PUMA-Men-s-Evospeed-17-4-Tt-Soccer-Shoe/587074448",
"description": "The new evospeed 17.4 is a performance football boot for players of all levels. The soft and lightweight synthetic leather on the upper keeps the boot lightweight, comfortable and ensures durability. The lightweight outsole offers the perfect balance between traction, stability and acceleration PUMA is the global athletic brand that successfully fuses influences from sport, lifestyle and fashion. PUMA's unique industry perspective delivers the unexpected in sport-lifestyle footwear, apparel and accessories, through technical innovation and revolutionary design.",
"brand": "PUMA",
"image": "https://images-na.ssl-images-amazon.com/images/I/61v1mylcAqL._UL1500_.jpg"
},
{
"last_visited": "2018-01-30T13:38:07",
"name": "L'Oreal Paris Skin Care Revitalift Cicacream Face Moisturizer",
"amazon_price": 13.97,
"ebay_price": 13.99,
"walmart_price": 13.97,
"amazon_url": "https://www.amazon.com/LOreal-Paris-Revitalift-Cicacream-Moisturizer/dp/B074MBDRHW",
"ebay_url": "https://www.ebay.com/itm/LOREAL-Paris-NEW-Revitalift-Cicacream-Anti-Wrinkle-Skin-Barrier-Repair-ORIGINAL/112715734801",
"walmart_url": "https://www.walmart.com/ip/L-Or-al-Paris-Revitalift-Cicacream-Anti-Wrinkle-Skin-Barrier-Repair/519350834",
"description": "Skin's moisture barrier weakens with age, resulting in greater moisture loss, more prominent wrinkles and loss of firmness. Lightweight, protective cream is formulated with Pro-Retinol, a powerful wrinkle-fighting ingredient and Centella Asiatica, an herb used in traditional Chinese medicine. Strengthens and repairs skin barrier to help resist visible lines, loss of firmness and other signs of aging that a weakened skin barrier can accentuate. See visible results immediately: skin feels healthier, softer, smoother and more supple. Skin feels noticeably more hydrated. Skin barrier is stronger, helping to resist signs of aging. In two weeks: fine lines appear visibly reduced. Firmness and elasticity look noticeably improved. In four weeks: wrinkles appear less visible. Clarity and tone improves, skin exudes luminosity. Skin continues to look and feel soft, smooth, healthy.",
"brand": "L'Oreal Paris",
"image": "https://images-na.ssl-images-amazon.com/images/I/71Ff2vn4vjL._SL1500_.jpg"
},
{
"last_visited": "2018-01-30T13:38:12",
"name": "Adidas Dynamic Pulse By Adidas For Men",
"amazon_price": 6.96,
"ebay_price": 18.99,
"walmart_price": 7,
"amazon_url": "https://www.amazon.com/Adidas-Dynamic-Toilette-3-4-Ounce-Bottle/dp/B000VON5F2/",
"ebay_url": "https://www.ebay.com/itm/Adidas-DYNAMIC-PULSE-Cologne-for-Men-3-4-oz-edt-3-3-Spray-New-in-BOX/252837623533",
"walmart_url": "https://www.walmart.com/ip/Adidas-Dynamic-Pulse-for-Men-3-4-oz-EDT/28664356",
"description": "Launched by the design house of Adidas in 1997, ADIDAS DYNAMIC PULSE is a men's fragrance that possesses a blend of A fresh scent of citrus, cedar and mint with low tones of sweet fruits, fragrant woods and tonka bean. It is recommended for daytime wear.When applying any fragrance please consider that there are several factors which can affect the natural smell of your skin and, in turn, the way a scent smells on you. For instance, your mood, stress level, age, body chemistry, diet, and current medications may all alter the scents you wear. Similarly, factor such as dry or oily skin can even affect the amount of time a fragrance will last after being applied",
"brand": "adidas",
"image": "https://images-na.ssl-images-amazon.com/images/I/41%2BAnOP5nbL.jpg"
},
{
"last_visited": "2018-01-30T13:38:19",
"name": "Canon EOS Rebel T6 Digital SLR Camera",
"amazon_price": 449,
"ebay_price": 449,
"walmart_price": 449,
"amazon_url": "https://www.amazon.com/Canon-Digital-Camera-18-55mm-3-5-5-6/dp/B01CO2JPYS",
"ebay_url": "https://www.ebay.com/itm/Canon-EOS-Rebel-T6-DSLR-Camera-with-18-55mm-Lens/232596041502",
"walmart_url": "https://www.walmart.com/ip/Canon-EOS-Rebel-T6-DSLR-Camera-with-18-55mm-Lens-Black/50820749",
"description": "",
"brand": "Canon",
"image": "https://images-na.ssl-images-amazon.com/images/I/81YszfZS8%2BL._SL1500_.jpg"
},
{
"last_visited": "2018-01-30T13:38:25",
"name": "Woodland Fox Critter 36' Mylar Balloon",
"amazon_price": 5.49,
"ebay_price": 6.49,
"walmart_price": 7.6,
"amazon_url": "https://www.amazon.com/Woodland-Fox-Critter-Mylar-Balloon/dp/B00S9TKVYO",
"ebay_url": "https://www.ebay.com/itm/Woodland-Critters-Fox-36-inch-Foil-Balloon/132058119680",
"walmart_url": "https://www.walmart.com/ip/Woodland-Fox-Foil-Balloon/43350002",
"description": "Celebrate any occasion with an adorable woodland fox critter balloon! 36\" Woodland Critters fox shape foil balloon.",
"brand": "Betallic",
"image": "https://images-na.ssl-images-amazon.com/images/I/71Z9bG-BzuL._SL1500_.jpg"
}
]Beberapa field penting yang relevan dengan skrip yang sedang kita tulis adalah amazon_price, ebay_price, dan walmart_price.
Sekarang kita telah melihat data kita. Jadi, mari kita masuk ke fase pengembangan.
Kita akan membuat alat ini di Python 3.x, dan pertama-tama, kita akan menggunakan pustaka JSON untuk mengurai JSON dan memprosesnya lebih lanjut. Alat ini menyediakan fungsionalitas yang luar biasa dengan mencetak nama produk dan harga situs. Kita akan mengimpor library JSON untuk mengurai JSON.
import jsonSekarang kita akan memanggil fungsi open() di dalam potongan kode untuk membaca konten dari berkas JSON,
import json
if __nama__ == '__utama__':
data_harga = Tidak ada
harga = []
with open('data.json', encoding ='utf8') as f:
harga_data = f.read()
if harga_data bukan None:
json_harga_data = json.loads(harga_data)Setelah data JSON kita dibaca, kita akan mengonversinya ke dalam struktur data bawaan Python, di mana kode akan memanggil metode json.loads() untuk mengonversi string JSON ke dalam kamus atau daftar kamus, bergantung pada entri-entrinya.
Karena tujuan utamanya adalah menemukan toko yang menjual produk dengan harga terendah, target kami adalah menemukan harga minimum dan detail lain yang relevan seperti produk dan nama toko. Info harga dari toko yang relevan disimpan dalam kunci amazon_price, ebay_price , dan Walmart_price. Untuk menemukan harga minimum setiap produk, kita perlu mengulang item daftar harga.
for d in json_price_data:
price.append({'name': d['name'], 'price': float(d['amazon_price']), 'url': d['amazon_url']})
price.append({'name': d['name'], 'price': float(d['walmart_price']), 'url': d['walmart_url']})
price.append({'name': d['name'], 'price': float(d['ebay_price']), 'url': d['ebay_url']})
minPricedItem = min(price, key=lambda x: x['price'])
print(minPricedItem)
print('=================')
price = []Kita menggunakan lambdas dan mengatur kunci min() untuk memastikan bidang harga sedang dibandingkan. Ini menghasilkan keluaran sebagai berikut:
Mari kita susun ulang formatnya sedikit.
for d in json_price_data:
price.append({'name': d['name'], 'price': d['amazon_price'], 'url': d['amazon_url']})
price.append({'name': d['name'], 'price': d['walmart_price'], 'url': d['walmart_url']})
price.append({'name': d['name'], 'price': d['ebay_price'], 'url': d['ebay_url']})
minPricedItem = min(price, key=lambda x: float(x['price']))
store_name = ''
# Pick the store name based on url
if 'amazon' in minPricedItem['url'].lower():
store_name = 'Amazon'
elif 'walmart' in minPricedItem['url'].lower():
store_name = 'Amazon'
elif 'ebay' in minPricedItem['url'].lower():
store_name = 'eBay'
print('{} is available in cheap price at {}. The price is ${}'.format(minPricedItem['name'], store_name,
minPricedItem['price']))
price = []Ini akan memberikan output sebagai berikut:
Selamat! Kami telah berhasil membuat skrip yang dapat Anda jalankan secara berkala untuk mendapatkan harga terbaru dari produk.
ProxyScrape adalah salah satu penyedia proxy paling populer dan dapat diandalkan secara online. Tiga layanan proxy termasuk server proxy pusat data khusus, server proxy perumahan, dan server proxy premium. Jadi, apa solusi terbaik untuk proxy HTTP terbaik untuk web scraping untuk perbandingan harga menggunakan python? Sebelum menjawab pertanyaan itu, yang terbaik adalah melihat fitur-fitur dari setiap server proxy.
Proxy pusat data khusus paling cocok untuk tugas-tugas online berkecepatan tinggi, seperti streaming data dalam jumlah besar (dalam hal ukuran) dari berbagai server untuk tujuan analisis. Ini adalah salah satu alasan utama organisasi memilih proksi khusus untuk mentransmisikan data dalam jumlah besar dalam waktu singkat.
Proksi pusat data khusus memiliki beberapa fitur, seperti bandwidth tak terbatas dan koneksi bersamaan, proksi HTTP khusus untuk komunikasi yang mudah, dan otentikasi IP untuk keamanan lebih. Dengan waktu aktif 99,9%, Anda bisa yakin bahwa pusat data khusus akan selalu berfungsi selama sesi apa pun. Yang tak kalah penting, ProxyScrape menyediakan layanan pelanggan yang sangat baik dan akan membantu Anda menyelesaikan masalah Anda dalam waktu 24-48 jam kerja.
Berikutnya adalah proxy perumahan. Residential adalah proxy yang cocok untuk setiap konsumen umum. Alasan utamanya adalah alamat IP proxy perumahan menyerupai alamat IP yang disediakan oleh ISP. Ini berarti mendapatkan izin dari server target untuk mengakses datanya akan lebih mudah dari biasanya.
Fitur lain dari proksi residensial ProxyScrapeadalah fitur berputar. Proksi berputar membantu Anda menghindari pelarangan permanen pada akun Anda karena proksi residensial Anda secara dinamis mengubah alamat IP Anda, sehingga menyulitkan server target untuk memeriksa apakah Anda menggunakan proksi atau tidak.
Selain itu, fitur-fitur lain dari proxy residensial adalah: lebar pita tak terbatas, bersama dengan koneksi bersamaan, proxy HTTP/s khusus, proxy pada sesi kapan saja karena 7 juta lebih proxy dalam kumpulan proxy, otentikasi nama pengguna dan kata sandi untuk keamanan yang lebih baik, dan yang tak kalah pentingnya, kemampuan untuk mengubah server negara. Anda dapat memilih server yang Anda inginkan dengan menambahkan kode negara pada autentikasi nama pengguna.
Yang terakhir adalah proxy premium. Proksi premium sama dengan proksi pusat data khusus. Fungsionalitasnya tetap sama. Perbedaan utamanya adalah aksesibilitas. Pada proxy premium, daftar proxy (daftar yang berisi proxy) tersedia untuk setiap pengguna di jaringan ProxyScrape. Itulah mengapa proxy premium lebih murah daripada proxy pusat data khusus.
Jadi, apa solusi terbaik untuk proxy HTTP terbaik untuk web scraping untuk perbandingan harga menggunakan python? Jawabannya adalah "proxy perumahan." Alasannya sederhana. Seperti yang dikatakan di atas, proxy perumahan adalah proxy yang berputar, yang berarti bahwa alamat IP Anda akan berubah secara dinamis selama periode waktu tertentu yang dapat membantu untuk mengelabui server dengan mengirimkan banyak permintaan dalam jangka waktu yang singkat tanpa mendapatkan blokir IP.
Selanjutnya, yang terbaik adalah mengubah server proxy berdasarkan negara. Anda hanya perlu menambahkan ISO_CODE negara di akhir autentikasi IP atau autentikasi nama pengguna dan kata sandi.
Bacaan yang Disarankan:
Artikel ini membahas satu lagi keajaiban web scraping, yaitu "Perbandingan Harga". Tidak hanya itu, kami telah membuat sebuah alat yang dapat melakukan perbandingan harga untuk Anda dan membuat Anda tetap update dengan tren pasar. Artikel ini berharap dapat memberikan informasi yang cukup tentang web scraping untuk perbandingan harga dengan cara yang mudah. Server proxy adalah pendamping terbaik untuk web scraping. ProxyScrape menyediakan proxy residensial terbaik di kelasnya untuk web scraping Anda untuk proyek perbandingan harga. Anda dapat memeriksa proxy perumahan terbaik di sini.