logo proxyscrape gelap

Scraping Web untuk Generasi Prospek: Ribuan Prospek di Ujung Jari Anda

Mengikis, Mar-05-20215 menit baca

Why Lead Generation Matters Lead generation is an essential part of growing your business. If your sales team doesn’t have leads to approach, they can’t do their job. Cold-calling prospects is rarely effective, especially for brands that sell higher-value products where there’s some friction to the idea of making a purchase. Every Sale Started as

Daftar Isi

Mengapa Lead Generation Penting

Mendapatkan prospek adalah bagian penting dalam mengembangkan bisnis Anda. Jika tim penjualan Anda tidak memiliki prospek untuk didekati, mereka tidak dapat melakukan pekerjaan mereka. Menelepon prospek jarang sekali efektif, terutama untuk merek yang menjual produk bernilai tinggi di mana ada beberapa gesekan untuk melakukan pembelian.

Setiap Penjualan Dimulai dari Prospek

Penjualan berasal dari prospek. Pemasaran Konten Teknologi: Benchmarks, Budgets and Trends yang diproduksi oleh Content Marketing Institute dan MarketingProfs menyoroti bahwa 77% pemasar teknologi menggunakan prospek yang memenuhi syarat untuk mendorong penjualan (naik dari 64% pada tahun 2019).

Prospek yang berkualitas lebih mudah dikonversi karena mereka adalah orang-orang (atau bisnis) yang telah menyatakan minat pada produk atau layanan Anda. Dengan mengidentifikasi audiens target Anda dan memfokuskan upaya pemasaran Anda pada orang-orang tersebut secara khusus, Anda akan menghemat waktu dan energi tim penjualan Anda sehingga mereka dapat fokus pada prospek yang berkualitas tinggi.

Kekuatan Web di Ujung Jari Anda

Mendapatkan prospek saat ini lebih mudah daripada sebelumnya. Komunikasi instan, opsi pemasaran media sosial yang sangat bertarget, dan akses ke basis data yang berisi hampir semua informasi yang bisa dibayangkan, berarti pemilik usaha kecil memiliki kekuatan untuk mencapai apa pun yang mereka inginkan.

Di masa lalu, jika Anda ingin menjangkau audiens target tertentu, Anda harus membayar sejumlah besar uang kepada perusahaan pemasaran untuk dapat mengirim selebaran melalui pos ke perusahaan-perusahaan yang ada di database mereka.

Hari ini, hal itu tidak perlu. Jika Anda ingin mencari daftar restoran Meksiko di pantai timur atau sekolah K-12 di negara bagian Anda, Anda bisa menemukannya secara online. Perusahaan yang beroperasi di bidang B2B bisa membangun basis data prospek dengan cepat dan mudah, lalu menyaring daftar tersebut dan mengirim pesan pemasaran yang disesuaikan.

Untuk entitas B2B yang menargetkan area geografis yang relatif kecil, pencarian web sederhana mungkin cukup untuk menemukan daftar calon klien. Namun, jika Anda ingin menjangkau bisnis di seluruh negara bagian atau bahkan nasional, mengumpulkan semua data tersebut secara manual akan sangat memakan waktu.

Web scraping dapat menghemat banyak waktu dan uang bagi Anda dan tim pemasaran Anda, mengumpulkan data yang Anda butuhkan secara otomatis.

Apa yang dimaksud dengan Web Scraping?

Web Scraping adalah teknik otomatis untuk mengekstrak data dari sebuah situs web atau beberapa situs web, sehingga Anda dapat menggunakan data tersebut di aplikasi lain. Sebagai contoh, misalkan Anda ingin membuat daftar nama dan alamat restoran di daerah Anda, daripada secara manual mengunjungi setiap restoran lokal yang terdaftar di Yelp atau Tripadvisor. Dalam hal ini, Anda dapat menggunakan web scraper untuk menelusuri halaman-halaman tersebut dan mengekstrak detail-detailnya, membuat daftar yang dapat Anda gunakan untuk pengiriman email.

Web scraping dapat menghemat banyak waktu dan usaha bisnis dalam membangun daftar pemasaran. Hal ini juga sangat mudah dilakukan jika Anda memiliki alat yang tepat atau pengetahuan pemrograman.

Bagaimana Cara Kerja Web Scrapers?

Scraper web bekerja dengan memuat halaman yang ingin Anda ekstrak datanya, kemudian membaca halaman tersebut untuk mencari jenis informasi yang ingin Anda temukan. Informasi itu bisa berupa:

  • Nama perusahaan
  • Nomor telepon
  • Alamat email
  • Alamat pos
  • Alamat situs web

Ketika web scraper mengunduh sebuah halaman, ia membaca kode sumber untuk mencari pola. Tergantung pada situs tempat Anda mengambil data, scraper bisa saja mencari sesuatu yang cocok dengan pola 123-456-78901 pada nomor telepon atau format [email protected] pada alamat email.

Atau, pengembang scraper mungkin mengetahui bahwa pada situs web direktori tertentu, detail kontak dikelilingi oleh sekumpulan tag tertentu dalam HTML dan membuat scraper mengekstrak informasi dari antara tag-tag tersebut.

Beberapa perangkat lunak scraper dapat dikonfigurasi oleh pengguna akhir, sehingga dapat diajarkan untuk memahami hampir semua situs web.

Tantangan Dengan Menggunakan Scraper

Salah satu masalah dalam menggunakan perangkat lunak pengikis adalah peraturan seperti GDPR Uni Eropa berarti pengguna harus sangat berhati-hati dengan data yang mereka kumpulkan dan bagaimana data itu digunakan. Di bawah GDPR, sebuah organisasi harus memiliki izin dari seseorang untuk menyimpan atau memproses data tentang seseorang.

Beberapa situs web mencoba untuk melindungi privasi penggunanya dan melindungi sumber daya server mereka sendiri dengan mencoba memblokir pengikis web. Ada beberapa opsi untuk melakukan hal ini, termasuk memeriksa 'agen pengguna' yang dikembalikan oleh perangkat lunak klien dan membatasi jumlah permintaan halaman yang berasal dari alamat IP tertentu.

Jika Anda ingin menggunakan scraper secara efektif, Anda harus memastikan bahwa Anda memahami peraturan seputar pemasaran di negara Anda, memproses data apa pun yang Anda kumpulkan secara bertanggung jawab, dan mengetahui cara mengumpulkan data dari sumber yang Anda pilih dengan cara yang efisien dan tidak merusak yang tidak akan membuat Anda dilarang dari situs tersebut.

Sebagai contoh, di ProxyScrape, kami menawarkan proksi residensial yang dapat digunakan untuk tujuan pengumpulan data. Kami menyarankan jika Anda mempertimbangkan untuk menggunakan proksi tersebut, pastikan scraper Anda tidak mengeluarkan permintaan yang berlebihan ke situs web target dalam waktu singkat. Lakukan scraping secara bertanggung jawab agar Anda tidak menyebabkan kerusakan pada situs web yang Anda gunakan.

Memilih Sumber Data untuk Mendapatkan Prospek Berkualitas Tinggi

Pengikisan konten memberi pemilik bisnis akses ke sejumlah besar informasi yang sebelumnya sulit untuk dikumpulkan, tetapi informasi tersebut hanya berguna sesuai dengan sumbernya.

Salah satu tantangan dalam mengumpulkan data dari scraping adalah memastikan bahwa informasinya adalah yang terbaru. Ada ribuan direktori di web, dan banyak di antaranya tidak dikurasi dengan baik dan sudah ketinggalan zaman.

Jika Anda mengumpulkan data dari sumber yang sudah ketinggalan zaman dan berkualitas rendah, yang ada, Anda hanya membuang-buang waktu untuk email yang tidak akan dibaca. Dalam skenario terburuk, Anda mungkin akan menerima keluhan karena melakukan panggilan telepon yang tidak diminta berulang kali ke nomor yang bukan lagi milik bisnis yang Anda kira.

Jadi, bagaimana Anda dapat meningkatkan peluang data yang Anda kumpulkan menjadi berguna?

Pilih Sumber Data Anda dengan Hati-hati

Sebelum Anda mulai mengumpulkan data menggunakan alat penggalian, periksa situs web yang ingin Anda gunakan secara manual. Kumpulkan beberapa petunjuk secara manual dan selidiki petunjuk tersebut.

Apakah bisnisnya masih beroperasi? Apakah detail kontak masih benar? Apakah pemilik direktori terlihat memeriksa informasi sebelum ditambahkan?

Misalkan setengah dari prospek yang Anda kumpulkan secara manual sudah mati, ketinggalan zaman, atau berpotensi palsu. Dalam hal ini, ada kemungkinan besar basis data yang Anda bangun dengan mengikis situs tersebut akan berkualitas rendah.

Situs direktori yang lebih besar seperti Tripadvisor, Yelp, atau FourSquare lebih mungkin memiliki data berkualitas daripada direktori yang lebih kecil dan kurang dikenal karena platform ini memiliki basis pengguna yang jauh lebih besar yang memperbaruinya.

Direktori niche mungkin memiliki nilai jika Anda ingin memasarkan ke kelompok minat yang tidak jelas atau jenis perusahaan yang sangat terspesialisasi, tetapi Anda harus melakukan banyak pembersihan data sebelum menggunakan informasi yang Anda kumpulkan untuk tujuan pemasaran.

Pertimbangkan Situs yang Memerlukan Login

Dalam banyak kasus, Anda akan mendapatkan data yang jauh lebih berharga jika Anda mengumpulkannya dari situs yang membutuhkan login. LinkedIn dan Twitter, misalnya, dapat dikikis jika Anda menggunakan pembatas kecepatan untuk menjaga jumlah permintaan yang dikirim bot Anda ke tingkat yang wajar dan masuk ke situs saat Anda membuat permintaan.

Pilihan lainnya adalah menggunakan API alih-alih pengikis HTTP sederhana dan mengumpulkan detail dari salah satu layanan pemetaan populer. Sebagai contoh, Google menyediakan API pencarian bisnis yang dapat digunakan untuk mengumpulkan informasi tentang organisasi yang termasuk dalam Google Maps, namun Anda harus setuju untuk mematuhi syarat dan ketentuan Google sebelum mengakses API.

Secara umum, jika API tersedia, lebih baik mengumpulkan data Anda menggunakan API tersebut daripada menggunakan web scraping. Anda akan jauh lebih kecil kemungkinannya mengalami masalah dengan pemilik situs web, dan akan lebih mudah untuk membersihkan data yang dikirimkan melalui API.

Buat Kueri Anda dengan Benar

Ada pepatah dalam pemrograman komputer yang mengatakan "sampah masuk, sampah keluar", dan hal ini tentu saja berlaku untuk pengumpulan data. Pastikan Anda membuat pencarian yang Anda lakukan dengan hati-hati.

Sebagai contoh, jika Anda ingin memasarkan ke pembangun di Newcastle, jangan lupa bahwa ada lebih dari satu Newcastle di Inggris, dan ada juga Newcastle di Australia. Jika Anda mencari 'Newcastle' melalui proxy, sebagian besar situs web akan mencoba menebak Newcastle mana yang Anda maksud dengan melihat mana yang paling dekat dengan lokasi geografis proxy.

Cobalah untuk mempersempit pencarian sebanyak mungkin, dengan memberikan informasi kota, negara bagian, dan bahkan negara jika situs web target memungkinkan. Hal ini akan membantu Anda menghindari database yang penuh dengan detail kontak untuk organisasi yang berjarak ratusan mil dari area yang Anda inginkan.

Opsi Perangkat Lunak Pengikis: Alat Populer

Scraping web bisa sesederhana atau serumit yang Anda inginkan. Jika Anda baru mencoba scraping untuk pertama kalinya, Anda tidak perlu menghabiskan banyak uang untuk perangkat lunak yang canggih.

Beberapa opsi yang bagus termasuk:

  • Scraper
  • ProWebScraper
  • Scrapy

Scraper adalah ekstensi peramban web yang memungkinkan pengguna mengekstrak data dari halaman web dengan cepat dan mudah. Jika Anda ingin menarik informasi dari satu halaman hasil atau sejumlah kecil halaman, Scraper adalah cara yang sederhana dan efektif untuk melakukannya, dan Anda mungkin akan menemukan bahwa ini jauh lebih mudah digunakan daripada perayap web yang lebih canggih.

ProWebScraper merupakan perangkat yang lebih canggih yang memiliki versi gratis dan premium. Alat gratisnya bisa digunakan untuk mengikis hingga 100 halaman, yang berarti cukup untuk bisnis khusus yang lebih kecil. ProWebScraper relatif mudah digunakan untuk perangkat lunak scraping, menampilkan antarmuka tunjuk-dan-klik dan aturan yang telah dirancang sebelumnya yang memungkinkan Anda untuk mengatur scraping bahkan jika Anda tidak percaya diri di sisi teknis.

ProWebScraper bisa mengunduh gambar dan mengumpulkan JSON, CSV, atau dump XML. Bahkan bisa diatur untuk mengikis situs sesuai jadwal sehingga Anda bisa mengumpulkan data dan memperbarui catatan pemasaran Anda.

Scrapy adalah kerangka kerja scraping web yang gratis dan open source. Alat ini membutuhkan pengetahuan teknis, tetapi cepat, fleksibel, dan dapat digunakan untuk mengikis data dalam jumlah besar. Scrapy dapat dijalankan di komputer Linux, OS X, Windows, atau BSD Anda sendiri atau di server web.

Ada komunitas Scrapy yang aktif, termasuk obrolan IRC, Reddit, dan StackOverflow. Anda bisa meminta saran dari komunitas dan mungkin bisa memanfaatkan ekstensi atau modul yang dibuat oleh komunitas, membuka kekuatan Scrapy bahkan jika Anda bukan pengembang yang percaya diri.

Mengkodekan Scraper Anda Sendiri

Jika Anda perlu mengumpulkan banyak data atau berencana untuk melakukan scraping secara teratur, alat gratis dan alat berbasis GUI mungkin tidak cukup kuat untuk kasus penggunaan Anda. Mengkodekan scraper Anda sendiri, atau mempekerjakan pengembang untuk melakukannya untuk Anda, adalah pilihan yang baik.

Ada beberapa kerangka kerja sumber terbuka gratis yang dapat digunakan untuk membuat kode scraper dalam bahasa populer seperti Python, Perl, Java, R, atau PHP.

Salah satu library yang paling populer untuk web scraping adalah BeautifulSoup. Ini adalah alat pengikisan Python yang mampu mengekstrak data dari file HTML atau XML dengan cepat dan mudah. Anda harus memiliki pengetahuan tentang pemrograman untuk menggunakannya, tetapi alat ini melakukan banyak pekerjaan detail scraping untuk Anda, sehingga Anda tidak perlu mengulang dari awal.

Setelah Anda mengekstrak data, Anda dapat mengekspornya sebagai file CSV atau menampilkannya dalam berbagai format menggunakan pustaka pemrosesan data seperti Pandas.

Pro dan Kontra Pengkodean Scraper Anda Sendiri

Mengkodekan scraper Anda sendiri adalah ide yang bagus jika Anda memiliki pengetahuan pemrograman. Mungkin juga berguna untuk membuat kode scraper Anda sendiri jika Anda perlu mengekstrak banyak data dari halaman web yang tidak biasa yang tidak dapat ditangani oleh alat scraping gratis.

Mengkodekan scraper Anda sendiri atau membayar seseorang untuk melakukannya untuk Anda bisa menjadi ide yang bagus jika Anda memiliki kebutuhan yang spesifik dan canggih. Scraper yang dikodekan khusus dapat dirancang di sekitar halaman target dengan lebih efektif daripada alat yang lebih umum, sehingga Anda lebih kecil kemungkinannya untuk menemukan bug atau masalah dalam menangani data.

Sebaliknya, scraper dengan kode khusus juga berguna untuk pekerjaan yang lebih kecil dan sederhana. Setelah Anda menulis scraper sekali, Anda dapat mengubah rutinitas penguraian dan menggunakan skrip yang sama untuk mengekstrak data dari halaman lain.

Kelemahan dari menggunakan scraper yang dikodekan secara khusus adalah butuh waktu untuk menulis scraper untuk pertama kalinya, dan jika Anda bukan pengembang berpengalaman, Anda mungkin menghabiskan lebih banyak waktu untuk bergelut dengan pemformatan JSON atau mencoba mempelajari pustaka baru daripada yang diperlukan untuk hanya membaca manual untuk ProWebScraper dan mengonfigurasinya.

Tergantung pada tugasnya, mungkin lebih hemat biaya untuk membayar alat daripada menulis alat khusus.

Selain itu, jika Anda berencana untuk menulis scraper Anda sendiri, Anda harus mengetahui praktik terbaik scraping dan masalah pengkodean, seperti:

  • Menggunakan Agen-Pengguna untuk mengidentifikasi bot Anda
  • Cara Anda menangani autentikasi untuk situs yang memerlukan login
  • Kepatuhan terhadap syarat dan ketentuan situs web
  • Membatasi permintaan Anda untuk menghindari beban yang tidak semestinya pada situs web
  • Mengirim permintaan yang dibuat dengan benar
  • Menggunakan (dan secara teratur merotasi) proxy
  • Membersihkan informasi yang dikembalikan oleh server
  • Aturan perlindungan data tentang bagaimana dan di mana Anda menyimpan informasi yang dikembalikan
  • Pemecahan CAPTCHA

Menulis scraper kecil untuk menarik informasi tentang beberapa ratus atau beberapa ribu perusahaan sangat masuk akal. Jika Anda mengambil data dalam jumlah yang lebih besar, Anda mungkin ingin mencari saran atau bekerja sama dengan seorang ahli untuk memastikan Anda sepenuhnya mematuhi peraturan privasi setempat.

Aturan Emas untuk Scraping Web

Jika Anda memutuskan untuk menulis scraper Anda sendiri, ingatlah untuk "bersikap baik". Berusahalah untuk mengikis dengan cara yang baik, mengirimkan permintaan yang dibentuk dengan benar, mengikis secara perlahan, dan menggunakan berbagai alamat IP saat Anda mengikis.

Cobalah untuk membuat scraper Anda terlihat seperti manusia. Itu berarti meminta halaman secara perlahan dan mencoba untuk tidak mengikuti pola yang tetap saat menelusuri halaman. Pertimbangkan, misalnya, menarik daftar hasil pencarian, membuat daftar tautan pada halaman hasil, lalu membuka tautan tersebut dalam urutan acak, sehingga tidak terlalu terlihat bahwa Anda adalah bot.

Jangan mengirim banyak permintaan dari IP yang sama pada waktu yang sama. Alat anti-scraping akan mendeteksi bahwa Anda menempatkan beban yang tidak normal pada server.

Hormati informasi dalam file Robots.txt situs web. Jika ada halaman yang tidak ingin diindeks oleh webmaster. Tidak etis jika Anda mengabaikannya.

Pertimbangkan untuk menggunakan pustaka seperti Selenium untuk membuat bot Anda terlihat seperti manusia dengan mengirimkan klik ke halaman atau berinteraksi dengannya. Beberapa alat penghancur semut yang lebih canggih mencari pola interaksi mirip bot dan akan memblokir alamat IP jika mereka melihat kurangnya pengguliran, klik, dan interaksi lainnya.

Ada perlombaan teknologi antara pengembang scraper dan mereka yang mencoba memblokir scraper dari situs web mereka. Sangat sulit untuk membuat scraper yang dapat mengumpulkan data dalam jumlah besar tanpa terdeteksi. Namun, untuk proyek-proyek yang lebih kecil atau menengah, jika Anda mengikuti aturan untuk bersikap baik dan tidak serakah, Anda seharusnya bisa mendapatkan data yang Anda butuhkan dengan scraper yang lambat dan stabil serta beberapa proksi.

Ingat, bot Anda dapat bekerja 24 jam sehari, mengumpulkan data di latar belakang, jadi tidak perlu mengunduh seluruh daftar bisnis kecil di Yelp sekaligus.

Pemecahan Masalah Masalah Pengikis

Ada beberapa masalah potensial yang mungkin Anda temui saat menjalankan scraper. Hal ini dapat mencakup:

  • IP Anda diblokir oleh webmaster
  • Klien scraping Anda diblokir oleh webmaster
  • Scraper Anda menjadi bingung saat mencoba menavigasi situs web
  • Data sampah dikumpulkan melalui 'honeypot' yang tersembunyi di lokasi
  • Pembatasan laju menghentikan pengikis Anda agar tidak bekerja dengan cepat
  • Perubahan pada desain situs yang merusak scraper yang sebelumnya berfungsi

Kabar baiknya, semua masalah ini dapat diperbaiki jika Anda memahami cara kerja scraper.

Pengikis web sederhana mengikuti sebuah pola:

  1. Scraper mengirimkan permintaan HTTP ke situs web
  2. Situs web mengirimkan respons, seperti yang dilakukan browser web biasa
  3. Scraper membaca respons, mencari pola dalam HTML
  4. Pola diekstraksi dan disimpan dalam file JSON untuk diproses nanti
  5. Scraper kemudian dapat melanjutkan membaca respons untuk mencari lebih banyak pola atau mengirim permintaan berikutnya

Ada beberapa area di mana ada beberapa hal yang bisa salah.

Pengikis Tidak Mengambil Data Apa Pun

Jika scraper tidak mengambil data sama sekali, ini bisa jadi karena ada masalah dengan cara Anda mengatur pengurai, atau bisa juga karena scraper tidak melihat situs yang sama dengan yang Anda lihat saat Anda menggunakan peramban web.

Untuk mengetahui apa yang salah, atur scraper Anda untuk menampilkan HTML halaman, dan bandingkan dengan keluaran browser normal.

Jika Anda melihat kesalahan atau halaman yang berbeda, bisa jadi klien scraping Anda telah diblokir. Situs ini bisa saja memblokir alamat IP Anda atau perangkat lunak klien scraper.

Coba ubah User-Agent yang diidentifikasi oleh scraper Anda menjadi salah satu yang membuatnya terlihat seperti peramban web modern seperti Firefox atau Chrome. Hal ini dapat membantu Anda mengatasi pembatasan sederhana pada beberapa situs.

Jika itu tidak berhasil, pertimbangkan untuk mengatur scraper Anda untuk menggunakan proxy untuk terhubung ke situs web yang dimaksud. Proksi adalah server yang mengirimkan permintaan web atas nama Anda, sehingga situs web tidak dapat mengetahui bahwa permintaan tersebut berasal dari koneksi internet Anda.

Jika Anda melihat halaman yang 'normal', maka masalahnya kemungkinan besar ada pada cara Anda mengatur scraper untuk mengekstrak data. Setiap program pengikis memiliki caranya sendiri untuk mencocokkan pola, meskipun sebagian besar menggunakan beberapa variasi ekspresi reguler. Pastikan tidak ada kesalahan ketik dalam pencocokan pola. Ingat, program ini melakukan apa yang Anda perintahkan, jadi satu kesalahan kecil saja akan merusak aturan pencocokan!

Pengikis Bekerja untuk Beberapa Saat, Lalu Berhenti

Masalah umum lainnya adalah scraper bekerja dalam waktu singkat, kemudian berhenti bekerja. Ini biasanya berarti situs web telah memblokir alamat IP Anda, baik sementara atau permanen, karena Anda telah mengirim terlalu banyak permintaan dalam waktu singkat.

Jika ini terjadi, Anda bisa mengatasi larangan ini dengan menggunakan proxy. Proxyscrape menawarkan proxy premium dan proxy residensial untuk digunakan orang untuk mengorek data. Proksi pusat data premium cepat dan menawarkan bandwidth tak terbatas tetapi memiliki alamat IP yang mungkin dikenali oleh webmaster sebagai berasal dari pusat data. Proksi residensial terlihat seperti 'pengguna rumahan', tetapi throughput yang tersedia pada proksi ini mungkin lebih rendah.

Pertimbangkan untuk mengganti proksi yang Anda gunakan setelah beberapa kali melakukan permintaan untuk mengurangi risiko alamat IP proksi diblokir. Anda juga bisa mengurangi risiko pemblokiran IP dengan mengurangi kecepatan scraper Anda mengirimkan permintaan.

Ingatlah bahwa scraper dapat bekerja di latar belakang, 24 jam sehari, tanpa jeda. Bahkan jika Anda membatasi kecepatan scraper untuk mengurai satu halaman setiap 15-30 detik, scraper akan bekerja lebih cepat daripada manusia.

Ingatlah bahwa banyak situs web, terutama yang lebih kecil, di-host pada server yang memiliki batas kecepatan dan jumlah data yang dapat mereka kirimkan setiap bulannya. Anda mungkin merasa bahwa bot Anda mengikis beberapa data bukanlah hal yang tidak masuk akal, tetapi jika banyak pengguna lain melakukan hal yang sama, atau bot Anda 'tersesat' dan mencoba mengunduh halaman yang sama berulang kali, Anda dapat mengganggu performa situs web untuk pengguna manusia atau membebani webmaster dengan menghabiskan sumber daya yang berlebihan.

Pengikis Menjadi Bingung dan Melewati Halaman yang Tak Berujung

Masalah umum lainnya yang dihadapi pemasar ketika mencoba menggunakan web scraper adalah scraper menjadi bingung dan mengunduh halaman yang tidak seharusnya.

Bayangkan rencana scraper Anda adalah menemukan daftar tukang batu di kota Anda, dan Anda mengirimkannya ke direktori tempat scraper tersebut mencarinya. Pengikis harus melakukannya:

  • Kirimkan permintaan HTTP yang berisi string pencarian yang diinginkan
  • Unduh halaman hasil
  • Mengurai halaman hasil untuk menemukan tautan ke hasil pertama
  • Buka tautan itu
  • Ekstrak detail kontak dari halaman baru tersebut
  • Lanjutkan mengurai halaman hasil untuk menemukan hasil kedua
  • Buka tautan itu
  • Dan seterusnya...

Beberapa situs web dibuat dengan menyertakan 'honeypot' yang akan menjebak dan membingungkan bot. Honeypot ini adalah bagian dari HTML yang diatur dengan tag tampilan yang mengatakan 'display:none', sehingga tidak akan muncul di peramban biasa. Akan tetapi, bot dapat melihatnya, dan jika bot tidak dikonfigurasi untuk mengabaikannya, bot akan memprosesnya seperti HTML biasa.

Sangat sulit untuk memprogram bot untuk sepenuhnya mengabaikan semua HTML yang menjebak bot karena beberapa jebakan ini sangat canggih. Namun, yang dapat Anda lakukan adalah menetapkan batas pada berapa banyak tautan yang akan diikuti oleh bot Anda. Anda juga dapat melihat sendiri sumber halaman dan mencari jebakan yang terlihat jelas sehingga Anda dapat mengatur bot untuk mengabaikannya.

Pemasaran yang Etis: Gunakan Prospek Anda dengan Bijak

Pengikisan web adalah sesuatu yang tidak disukai oleh banyak situs dan pemilik bisnis harus berhati-hati saat melakukannya. Di bawah GDPR, adalah ilegal untuk mengikis informasi penduduk Uni Eropa tanpa persetujuan mereka, misalnya.

Selain itu, banyak situs web yang menyembunyikan data di balik layar login secara eksplisit melarang web scraping dalam syarat dan ketentuan mereka. Ini berarti Anda berisiko dilarang dari situs web tersebut jika Anda diketahui menggunakan scraper.

Jika Anda memutuskan untuk menggunakan scraping untuk mengumpulkan prospek, cobalah melakukannya dengan bijaksana. Pikirkan scraping sebagai cara untuk menghemat waktu saat mengumpulkan prospek yang akan Anda kumpulkan, bukan sebagai cara untuk melakukan kampanye pemasaran besar-besaran.

Hindari menebar jaring terlalu lebar dengan melakukan pengikisan. Mungkin Anda tergoda untuk mengumpulkan detail kontak setiap bisnis atau orang di daerah Anda dan sekitarnya, dengan harapan dapat mengubah salah satu bisnis tersebut menjadi pelanggan, tetapi kampanye yang luas dan tidak terfokus seperti itu kemungkinan besar akan menjadi bumerang.

Bersihkan dan Pelihara Basis Data Anda

Sebelum memulai kampanye pemasaran Anda, lakukan pemeriksaan pada data yang telah Anda kumpulkan. Bersihkan database untuk menghapus data yang jelas-jelas tidak benar, seperti bisnis yang sudah tutup, data duplikat, atau data orang yang tidak berada di area target Anda.

Setelah Anda memulai kampanye, selalu perbarui database. Jika ada prospek yang meminta untuk dihapus dari database Anda, hapuslah. Jika Anda secara hukum dapat melakukannya di yurisdiksi Anda, simpan data yang cukup tentang mereka untuk menambahkan email atau nomor telepon mereka ke daftar 'jangan hubungi' sehingga mereka tidak dapat ditambahkan kembali ke basis data pemasaran Anda saat Anda melakukan penggalian.

Beberapa hal lain yang perlu diingat saat mengelola kampanye pemasaran Anda meliputi:

  • Batasi jumlah email atau panggilan yang Anda lakukan ke prospek dingin
  • Berikan informasi penyisihan di setiap kontak yang Anda kirimkan
  • Hormati permintaan untuk tidak ikut serta dan lakukan dengan segera
  • Jika seseorang merespons pemasaran Anda, perbarui detail mereka

Ada garis tipis antara pemasaran proaktif dan spam yang agresif. Kontak berulang dari pemasar adalah bagian dari perjalanan pelanggan, dan penting untuk tetap berhubungan dengan calon pelanggan, tetapi pemasaran yang terlalu agresif dapat mengasingkan prospek dan memberikan reputasi buruk pada merek Anda.

Pertimbangkan untuk mengimpor data yang Anda dapatkan dari scraping ke dalam sistem CRM sehingga Anda dapat melacak setiap pelanggan, pada tahap apa mereka dalam proses konversi, dan bagaimana mereka merespons pesan-pesan pemasaran.

Melakukan hal ini tidak hanya akan membantu Anda untuk tetap berada di atas pelanggan individu, tetapi juga akan memudahkan Anda untuk melihat bagaimana kinerja kampanye pemasaran Anda secara kolektif sehingga Anda dapat menyempurnakan pesan Anda.

Melacak sumber prospek juga dapat membantu karena akan memberi Anda gambaran tentang sumber data mana yang berisi informasi berkualitas tinggi.