cURL adalah singkatan dari URL klien dan alat baris perintah untuk mengirim dan menerima data dari server. Alat ini didistribusikan ke Sistem Operasi modern, termasuk distribusi Windows 10 dan Linux. Ini adalah perpustakaan yang nyaman yang memungkinkan Anda untuk mengirim dan menerima data ke dan dari situs web dan merupakan alat penting untuk kebutuhan scraping web Anda. Sebelum melihat contoh sederhana, mari kita cari tahu apa yang perlu Anda ketahui untuk menginstalnya.
sudo apt instal curl.
Pada Windows, buka terminal atau command prompt dan ketik:
<em><strong>curl https://www.yahoo.com</strong></em>Pada konsol, ini akan mencetak HTML halaman.
cURL mentransfer data ke dan dari halaman web dengan bantuan Protokol Internet. Meskipun pada awalnya, cURL dikembangkan untuk bekerja dengan protokol HTTP, saat ini cURL mendukung banyak protokol jaringan seperti FTP, IMAP, IMAPS, SMTP, POP3, POP3S, dan lainnya.
Ini juga mendukung POST, GET, PUT, dan beberapa metode lain di luar sana ketika mengirim permintaan. Mari kita lihat contoh pengiriman beberapa data dengan data post.
curl -d "nama=nama Anda&nilai=nilai" https://examplewebsite.com/post"Potongan kode -d di atas menunjukkan bahwa Anda menggunakan metode post untuk meneruskan nama Anda dan beberapa nilai ke halaman post examplewebsite.com.
Sekarang Anda sudah mengetahui apa itu cURL, dan mari kita lanjutkan ke penggunaannya dengan proxy.
Mengkonfigurasi cURL dengan alamat proxy akan membantu orang untuk meningkatkan komunikasi data mereka dengan semua fitur proxy tersebut.
Menggunakan cURL dengan proxy akan memastikan pengguna dapat menyembunyikan identitas mereka dari server. Jika pengguna lebih suka mengambil informasi tanpa membiarkan orang lain mengetahui identitas mereka yang sebenarnya, mereka dapat mengonfigurasi alamat proxy dengan permintaan perintah cURL. Dalam hal ini, proxy akan meneruskan permintaan pengguna atas nama mereka, dan identitas yang sebenarnya disembunyikan. Proxyscrape menyediakan proxy dari semua jenis protokol seperti HTTP, Socks4, dan Socks5 yang dapat menjaga anonimitas untuk semua jenis permintaan
Ketika pengguna di satu lokasi dibatasi untuk tidak dapat mengambil konten dari situs-situs yang berada di wilayah geografis lain, proksi akan membantu mereka untuk menerobos pembatasan tersebut. Proxyscrape menyediakan proksi dari berbagai negara sehingga pengguna dapat memilih salah satu yang diperlukan untuk menerobos blokir geografis.
Anda dapat menggunakan proksi untuk terhubung dengan situs web menggunakan cURL. Sebagai contoh, proksi sangat penting dalam situasi ketika Anda menggunakan cURL untuk mengikis data. Dengan demikian, Anda tetap anonim terhadap situs web target yang Anda scraping.
Untuk terhubung dengan proxy, Anda memerlukan alamat server proxy, nomor port, dan jenis protokol, dan jika otentikasi diperlukan, Anda perlu memasukkan nama pengguna dan kata sandi. Mari kita lihat contoh sederhana: kita asumsikan alamat proxy adalah 127.0.0.1 dan nomor port 8920. Contoh yang disebutkan di bawah ini adalah dasar-dasar koneksi proxy dengan cURL, yang dapat digunakan untuk semua layanan proxy.
Sintaks untuk menghubungkan ke proxy adalah:
curl --proxy proxyaddress: port https://examplewebsite.comakan diganti dengan:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comPerintah di atas akan merutekan koneksi Anda melalui proxy ke examplewebsite.com.
Sekarang kita akan melihat contoh yang memerlukan autentikasi di mana nama pengguna adalah nama pengguna dan kata sandi adalah kata sandi.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comSekarang Anda dapat mengetahui perintah mana yang digunakan saat menghubungkan cURL dengan protokol proxy, menggunakan :
curl --helpTidak diragukan lagi, ini akan menghasilkan daftar yang sangat besar, dan kami akan fokus pada perintah paling mendasar yang tercantum di bawah ini:
-x, --proxy [protokol://]host[:port]Dalam perintah ini, x bersama dengan -proxy menunjukkan rincian proxy, di mana Anda dapat menggunakan salah satu dari keduanya karena keduanya benar. Namun, harap diingat bahwa x peka terhadap huruf besar/kecil.
Selain itu, untuk memastikan bahwa Anda menggunakan proxy, Anda dapat menggunakan perintah berikut:
curl http://httpbin.org/ipPerintah ini biasanya akan mengembalikan alamat IP asal. Jadi, jika Anda menggunakan server proxy, perintah ini akan mengembalikan alamat IP server proxy, bukan alamat IP Anda.
Jadi sekarang, dengan menggabungkan semuanya, Anda dapat mengirim permintaan sebagai berikut:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Selain itu, perintah di bawah ini juga akan sama seperti di atas:
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Fakta penting yang perlu diingat di sini adalah Anda harus menggunakan tanda kutip untuk URL proxy dan URL target sebagai praktik terbaik. Hal ini dikarenakan adanya karakter khusus dalam URL.
Selain itu, jika Anda mendapatkan kesalahan sertifikat SSL, Anda perlu menambahkan huruf kecil -k di akhir perintah seperti yang ditunjukkan di bawah ini:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Ini akan memungkinkan koneksi yang tidak aman untuk dilewati saat menggunakan koneksi SSL.
Ketika menggunakan proxy, protokol default adalah HTTP kecuali jika ditentukan secara eksplisit. Oleh karena itu, kedua perintah di bawah ini adalah benar:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
curl --proxy "username:[email protected]:8920" "http://httpbin.org/ip".Jika Anda ingin memiliki proksi untuk cURL, Anda dapat membuat berkas curl-config dengan cara berikut.
Jika Anda menggunakan macOS atau Linux, pertama-tama, Anda harus membuka terminal dan masuk ke direktori rumah Anda. Jika ada .curlrc, Anda harus membukanya dan membuat file kosong baru. Anda bisa menggunakan perintah di bawah ini untuk menavigasi ke file tersebut:
cd~
nano .curlrc.Jadi, Anda perlu menambahkan baris ini di dalam file:
proxy="http://username:[email protected]:8920"Simpan berkas tersebut, dan sekarang Anda dapat menggunakan cURL dengan proxy. Anda hanya perlu menjalankan cURL secara normal, dan itu akan membaca proxy dari file di atas:
curl "http://httpbin.org/ip"gema %APPDATA%Jadi perintah di atas akan mengembalikan jalur, dan Anda harus menavigasinya. Kemudian Anda perlu membuat file _curlrc dan mengatur proksi yang sama seperti pada macOS atau Linux.