Ketika Anda menggunakan proxy, Anda tidak secara langsung tersambung ke server target; sebaliknya, Anda mengarahkan permintaan Anda ke server proxy yang mengevaluasinya dan mengembalikan respons. Proksi memiliki banyak manfaat, seperti menyembunyikan alamat IP asli Anda, melewati filter, sensor, dll.
Rotator proksi dapat membantu Anda mengatasi sebagian besar tindakan anti-pengikisan. Anda juga bisa menggunakannya untuk menghindari batasan kecepatan yang diterapkan pada situs web target dan mengekstrak data dengan sukses. Tetapi apakah yang dimaksud dengan proxy berputar? Ini adalah proksi yang memberikan alamat IP baru untuk setiap koneksi dari kumpulan proksi. Ini berarti Anda bisa mengirimkan 1000 permintaan ke sejumlah situs web dengan meluncurkan skrip dan mendapatkan 1000 alamat IP yang berbeda.
Artikel ini membantu Anda memahami cara menggunakan proxy untuk memutar alamat IP di python.
Anda harus mengimpor modul permintaan Python menggunakan perintah di bawah ini.
permintaan imporJika modul tidak diinstal di lingkungan Anda, Anda dapat menginstalnya menggunakan perintah di bawah ini.
!pip permintaan pemasangandef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passIni dia bagian utama dari kode. Anda harus membaca file list_proxy.txt Anda dan menyimpannya ke variabel bernama proxy seperti yang ditunjukkan di bawah ini.
if __nama__ == "__utama__":
with open('list_proxy.txt', 'r') as file:
proxy = file.readlines()Anda harus menggunakan modul permintaan untuk membuat sesi di Python. Kami menggunakan perulangan for untuk mengulang melalui proksi pada kode di bawah ini. Kita kemudian meneruskan sesi dan proxy ke fungsi send_request.
dengan requests.Session() sebagai session:
untuk proxy dalam proxy:
send_request(session, proxy)Anda dapat menjalankan skrip dan melihat hasilnya seperti yang ditunjukkan di bawah ini. Anda akan mendapatkan daftar panjang proksi, tetapi ingat, proksi tersebut tidak akan berfungsi.
python rotateproxy.pySeluruh kode Anda akan menjadi seperti:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Di bawah ini adalah beberapa tips untuk memutar proxy di Python ketika menggunakan proxy yang berputar.
Sebagian besar layanan proxy gratis yang tersedia penuh sesak, yang menyebabkan kerusakan tak terduga dan penundaan yang membuat frustrasi. Oleh karena itu, ketika Anda berencana untuk menggunakan proxy gratis, Anda harus memeriksa apakah proxy tersebut sesuai dengan kebutuhan scraping Anda tanpa menyebabkan penarikan yang signifikan.
Sebagian besar proksi gratis berlaku untuk waktu yang terbatas, sehingga Anda dapat membangun logika Anda sendiri di Python yang dapat memutar pemutar daftar proksi gratis dengan alamat IP yang berfungsi. Dengan cara ini, Anda tidak akan mengalami gangguan apa pun selama melakukan web scraping.
Anda harus menghindari penggunaan alamat IP yang mengikuti urutan tertentu atau format yang mudah ditebak seperti milik grup yang sama. Ini karena sebagian besar alat anti-scraping dapat dengan mudah mendeteksi permintaan yang dikirim dari alamat IP seperti itu. Sebagai contoh, Anda sebaiknya tidak menggunakan urutan alamat IP yang berotasi berikut ini karena akan dengan cepat menimbulkan tanda bahaya.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Pemutar IP proxy gratis tidak aman dan lambat. Jadi, menggunakannya tidak akan cocok jika Anda melakukan proyek pengikisan web berskala besar dan canggih. Dengan menggunakan proxy premium yang bagus, Anda bisa mendapatkan layanan berkualitas tinggi dan mengikis ribuan halaman web tanpa mengalami pemblokiran atau gangguan.
Untuk menggunakan layanan proxy premium, Anda harus membayar beberapa dolar dan mendapatkan penyedia yang akan memenuhi kebutuhan ekstraksi data Anda dan menjamin privasi Anda.
Di bawah ini adalah tiga kategori utama proksi di Internet.
Anda bisa menggunakan rotasi IP untuk merotasi beberapa alamat IP dan menghindari deteksi. Namun, beberapa tindakan anti-scraping dapat mengidentifikasi aktivitas tersebut dan memblokir Anda untuk memanen data. Oleh karena itu, Anda juga perlu merotasi agen pengguna selain merotasi alamat IP untuk meningkatkan peluang keberhasilan Anda.