logo proxyscrape gelap

Cara Menggunakan Proxy Dengan Modul Request Di Python

Panduan, Bagaimana cara, Proksi, Mar-03-20225 menit baca

Every computer gets a unique Internet Protocol (IP) address that identifies the computer and its geographic location when connected to the Internet. Your computer sends out a request whenever it needs any information from the Internet. The request is sent to a target computer that checks the type of information being asked for. The target

Setiap komputer mendapatkan alamat Internet Protocol(IP) unik yang mengidentifikasi komputer dan lokasi geografisnya saat tersambung ke Internet. Komputer Anda mengirimkan permintaan kapan pun komputer membutuhkan informasi apa pun dari Internet. Permintaan dikirim ke komputer target yang memeriksa jenis informasi yang diminta. Komputer target akan mengirimkan informasi kembali jika diizinkan untuk memberikannya ke alamat IP kita. Terkadang, komputer ingin mendapatkan informasi dari Internet tanpa dikenali. Informasi tersebut biasanya diblokir, tetapi kita bisa mendapatkannya dengan menggunakan proxy yang bertindak sebagai perantara antara klien dan mesin server.

Setiap server proxy memiliki alamat IP-nya, jadi ketika pengguna meminta melalui proxy untuk mengakses situs web, situs web mengirimkan data ke IP server proxy yang meneruskannya ke pengguna.

  • Proksi menyembunyikan identitas pengikis web dan membuat lalu lintas mereka terlihat seperti lalu lintas pengguna biasa.
  • Proksi memberikan keamanan tambahan pada situs web dan menyeimbangkan lalu lintas internet.
  • Proksi melindungi data pengguna web atau membantu mengakses situs web yang diblokir oleh mekanisme sensor suatu negara.

Menggunakan Proxy Dengan Modul Permintaan di Python

Untuk menggunakan proksi dengan permintaan Python, Anda perlu mengikuti langkah-langkah di bawah ini.

Permintaan impor

Impor paket permintaan yang merupakan pustaka HTTP sederhana. Anda dapat dengan mudah mengirim permintaan melalui paket ini tanpa menambahkan string kueri secara manual ke URL Anda. Anda dapat mengimpor permintaan menggunakan perintah di bawah ini.

permintaan impor

Membuat Kamus

Anda perlu membuat kamus proksi yang mendefinisikan koneksi HTTP dan HTTPS. Anda bisa memberi nama variabel kamus dengan nama apa pun seperti "proxy" yang memetakan protokol ke URL proxy. Selanjutnya, Anda harus membuat variabel URL yang disetel ke situs web yang akan Anda kikis.

proxies = {
  "http":'http://203.190.46.62:8080',
  "https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'

Di sini kamus mendefinisikan URL proxy untuk dua protokol yang terpisah, yaitu HTTP dan HTTPS.

Membuat Variabel Respons

Anda harus membuat variabel respons yang menggunakan salah satu metode permintaan. Metode ini membutuhkan dua argumen:

  • URL yang Anda buat
  • Kamus yang Anda definisikan
response = requests.get(url,proxies = proxies)
print(response.json())

Keluarannya adalah sebagai berikut:

Anda juga dapat menggunakan modul permintaan di Python untuk memutar alamat IP seperti yang ditunjukkan di bawah ini.

Anda harus mengimpor modul permintaan dengan menggunakan perintah di bawah ini.

permintaan impor

Membuat fungsi sending_request

Anda harus membuat fungsi sending_request dan lebih memilih menggunakan proxy http karena sebagian besar proxy gratis tidak menggunakan protokol https. Kami menggunakan blok try-except karena sebagian besar proxy gratis tidak berfungsi.

def sending_request(session, proxy):
    try:
        response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
        print(response.json())
    except:
        pass

Baca proxies_txt

Anda harus membaca file list_proxies.txt yang berisi daftar proxy gratis dan menyimpannya ke variabel bernama proxies.

if __nama__ == "__utama__":
   with open('list_proxies.txt', 'r') as file:
        proxy = file.readlines()

Buat Sesi

Anda harus membuat sesi dari modul permintaan dan mengikuti langkah-langkah di bawah ini.

  • Mengulang melalui proxy
  • Berikan proxy dan sesi ke fungsi sending_request
dengan requests.Session() sebagai session:
   untuk proxy dalam proxy:
        mengirim_permintaan(session, proxy)

Anda akan mendapatkan daftar proxy seperti yang ditunjukkan di bawah ini.

Ini adalah beberapa proxy, dan daftarnya masih panjang dengan lebih banyak proxy, tetapi semuanya tidak berfungsi.

Kebutuhan akan Proksi

Setiap bisnis perlu mengetahui lima alasan penting perusahaan untuk menggunakan proxy yang disebutkan di bawah ini.

Melaksanakan Tugas Sensitif Secara Anonim

Proksi terkenal dengan kemampuannya untuk menganonimkan lalu lintas web. Tetapi kebanyakan orang gagal memahami pentingnya mereka dalam industri bisnis. Server proxy memungkinkan petugas keamanan dan wartawan untuk melindungi diri mereka sendiri, perusahaan, narasumber, klien, dan mitra.

Anda juga dapat menggunakan proksi untuk melindungi pengembangan dan penelitian saat ini serta aktivitas perusahaan lainnya. Misalkan perusahaan Anda menggunakan proxy dan mata-mata potensial untuk melacak lalu lintas web untuk menentukan apa yang sedang dikembangkan oleh bisnis Anda. Dalam hal ini, proxy tidak akan dapat melacak karyawan Anda dengan mudah.

Meningkatkan Keamanan Perusahaan dan Institusi

Anda tahu bahwa pelanggaran data sangat merugikan baik dari segi citra publik maupun kerugian finansial. Jadi, perusahaan-perusahaan khawatir dengan peretas. Tetapi proksi dapat membantu Anda karena mengurangi kemungkinan pelanggaran data. Mereka menambahkan lapisan keamanan tambahan antara server Anda dan lalu lintas luar. Server proxy juga bertindak sebagai penyangga saat mereka menghadapi internet dan meneruskan permintaan dari komputer di luar jaringan.

Jika peretas memiliki akses ke server proxy Anda, mereka masih akan menghadapi kesulitan untuk menjangkau server yang menjalankan perangkat lunak web tempat data disimpan.

Mengontrol Penggunaan Internet Karyawan

Anda tahu bahwa pelanggaran data sangat merugikan baik dari segi citra publik maupun kerugian finansial. Jadi, perusahaan-perusahaan khawatir dengan peretas. Tetapi proksi dapat membantu Anda karena mengurangi kemungkinan pelanggaran data. Mereka menambahkan lapisan keamanan tambahan antara server Anda dan lalu lintas luar. Server proxy juga bertindak sebagai penyangga saat mereka menghadapi internet dan meneruskan permintaan dari komputer di luar jaringan.

Jika peretas memiliki akses ke server proxy Anda, mereka masih akan menghadapi kesulitan untuk menjangkau server yang menjalankan perangkat lunak web tempat data disimpan.

Menghemat Bandwidth dan Mencapai Kecepatan yang Lebih Cepat

Beberapa orang beranggapan bahwa server proxy memperlambat kecepatan internet karena banyaknya pekerjaan yang dilakukan di latar belakang. Tetapi itu tidak selalu benar. Server proxy dapat digunakan untuk menghemat bandwidth dan meningkatkan kecepatan:

  • Menyimpan halaman web dan file yang diakses oleh banyak pengguna
  • Mengompresi lalu lintas
  • Menghapus iklan dari situs web

Proksi Mana yang Digunakan?

Anda mungkin berpikir bahwa hanya ada satu jenis proxy yang memberikan semua manfaat bagi bisnis, seperti:

  • Mencegah pelanggaran data
  • Menetapkan harga yang kompetitif
  • Mengumpulkan data berharga di media sosial
  • Membangun strategi SEO yang efektif

Pada kenyataannya, ada banyak jenis proxy yang tersedia, dan yang digunakan tergantung pada kebutuhan atau kasus penggunaan Anda.

Di bawah ini adalah jenis-jenis proksi yang paling umum.

Proksi Pusat Data

Proksi pusat data adalah proksi yang paling umum digunakan oleh bisnis di seluruh dunia. Pusat data menghasilkan dan mengelola proxy ini. Anda bisa menggunakan proksi ini jika Anda harus meningkatkan keamanan sistem Anda karena harganya murah dan mudah diperoleh. Tetapi beberapa situs web melarang penggunaannya karena mengasosiasikannya dengan aktivitas seperti bot.

Proksi Perumahan

Proksi tempat tinggal dikaitkan dengan tempat tinggal fisik dan menggunakan alamat IP orang yang sebenarnya yang disediakan oleh Penyedia Layanan Internet (ISP). Ketika Anda menggunakannya untuk terhubung ke situs web, Anda terlihat seperti pengguna biasa. Dengan demikian, Anda kecil kemungkinannya untuk terdeteksi dan diblokir. Anda bisa mengikis data web dalam jumlah besar menggunakan proksi residensial dan mencapai anonimitas dan keamanan yang lebih baik.

Kesimpulan

Sejauh ini, kita telah membahas bahwa proxy bertindak sebagai relay antara klien dan mesin server. Setiap kali Anda meminta informasi, komputer Anda mengirimkan permintaan ini ke proxy, yang kemudian mengirimkan informasi ke komputer target dengan menggunakan alamat IP yang berbeda. Dengan demikian alamat IP Anda tetap rahasia. Selanjutnya, Anda dapat menggunakan proksi dengan modul permintaan di Python dan melakukan berbagai tindakan tergantung pada kebutuhan Anda. Jika Anda membutuhkan IP statis dengan kecepatan proxy pusat data dan anonimitas tinggi dari proxy residensial, maka proxy statis adalah cara yang tepat karena alamat IP tetap tidak berubah dengan setiap permintaan baru. Sebaliknya, proxy yang berputar memberikan manfaat dalam pengujian dan pengikisan.