Orang-orang dapat dengan mudah mengumpulkan dan mengikis informasi dari berbagai sumber seperti Facebook, Reddit, dan Twitter. Anda bisa menganggap scraper sebagai alat khusus yang mengekstrak data dari halaman web secara akurat dan cepat. API pengikisan membantu pengikis menghindari larangan oleh teknik anti-pengikisan yang diterapkan oleh situs web. Namun, menggunakan API lebih mahal dibandingkan dengan alat proxy yang dikelola sendiri.
Reddit memiliki API yang disebut Python Reddit API Wrapper, disingkat PRAW, untuk merayapi data. Di blog ini, saya akan menunjukkan kepada Anda langkah-langkah tentang cara meng-crawl Reddit menggunakan python. Tetapi sebelum itu, Anda perlu tahu mengapa Anda harus melakukan scraping Reddit.
Jika kita berbicara tentang desain Reddit, maka itu dipecah menjadi beberapa komunitas yang dikenal sebagai "subreddit." Anda dapat menemukan subreddit dari topik yang Anda minati di Internet. Para peneliti sosial menjalankan analisis, membuat kesimpulan, dan mengimplementasikan rencana yang dapat ditindaklanjuti ketika mereka mengekstrak diskusi Reddit untuk topik tertentu.
Anda dapat mengikis banyak poin data dari Reddit, seperti:
Anda dapat mengorek informasi apa pun dari Reddit yang relevan dengan bisnis Anda karena kebutuhan berikut:
Sebagai contoh,
Scraping Reddit menggunakan pengikis web (program komputer) untuk mengekstrak data yang tersedia untuk umum dari situs web Reddit. Anda perlu menggunakan pengikis Reddit karena keterbatasan yang akan Anda hadapi saat menggunakan API Reddit resmi. Namun, jika Anda menggunakan web scraper yang tidak menggunakan API Reddit untuk mengekstrak data dari Reddit, Anda akan melanggar ketentuan penggunaan Reddit. Tetapi bukan berarti web scraping itu ilegal.
Untuk mendapatkan sesi scraping yang bebas hambatan, Anda harus menghindari sistem anti-scraping yang diterapkan oleh Reddit. Teknik anti-scraping yang paling umum digunakan oleh Reddit adalah:
Anda dapat memecahkan masalah pelacakan IP dengan bantuan proxy dan rotasi IP. Di sisi lain, Anda dapat memecahkan masalah Captcha dengan menggunakan pemecahan Captcha seperti 2Captcha.
Ada lima cara untuk mengikis Reddit, dan berikut ini adalah lima cara tersebut:
Mari kita lihat bagaimana kita dapat mengupas Reddit menggunakan API Reddit dengan bantuan langkah-langkah berikut.
Pertama, kita akan mengimpor modul bawaan Pandas, yaitu, datetime, dan dua modul pihak ketiga, PRAW dan Pandas, seperti yang ditunjukkan di bawah ini:
impor udang
import panda sebagai pd
import datetime as dtAnda dapat mengakses data Reddit menggunakan Praw, yang merupakan singkatan dari Python Reddit API Wrapper. Pertama, Anda harus terhubung ke Reddit dengan memanggil fungsi praw.Reddit dan menyimpannya dalam sebuah variabel. Setelah itu, Anda harus mengoper argumen berikut ini ke fungsi tersebut.
reddit = praw.Reddit(client_id ='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS', \
user_agent='NAMA_APLIKASI ANDA', \
username='NAMA PENGGUNA_REDIT ANDA', \
kata sandi='KATA SANDI_LOGIN_LOGIN_REDIT ANDA')subreddit = reddit.subreddit('Nootropics')Setiap subreddit memiliki lima cara berbeda di bawah ini untuk mengatur topik yang dibuat oleh Redditor:
Anda dapat mengambil topik yang paling banyak dipilih sebagai:
top_subreddit = subreddit.top()Anda akan mendapatkan objek seperti daftar yang berisi 100 kiriman teratas di r/Nootropics. Namun, batas permintaan Reddit adalah 1000, jadi Anda dapat mengontrol ukuran sampel dengan memberikan batas ke .top sebagai:
top_subreddit = subreddit.top(limit=600)Anda dapat mengikis data apa pun yang Anda inginkan. Namun, kami akan mengorek informasi di bawah ini tentang topik-topik tersebut:
Kita akan melakukan ini dengan menyimpan data kita dalam sebuah kamus dan kemudian menggunakan perulangan for seperti yang ditunjukkan di bawah ini.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Sekarang, kita dapat mengikis data dari API Reddit. Kita akan menambahkan informasi ke kamus kita dengan melakukan iterasi melalui objek top_subreddit.
untuk pengajuan di top_subreddit:
topics_dict["id"].append(submission.id)
topics_dict["judul"].append(kiriman.judul)
topics_dict["skor"].append(kiriman.skor)
topics_dict["created"].append(submission.created)
topics_dict["body"].append(submission.selftext)Sekarang, kita memasukkan data kita ke dalam Pandas Dataframe karena kamus Python tidak mudah dibaca.
topik_data = pd.DataFrame(topik_dict)Sangat mudah untuk membuat file data dalam berbagai format di Pandas, jadi kami menggunakan baris kode berikut untuk mengekspor data kami ke file CSV.
topik_data.to_csv('NAMA_NAMA.csv', index =False)Anda tahu bahwa Reddit bukanlah situs web yang ketat dalam hal pembatasan penggunaan proxy. Tetapi Anda bisa tertangkap dan dihukum jika Anda mengotomatiskan tindakan Anda di Reddit tanpa menggunakan proksi.
Jadi, mari kita lihat beberapa proksi terbaik untuk Reddit yang terbagi dalam dua kategori:
Berikut ini adalah beberapa proksi residensial dan pusat data teratas untuk Reddit.
ProxyScrape menyediakan tiga jenis layanan kepada para penggunanya, yaitu,
Anda membutuhkan proxy ketika Anda bekerja dengan beberapa alat otomatis di Reddit. Itu karena Reddit adalah situs web yang sangat sensitif yang dengan mudah mendeteksi tindakan otomatis dan memblokir IP Anda untuk mengakses platform. Jadi, jika Anda mengotomatiskan beberapa tugas seperti memberikan suara, posting, bergabung/bergabung dengan grup, dan mengelola lebih dari satu akun, Anda pasti perlu menggunakan proksi untuk menghindari hasil yang buruk.
Anda dapat menggunakan scraping manual jika persyaratan scraping Reddit Anda kecil. Tetapi jika kebutuhannya besar, Anda harus memanfaatkan metodologi scraping otomatis seperti alat scraping web dan skrip khusus. Pengikis web terbukti hemat biaya dan sumber daya ketika persyaratan pengikisan harian Anda dalam beberapa juta posting.
Jadi, mari kita lihat beberapa pengikis Reddit terbaik sebagai solusi terbaik untuk mengikis data Reddit dalam jumlah besar.