Scrape YouTube Videos Using Python- An Easy Approach in 2024

Dengan bantuan web scraping, Anda dapat mengekstrak data dari Youtube dan memberi manfaat bagi organisasi Anda dengan menghasilkan wawasan berharga dari data tersebut. Ketika Anda belajar mengekstrak data dari Youtube, penting untuk mengetahui jenis data yang Anda inginkan. Misalnya, jika Anda ingin mengetahui tanggapan orang-orang terhadap pekerjaan Anda, Anda dapat mengikis bagian komentar untuk analisis sentimen pengguna. Demikian pula, jika Anda ingin melacak keberhasilan sebuah video, Anda dapat mengikis data kinerja video. 

Sebelum kita mempelajari cara mengikis video Youtube, mari kita pelajari mengapa kita perlu mengikisnya.

Di bawah ini disebutkan dua alasan utama untuk mengikis data Youtube.

Mari kita lihat cara mengekstrak data video Youtube menggunakan Selenium dan Python. Selenium adalah alat yang populer untuk mengotomatisasi peramban web. Anda dapat dengan mudah memprogram skrip Python untuk mengotomatisasi peramban web menggunakan Selenium. 

Selenium membutuhkan driver untuk berinteraksi dengan peramban yang Anda pilih. Sebagai contoh, Chrome memerlukan ChromeDriver yang perlu diinstal sebelum Anda mulai melakukan scraping.

$ pip install selenium

Anda harus membuka direktori unduhan dan melakukan hal berikut.

$ cd Unduhan
$ unzip chromedriver_linux64.zip
$ mv chromedriver /usr/local/bin/

Kami akan mengikis ID video, judul, dan deskripsi dari kategori tertentu dari Youtube. Kategori yang dapat kita kikis adalah sebagai berikut:

Anda perlu mengimpor pustaka yang diperlukan seperti Panda dan Selenium.

dari selenium mengimpor webdriver 
import panda sebagai pd 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

Anda harus membuka Youtube di browser Anda. Ketik kategori yang ingin Anda cari videonya dan atur filternya ke "video". Anda akan mendapatkan video yang terkait dengan pencarian Anda. Sekarang, Anda harus menyalin URL-nya.

Anda perlu mengatur driver untuk mengambil konten URL dari Youtube.

driver = webdriver.Chrome() 
driver.get("YOUR_LINK_HERE")

Anda dapat menggunakan kode di bawah ini untuk mengambil atribut "href" dari tag jangkar yang Anda cari.

data_pengguna = driver.find_elements_by_xpath('//*[@id="video-title"]')
links = []
for i in user_data:
            links.append(i.get_attribute('href'))

 print(len(links))

Anda perlu membuat bingkai data dengan empat kolom di bawah ini.

Anda dapat menyimpan rincian video untuk kategori yang berbeda-beda dalam kolom-kolom ini.

df = pd.DataFrame(kolom = ['link', ' judul', 'deskripsi', 'kategori'])

Anda siap untuk mengikis detail video Youtube menggunakan kode Python di bawah ini.

wait = WebDriverWait(driver, 10)
v_kategori = "NAMA_KATEGORI"
for x in links:
            driver.get(x)
            v_id = x.strip('https://www.youtube.com/watch?v=')
            v_title = wait.until(EC.presence_of_element_located(
                           (By.CSS_SELECTOR,"h1.title yt-format-string")))).text
            v_description = wait.until(EC.presence_of_element_located(
                                         (By.CSS_SELECTOR,"div#description 
                                         yt-format-string")))).text
            df.loc[len(df)] = [v_id, v_title, v_description, v_category]

Ini,

Kita akan mengikuti langkah yang sama untuk kategori lainnya. Kita akan memiliki empat dataframe yang berbeda, dan kita akan menggabungkannya ke dalam satu dataframe. Dengan cara ini, dataframe akhir kita akan berisi detail video yang diinginkan dari semua kategori yang disebutkan di atas.

frames = [df_travel, df_science, df_food, df_manufacturing]
df_copy = pd.concat(frames, axis=0, join='outer', join_axes=Tidak ada, ignore_index=True, keys=Tidak ada, levels=Tidak ada, names=Tidak ada, verify_integrity=False, copy=True)

Anda dapat menggunakan proksi Youtube untuk tugas-tugas berikut:

Proksi residensial adalah proksi terbaik untuk Youtube dibandingkan dengan proksi pusat data. Itu karena proxy pusat data mudah terdeteksi, dan Anda harus menghadapi banyak Captcha saat menggunakannya. Jadi, untuk menghindari pemblokiran IP dan Captcha, proksi residensial paling cocok untuk otomatisasi Youtube.

Anda tahu bahwa Youtube dipenuhi dengan miliaran data berharga. Anda dapat menganalisis data ini dan menggunakannya untuk melakukan banyak hal, seperti:

Anda membutuhkan proxy saat mengikis Youtube. Ini karena Youtube menggunakan teknik keamanan siber canggih yang mendeteksi ketika Anda mencoba membeli beberapa item dari satu alamat IP. Untuk menghindari deteksi, Anda harus mengalihkan lalu lintas internet Anda melalui beberapa server proxy. Dengan cara ini, lalu lintas jaringan akan terlihat seperti berasal dari komputer yang berbeda.

Proksi juga bertindak sebagai perisai bagi pemasar yang menggunakan bot Youtube untuk meningkatkan jumlah penayangan video, memanipulasi algoritme peringkat Youtube, dan mengklaim pendapatan dari iklan.

Proksi pusat data khusus memiliki beberapa fitur, seperti bandwidth tak terbatas dan koneksi bersamaan, proksi HTTP khusus untuk komunikasi yang mudah, dan otentikasi IP untuk keamanan lebih. Dengan waktu aktif 99,9%, Anda bisa yakin bahwa pusat data khusus akan selalu berfungsi selama sesi apa pun. Yang tak kalah penting, ProxyScrape menyediakan layanan pelanggan yang sangat baik dan akan membantu Anda menyelesaikan masalah Anda dalam waktu 24-48 jam kerja. 

Fitur lain dari proksi residensial ProxyScrapeadalah fitur berputar. Proksi berputar membantu Anda menghindari pelarangan permanen pada akun Anda karena proksi residensial Anda secara dinamis mengubah alamat IP Anda, sehingga menyulitkan server target untuk memeriksa apakah Anda menggunakan proksi atau tidak. 

Selain itu, fitur-fitur lain dari proxy residensial adalah: lebar pita tak terbatas, bersama dengan koneksi bersamaan, proxy HTTP/s khusus, proxy pada sesi kapan saja karena 7 juta lebih proxy dalam kumpulan proxy, otentikasi nama pengguna dan kata sandi untuk keamanan yang lebih baik, dan yang tak kalah pentingnya, kemampuan untuk mengubah server negara. Anda dapat memilih server yang Anda inginkan dengan menambahkan kode negara pada autentikasi nama pengguna. 

Selanjutnya, yang terbaik adalah mengubah server proxy berdasarkan negara. Anda hanya perlu menambahkan ISO_CODE negara di akhir autentikasi IP atau autentikasi nama pengguna dan kata sandi. 

Saya harap Anda mendapatkan pemahaman tentang cara mengikis video Youtube menggunakan Python.