ETL2 #2. [Mini Project] 멜론 TOP100 + DB (ETL _ bs4 & Selenium) 셀레니움을 통해 html에 있는 데이터 정보를 가져올 수 있는 것을 확인했지만, 작업 효율(메모리 , 시간)을 위해 두 기술을 섞어서 사용하자 bs4 & 셀레니움 두 가지 기능을 통해 가져오자 from selenium import webdriver from bs4 import BeautifulSoup as BeautifulSoup url = 'https://www.melon.com/chart/index.htm' driver = webdriver.Chrome() driver.get(url) html = driver.page_source bs4 = BeautifulSoup(html, 'html.parser') song_parts = bs4.select('tbody > tr') for song in (song.. 2023. 1. 16. #1. [Mini Project] 멜론 TOP100 + DB (ETL _ bs4 & Selenium) 초기 계획) E : Beautifulsoup 사용하여 멜론 차트 100 정보를 가져오고, 원하는 형태로 정제 후 mysql DB에 저장 T : 전처리 및 원하는 형태로 변환 L : Msql DB에 저장 1. bs4를 사용하여 원하는 정보를 가져오자 필요한 것 해당 홈페이지 URL : https://www.melon.com/chart/index.htm 필요한 정보 : 가수, 노래 제목, 앨범, 좋아요 수 from bs4 import BeautifulSoup import requests headers = { "User-Agent": "***" } r = requests.get("https://www.melon.com/chart/index.htm", headers=headers) html = r.text so.. 2023. 1. 16. 이전 1 다음
