Selenium 라이브러리로 웹 크롤러 제작하기

이번 포스팅에선 Selenium 라이브러리를 이용해서 웹 크롤러를 제작한 과정을 공유해보려고 한다. Selenium이란? 서버에서 브라우저의 환경을 구현할 수 있는 오픈소스 라이브러리이다. 주로 브라우저 기반 End Test에 사용되지만 크롤링 같은 다양한 목적을 위해 사용할 수 있다. Selenium을 사용한 이유? 크롤러를 개발할 때 처음에는 jsoup 라이브러리를 사용했다. 하지만 jsoup는 치명적인 단점이 있다. jsoup 라이브러리는 uri 접속시 최초 로딩되는 페이지만 읽어 들일 수 있다. 요즘의 웹 페이지는 SPA 방식으로 최초에 index 페이지를 로딩하고나서 유저의 동적인 action에 의해 동적으로 페이지를 랜더링하는 방식을 사용한다. HTML, CSS, JavaScript를 사용하는..

2023.03.14