사용자에이전트1 05장 웹 데이터 수집 라이브러리, 뷰티풀수프 05.1 웹 데이터 수집 기본 개념 알아보기 robot.txt: 웹 사이트 소유자가 크롤러에게 제공하는 지침서, 접근할 수 있는 영역과 없는 영역을 명확히 정의웹 크롤링: 크롤러라는 프로그램을 인터넷으로 보내 인터넷 콘텐츠를 자동으로 수집하고 색인화하는 것웹 스크래핑: 특정 웹 사이트에서 특정 페이지의 데이터 수집을 목표로 하는 프로그램요청: 서버에 데이터 요청: 서버에 데이터를 요청하는 행위응답: 서버가 데이터 보내줌서버가 요청에 대해 데이터를 보내주는 행위파이썬 + 뷰티풀수프: 데이터 속에서 원하는 데이터 찾기응답으로 받은 데이터에서 원하는 값만 찾을 때 파이썬과 뷰티풀수프 사용, 원하는 데이터의 위치는 CSS Selector로 지정soup.select('p.scraping')soup.select('.. 2025. 2. 16. 이전 1 다음
