2주차
Scraping & Crawling
kims1997
2022. 11. 7. 14:41
반응형
Scraping & Crawling
현재 빅 데이터는엄청난 양의 데이터를 분석할 수있는 기술들이 등장 했다 .
너무 많은 양의 정보를 가지고 있을때 '어떻게 필요한 정보를 찾고 그것을 이해하냐
웹 크로링 웹 스크래핑 툴 을 사용하면 쉽게 내가 원하는 정보를 찾고 이해 할수있다
Crawling
crawler 라는용어는 최종 목표나 목표가 없어도 사이트나 네크워크가 제공할 수 있는 것을 끝없이 탐색,
스스로 웹페이지를 탐색할 수 잇는 프로그램 능력
Scraping
스크래퍼는 특정 데이터를 추출하는 프로세스이다 크롤링과 달리 스크래퍼는 특정 웹 사이트 또는
페이지에서 특정 정보 검색
정리
크롤링은 기존이 복사본을 만들고 ,스크래핑은 분석을 위해 데이터를 추줄하거나 새로운것 을 만듭니다
데이터 크롤링에는 웹 페이지의 모든 키워드,이미지 URL을 저장하는 것과 같은 특정 수준의 스크래핑
ex)크롤링 Google,Yahoo,Bing 종류 정보를 검색
ex)스크래핑 주식 시장 데이터, 비즈니스 리드, 공급업체 제품 스크래핑 특정 데이터에 대한 특정 웹사이트
반응형