빅데이터(Big Data) : 이름 그대로 대규모 데이터의 집합을 의미합니다. 하지만 이는 데이터를 수집하는 것만으로는 의미가 없고 수집한 데이터를 활용해야 가치가 생깁니다. 빅데이터라는 용어는 수집한 데이터를 분석해서 비즈니스 활용하는 것까지를 의미합니다.
스크레이핑(Scraping) : 웹 사이트에 있는 특정 정보를 추출하는 기술을 의미합니다. 웹에 공개된 정보는 대부분 HTML 형식입니다. 이를 가져와서 데이터베이스에 저장하려면 데이터 가공이 필요합니다. 광고 등의 불필요한 정보를 제거하고, 필요한 정보만 가져오려면 사이트의 구조를 분석할 줄 알아야 합니다.
크롤링(Crawling) : 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술입니다. 크롤링을 하는 프로그램을 크롤러(Crawler) 또는 스파이더(Spider)라고 합니다.