빅데이터분석기사 (빅데이터 탐색 - 2)

데이터 탐색

데이터 탐색 기초

수집한 데이터를 분석하기 전에 그래프나 통계적인 방법을 이용하여 다양한 각도에서 데이터의 특징을 파악하고 자료를 직관적으로 바라보는 분석 방법이다.

EDA (탐색적 자료 분석)

• 데이터의 의미를 찾기 위해 통계 시각화를 통해 파악
• EDA의 5가지 주제
  • 저향성 : 자료 변동에 민감하지 않음
  • 잔차 계산 : 값들이 주경향으로부터 얼마나 벗어나 있는지 확인하는 척도
  • 자료변수의 재표현 : 원래 변수를 적당한 척도로 변환
  • 그래프를 통한 현시성 : 시각화를 통하여 효율적으로 파악

상관관계 분석

상관관계 분석은 두 개 이상의 변수 사이에 존재하는 상호 연관성의 존재 여부와 연관성의 강도를 측정하여 분석하는 방법이다.

• 양의 상관관계 : 한 변수의 값이 증가할 때 다른 변수의 값도 증가하는 경향을 보이는 상관관계
• 음의 상관관계 한 변수의 값이 증가할 때 다른 변수의 값은 반대로 감소하는 경향을 보이는 상관관계
• 무상관 : 한 변수의 값의 변화에 무관하게 다른 변수의 값이 변하는 상관관계를 말함.

상관관계 분석의 종류

분석대상이 되는 변수의 개수에 따라 단순 상관분석과 다중 상관분석으로 나눌 수 있다.

• 단순 상관분석 : 2 개의 변수 사이의 상관성을 분석한다.
• 다중 상관분석 : 3 개 이상의 변수 사이의 상관성을 분석한다.
• 편상관관계분석 : 제 3의 변수를 통제한 상태에서 두 변수의 상관관계를 분석

상관분석 방법

• 피어슨 상관분석 : 양적 척도, 연속형 변수, 선형관계 크기 측정
• 스피어만 상관분석 : 서열 척도, 순서형 변수, 선형/비선형적 관계 나타냄

데이터의 종류

1. 단변량 데이터 : 데이터의 특성이 하나인 데이터
2. 다변량 데이터 : 데이터의 특성이 두 개 이상인 데이터
3. 시계열 데이터 : 시간 순서에 따라 관측된 데이터 (=종단면적 데이터)
   • 종단면적 데이터(여러 시점에 측정)
   • 횡단면적 데이터(한 시점에 측정)
   • 패널 데이터(종단 + 횡단)

데이터 정제

1. 집계 : 데이터를 요약
2. 일반화 : 데이터의 일반적인 특성 추출
3. 정규화 : 데이터를 정해진 구간으로 조정하여 상대적 차이 제거
4. 평활화 : 잡음을 제거하여 추세를 부드럽게 만듬