빅데이터 분석기사 (빅데이터 분석 기획)

1 빅데이터의 개요 및 활용

빅데이터의 특징

빅데이터의 개요

• 수십 테라바이트(TB) 이상의 막대한 양의 정형/비정형 데이터를 말한다.
• 데이터로부터 가치를 추출하고, 해당 결과를 분석하는 기술이다.

빅데이터 활용 위한 3대 요소

• 인력, 자원(데이터), 기술

DIKW 피라미드

1. Data(데이터) : 객관적 사실, 순수한 수치나 기호를 의미
2. Information(정보) : Data를 통한 패턴 인식
3. Knowledge(지식) : 패턴을 통해 예측
4. Wisdom(지혜) : 창의적인 산물

빅데이터의 특징

• 3V

  • Volume(규모) : 빅데이터 분석 규모
  • Variety(다양성) : 자원의 유형 -> 정형/반정형/비정형
  • Velocity(속도) : 수집, 분석 활용속도

• 5V : 3V + Veracity, Value

  • Veracity(신뢰성) : 데이터가 가지는 신뢰 및 품질
  • Value(가치) : 데이터를 통해 얻을 수 있는 사치

• 7V : 5V + Validity, Volatility

  • Validity(정확성) : 데이터가 가지는 유효성
  • Volatility(휘발성) : 데이터가 의미있는 기간

Byte의 크기 비교

KB(킬로) < MB(메가) < GB(기가) < TB(테라) < PB(페타) < EB(엑사) < ZB(제타) < YB(요타)

데이터 지식경영

• 암묵지(Tacit Knowledge) : 학습과 경험을 통해 개인의 머릿속에만 존재하고 특정한 형태로 드러나지 않은 상태
• 형식지(Explicit Knowledge) : 언어로 표현 가능한 객곽적 지식으로, 문서화한 형태로 표출된 지식

• 공통화 : 다른 사람과 대화 등의 상호작용 (암묵지 -> 암묵지)
• 표출화 : 경험을 문서화 (암묵지 -> 형식지)
• 연결화 : 형식지가 상호 결합하여 새로운 형식지를 창출 (형식지 -> 형식지)
• 내면화 : 교육 등을 통해 체화 (형식지 -> 암묵지)

데이터베이스의 특징

1. 공용 데이터 : 여러 사용자가 다른 목적으로 데이터 공동 이용
2. 통합된 데이터 : 동일한 데이터 중복되어 있지 않음
3. 저장된 데이터 : 저장매체에 저장
4. 변화되는 데이터 : 새로운 데이터 추가, 수정, 삭제에도 현재의 정확한 데이터 유지

기업 활용 데이터베이스

• OLTP : 데이터를 수시로 갱신
• OLAP : 다차원 데이터를 대화식으로 분석
• CRM : 고객과 관련 자료 분석
• SCM : 공급망 연결 최적화
• ERP : 기업 경영 자원을 효율화
• RTE : 최신 정보로 빠른 의사결정 지원
• BI : 기업 보유 데이터 정리, 분석하는 리포트 중심 도구
• BA : 통계 기반 비지니스 통찰력
• Block Chain : 네트워크에 참여한 모든 사용자가 정보를 분산, 저장
• KMS : 기업의 모든 지식 포함

빅데이터 가치 선정이 어려운 이유

1. 데이터 활용 방식의 다양화로 특정 데이터를 언제, 어디서, 누가 활용할지 알 수 없고 기존에 풀 수 없던 문제를 해결할 수 도 있음
2. 기존에 없던 가치를 창출
3. 분석기술의 급속한 발전으로 분석 비용이 저렴해지고 활용도 증가

빅데이터의 위기 요인

1. 사생활 침해
2. 책임원식 훼손
3. 데이터 오용

빅데이터가 만들어내는 변화

1. 표본조사 -> 전수조사
2. 사전처리 -> 사후처리
3. 질 -> 양
4. 인관관계 -> 상관관계