데이터 탐색 데이터 탐색 기초 수집한 데이터를 분석하기 전에 그래프나 통계적인 방법을 이용하여 다양한 각도에서 데이터의 특징을 파악하고 자료를 직관적으로 바라보는 분석 방법이다. EDA (탐색적 자료 분석) 데이터의 의미를 찾기 위해 통계 시각화를 통해 파악 EDA의 5가지 주제 저향성 : 자료 변동에 민감하지 않음...

데이터 전처리 데이터 정제 데이터 전처리 과정 데이터 정제 -> 결측값 처리 -> 이상값 처리 -> 분석변수 처리 데이터 정제 절차 순서 데이터 정제 절차 설명 1 오류 원인 분석 원천 데이터의 오류, 빅데이터 플로우의...

데이터 전처리 데이터 전처리는 ‘데이터 정제 -> 결측값 처리 -> 이상값 처리 -> 분석변수 처리’ 과정을 거친다. 데이터 전처리는 데이터 분석 결과에 직접적인 영향을 미치므로 데이터 분석 과정에서 반본적으로 수행해야 한다. 데이터의 종류 반뱡향 데이터 : 데이터의 특성이 하나인 데이터 다변량 데이터 : 데이...

1 빅데이터의 개요 및 활용 빅데이터의 특징 빅데이터의 개요 수십 테라바이트(TB) 이상의 막대한 양의 정형/비정형 데이터를 말한다. 데이터로부터 가치를 추출하고, 해당 결과를 분석하는 기술이다. 빅데이터 활용 위한 3대 요소 인력, 자원(데이터), 기술 DIKW 피라미드 Data(데이터) : 객관적 사실, 순수한 ...

INDEX 기존에는 테이블의 모든 데이터를 순회(Table Full Scan)하며 검색을 하기 때문에 오래 걸렸다. INDEX는 이를 해결하고자 책 뒷편에 존재하는 ‘색인’과 동일한 역할을 하도록 만들어진 자료구조이다. Index를 생성하게 되면 해당 컬럼의 데이터들을 정렬하여 별도의 메모리 공간에 데이터의 물리적 주소와 함께 저장된다. 이렇게 인...

Isolation Level   DIRTY READ NON-REPEATABLE READ PHANTOM READ Default Level READ UNCOMMITTED O O O   ...

Redis 란? Redis는 REmote DIctionary Server 의 약자로 주로 애플리케이션 캐시나 빠른 응답 속도를 가진 데이터베이스로 사용되는 오픈 소스 인메모리 NoSQL 키/값 저장소입니다. Q. 기존 서버에서 사용하고 있는 RDBMS가 있지만 별도로 Redis를 사용하는 이유는? A. Redis는 디스크나 SSD가 아닌...

Message Queue Message Queue는 프로세스 또는 프로그램 간에 데이터를 교환 할 때 사용하는 통신 방법 중에 하나로, 메시지 지향 미들웨어를 구현한 시스템을 의미한다. 생산자(Producer)로 취급되는 컴포넌트가 메시지를 메시지 큐에 추가한다. 해당 메시지는 소비자(Consumer)로 취급되는 또 다른 컴포넌트가 메...

상태값과 속성값으로 관리하는 UI 데이터 UI 라이브러리인 리엑트는 UI 데이터를 관리하는 방법을 제공한다. UI 데이터는 컴포넌트 내부에서 관리되는 상탯값, 부모 컴포넌트에서 내려 주는 속성값으로 구성된다. UI 데이터가 변동되면 돔 요소를 직접 수정해야한다. 그렇게 되면 비지니스 로직과 UI 수정 코드가 뒤섞여 복잡해 지기 때문에 리엑트에서는 ...

인증 논리를 담당하는 것은 AuthenticationProvider 계층이며 여기에서 요청을 허용할지 결정하는 조건과 명령을 발견할 수 있다. AuthenticationProvider의 이해 엔터프라이즈 애플리케이션에서는 사용자 이름과 암호 기반의 기본 인증 구현이 적합하지 않을 수 있다. 일반적으로 프레임워크는 가장 많이 이용되는 구현을...