[CS / TOPCIT] 빅데이터, NoSQL

빅데이터

일반적으로 기존 데이터베이스 관리도구인 데이터 수집, 저장, 분석하는 역량을 넘어서는 데이터, 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처

 

• 크기 (Volume)
• 속도 (Velocity)
• 다양성 (Variety)

1. 정형 데이터 : 고정된 필드에 저장되는 데이터

2. 반정형 데이터 : 고정된 필드에 저장되지는 않지만, XML이나 HTML처럼 메타데이터나 스키마 등을 포함하는 데이터

3. 비정형 데이터 : 고정된 필드에 저장되어 있지 않은 데이터

 

빅데이터의 저장/처리 기술

1. 분산파일시스템(DFS) : 대용량, 비정형 데이터를 분산 환경에 저장/처리하기 위한 파일시스템 아키텍처

2. MapReduce : 저렴한 머신을 이용하여 빅데이터를 병렬로 분산 처리하기 위한 프로그래밍 모델

 

NoSQL

기존의 관계형 데이터베이스의 한계를 벗어나 비정형, 초고용량 데이터 처리를 위해 쓰기속도에 중점을 둔 다수 서버에 데이터 복제 및 분산 저장 등 수평적 확장이 가능한 비-관계형 분산 데이터 저장소

 

NoSQL의 BASE 속성

• Basically Available : 가용성을 중시
• Soff - State : 노드의 상태는 외부에서 전송된 정보를 통해 결정
• Eventually Consistent : 최적으로는 일관성이 있는 상태가 되는 성질