빅데이터의 유형
스키마 - 데이터베이스에서 자료의 구조, 자료의 표현 방법, 자료간의 관계를 형식 언어로 정의한 구조
정형 데이터 - 정형화된 스키마 구조, DBMS에 내용이 저장될 수 있는 구조
ex) 관계형 데이터베이스(Oracle, MySQL)
반정형 데이터 - 데이터 내부의 데이터 구조에 대한 메타 정보가 포함된 구조, 고정된 필드에 저장되어 있지 않지만 메타데이터나 데이터 스키마 정보를 포함하는 데이터
ex) XML, HTML, JSON
비정형 데이터 - 수집 데이터 각각이 데이터 객체로 구분, 스키마가 정의되지 않음
ex)텍스트 문서, 이미지, 동영상
텍스트 마이닝 - 대량의 텍스트로부터 패턴 또는 관계를 추출하여 의미 있는 정보를 찾아내는 기법
클라우드 컴퓨팅 - 다수의 사용자들에게 가상화된 컴퓨터의 시스템 리소스를 요구하는 즉시 서비스로 제공하는 컴퓨팅 기술
NoSQL - 스키마가 필요하지않고 조인연산을 사용할 수 없으며, 수평적확장이 가능한 DBMS
빅데이터 플랫폼 구축 소프트웨어
우지(Oozie) - 워크플로우 관리, 하둡 작업을 관리하는 워크플로우 및 코디네이터 시스템
플럼(Flume) - 데이터 수집, 많은양의 로그 데이터를 효율적으로 수집, 집계, 이동
HBase - 분산 데이터베이스, 컬럼 기반 저장소로 HDFS와 인터페이스 제공
스쿱(sqoop) - 정형데이터 수집, 커넥터를 사용하여 관계형 데이터베이스 시스템에서 하둡 파일 시스템으로 데이터를 수집하거나, 하둡 파일 시스템에서 관계형 데이터베이스로 데이터를 보내는 기능 수행
분산 컴퓨팅 환경 소프트웨어 구성요소
맵리듀스
얀
아파치 스파크
하둡 분산 파일 시스템 ( HDFS)
아파치 하둡
데이터 스토어 - 데이터베이스에 들어가는 데이터 이외에 단순 파일, 이메일 등의 단순한 스토어 타입들을 포함하는 저장소
크롤링 - 소셜 네트워크정보, 뉴스, 게시판 등으로부터 웹 문서 및 정보 수집 기술이다.
배치 처리 - 실시간 작업의 반대 개념으로 일련의 작업들을 하나의 작업단위로 묶어서 일괄로 처리하는 방식이다.
ETL(Extract, Transform, Load) - 수집 대상 데이터를 추출, 가공하여 데이터 웨어 하우스 및 데이터 마트에 저장하는 기술이다.
KDD 분석 방법론
차원 축소 ( Dimensionality Reduction ) - 목적에 따라 데이터의 양을 줄이는 기법이다.
데이터 마이닝 (Data Mining) - 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기법이다.
CRISP-DM 분석 방법론
SEMMA 분석 방법론
신경망(Neural Network) - 컴퓨터에서 사람의 두뇌와 비슷한 방식으로 정보를 처리하기 위한 알고리즘이다.
의사결정나무 ( Decision Tree ) - 데이터들이 가진 속성들로부터 분할 기준 속성을 판별하고, 분할 기준 속성에 따라 트리 형태로 모델링하는 분류 예측 모델이다.
로지스틱 회귀 분석 ( Logistic Regression ) - 종속변수가 범주형이면서 0 또는 1인 경우 사용하는 회귀 분석이다.
Open API( Application Programming interface) - 누구나 사용할 수 있도록 공개된 API를 말하며, 개발자에게 응용 소프트웨어나 웹 서비스에 프로그래밍적인 권한을 제공한다.
ERP(Enterprise Resource Planning) - 전사적 자원 관리는 회사의 모든정보뿐만 아니라, 공급사슬관리, 고객의 주문정보까지 포함하여 통합적으로 관리하는 시스템이다.
FTP(File Transfer Protocol) - 원격지 시스템 간에 파일을 공유하기 위한 서버클라이언트 모델로 TCP/IP 기반으로 파일을 송 수신 하는 응용계층 통신 프로토콜
데이터 웨어하우스 ( DW : Data Warehouse ) - 사용자의 의사 결정에 도움을 주기 위하여, 기간 시스템의 데이터 베이스에 축적된 데이터를 공통 형식으로 변환해서 관리하는 데이터베이스이다.
데이터 마트 ( DM : Data Mart ) - 데이터 웨어하우스(DW) 환경에서 정의된 접근계층으로, 데이터 웨어하우스에서 데이터를 꺼내 사용자에게 제공하는 역할을 함. ( 데이터 마트는 데이터 웨어하우스의 부분 )
하둡(Hadoop) - 대용량 데이터를 분산처리할 수 있는 자바 기반의 오픈소스 프레임워크
JDBC(Java Database Connectivity) - 자바에서 데이터베이스에 접속할 수 있도록 하는 자바 API
ODBC(Open Database Connectivity) - 데이터베이스에 접근하기 위한 소프트웨어의 표준 규격
스쿱(Sqoop) -
비정형데이터 수집방식 및 기술 - 크롤링, RSS, Open API, 스크래파이, 아파치 카프카
RSS
스크래파이
아파치 카프카
반정형데이터 수집방식 및 기술 - 센싱, 스트리밍, 플럼, 스크라이브, 척와
플럼(Flume) - 스트리밍 데이터 흐름을 비동기 방식으로 처리하는 분산형 로그 수집 기술
스크라이브(Scribe) - 다수의 서버로부터 실시간으로 스트리밍되는 로그 데이터를 수집하여 분산시스템에 데이터를 저장하는 대용량 실시간 로그 수집 기술
척와(Chuckwa) - 대규모 분산 시스템 모니터링을 위해 에이전트(Agent)와 컬렉터(Collector) 구성을 통해 데이터 수집하는 기술
XML -
JSON -
데이터 변환기술 - 평활화, 집계, 일반화, 정규화, 속성 생성
정규화 기법
1) Min-Max Normalization
2) Z-스코어 정규화(Z-Score Normalization)
3) 소수 스케일링 ( Decimal Scaling )
데이터 사전 - 데이터 사전은 자료요소, 자료 요소들의 집합, 자료의 흐름, 자료 저장소의 의미와 그들간의 관계, 관계값, 범위, 단위들을 구체적으로 명시하는 사전이다.
ERD ( Entity Relationship Diagram) - 개체, 속성, 관계 등을 통해 현실 세계를 표현하는 E-R 모델을 시각화하여 표현하는 방식
빅데이터 적재 아키텍처
SAN
NAS
RAID
호스트 버스 어댑터
NIC
온프레미스
맵리듀스
라우팅 - 최적의 경로를 선택하는 과정
ACID - 트랜잭션의 특징 원자성, 일관성, 독립성, 내구성
데이터베이스 클러스터 - 하나의 데이터베이스를 여러 개의 서버상에 분산하여 구축
데이터베이스 파티셔닝 - 데이터베이스를 여러부분으로 분할 하는것
페일오버
CAP 이론
'빅데이터분석기사' 카테고리의 다른 글
| pandas loc에 대한 개념 (0) | 2021.05.19 |
|---|