"AWS Big Data Technology Fundamentals - 모듈 2마법의 은탄환은 없다. 빅 데이터가 모든 문제를 해결해주지 못한다. 현장에서는 (간단한 서비스라고 하더라도) 3개 이상의 데이터베이스 모델을 섞어서 사용한다. 빅 데이터를 제대로 활용하기 위해서는 다양한 데이터베이스들의 특징들을 알고 있어야 한다.RDBMS(Relational D...
의 요약문서다. 개인 학습을 목적으로 요약했다. 전 세계 기업의 데이터엔지니어, 분석가, 개발자들은 DW를 이용해서 데이터를 분석해서 의사결정을 위한 정보들을 만들고 있다. 기존의 DW는 성능개선과 비용 효율성을 위해서 클라우드로 마이그레이션하고 있다. 이 문서는 AWS에서 사용 할 수 있는 DW 서비스를 소개하며, 일반적인 설계 패턴을 제시함으로써 ...
데이터 마트(Data mart)는 데이터 웨어하우스(Data warehouse)의 하위 시스템이다. 데이터웨어 하우스가 전체 조직을 대상으로 한다면, 데이터 마트는 특정 비지니스나 특정 팀을 대상으로 한다. 각 목적에 맞게 데이터베이스 시스템을 구성할 수 있는데, 이를 통해서 데이터의 사용과 조작과 개발을 팀 단위로 분리 할 수 있다. 목적에 맞게 데이터베...
OLAP(Online analytical processing)은 의사결정 지원 시스템의 대표적인 예로, 사용자가 동일한 데이터를 여러 기준을 이용해서 다양한 방식으로 바라보면서 다차원 데이터 분석을 할 수 있도록 도와준다. OLAP는 광범위한 BI(business intelligence)의 한 부분으로 관계형 데이터베이스, 리포팅 시스템과 데이터 마이닝도...
OLTP(Online Transaction Processing)는 트랜잭션 지향의 애플리케이션을 손쉽게 관리할 수 있도록 도와주는 정보시스템의 한 계열로 트랜잭션을 처리하기 위해서 존재한다. 트랜잭션(Transaction)은 두 개의 다른 의미를 가진다. 1. 컴퓨터 또는 데이터베이스 영역에서 상태의 원자적 변화 1. 비지니스 혹은 금융영역에서의 경제교환 ...
이 문서를 읽기 위해서는 NumPy에 대한 기본적인 경험이 있어야 한다. 그래서 기본적 Numpy 배열의 기본구조 특히 메모리 레이아웃, 뷰, 복사(copy), 데이터타입등을 설명하려 한다. dtype이 np.float32인 배열의 모든 값을 지우려는 간단한 예제를 생각해보자. 속도를 극대화하기 위해서는 어덯게 해야 할 까. 아래의 구문은 (적어도 Num...
예제코드들은 에서 다운로드 할 수 있다. 테스트에 사용한 python 버전은 아래와 같다. (my_env) yundream@yundreamPython 3.6.7 (default, Oct 22 2018, 11 on linuxType "help", "copyright", "credits" or "license" for more information.NumPy는...
아파치 하둡(Hadoop)은 대량의 데이터를 용이하게 처리하기 위해서 분산 컴퓨터 네트워크 기술을 사용하는 오픈 소스 소프트웨어 유틸리티들의 모음이다. 수천개의 노드에서 실행 할 수 있으며, 테라바이트 혹은 페타바이트 단위의 데이터를 저장하고 처리 할 수 있다. 아파치 하둡의 핵심은 HDFS로 알려진 분산 파일 저장소와 분산 프로그래밍 모델인 MapRed...
36 POSTS HERE
데이터베이스 아키텍처
"AWS Big Data Technology Fundamentals - 모듈 2마법의 은탄환은 없다. 빅 데이터가 모든 문제를 해결해주지 못한다. 현장에서는 (간단한 서비스라고 하더라도) 3개 이상의 데이터베이스 모델을 섞어서 사용한다. 빅 데이터를 제대로 활용하기 위해서는 다양한 데이터베이스들의 특징들을 알고 있어야 한다.RDBMS(Relational D...
Enterprise data warehousing on aws
의 요약문서다. 개인 학습을 목적으로 요약했다. 전 세계 기업의 데이터엔지니어, 분석가, 개발자들은 DW를 이용해서 데이터를 분석해서 의사결정을 위한 정보들을 만들고 있다. 기존의 DW는 성능개선과 비용 효율성을 위해서 클라우드로 마이그레이션하고 있다. 이 문서는 AWS에서 사용 할 수 있는 DW 서비스를 소개하며, 일반적인 설계 패턴을 제시함으로써 ...
Data mart
데이터 마트(Data mart)는 데이터 웨어하우스(Data warehouse)의 하위 시스템이다. 데이터웨어 하우스가 전체 조직을 대상으로 한다면, 데이터 마트는 특정 비지니스나 특정 팀을 대상으로 한다. 각 목적에 맞게 데이터베이스 시스템을 구성할 수 있는데, 이를 통해서 데이터의 사용과 조작과 개발을 팀 단위로 분리 할 수 있다. 목적에 맞게 데이터베...
OLAP - Online Analytical Processing
OLAP(Online analytical processing)은 의사결정 지원 시스템의 대표적인 예로, 사용자가 동일한 데이터를 여러 기준을 이용해서 다양한 방식으로 바라보면서 다차원 데이터 분석을 할 수 있도록 도와준다. OLAP는 광범위한 BI(business intelligence)의 한 부분으로 관계형 데이터베이스, 리포팅 시스템과 데이터 마이닝도...
OLTP - Online Transaction Processing
OLTP(Online Transaction Processing)는 트랜잭션 지향의 애플리케이션을 손쉽게 관리할 수 있도록 도와주는 정보시스템의 한 계열로 트랜잭션을 처리하기 위해서 존재한다. 트랜잭션(Transaction)은 두 개의 다른 의미를 가진다. 1. 컴퓨터 또는 데이터베이스 영역에서 상태의 원자적 변화 1. 비지니스 혹은 금융영역에서의 경제교환 ...
Anatomy of an array
이 문서를 읽기 위해서는 NumPy에 대한 기본적인 경험이 있어야 한다. 그래서 기본적 Numpy 배열의 기본구조 특히 메모리 레이아웃, 뷰, 복사(copy), 데이터타입등을 설명하려 한다. dtype이 np.float32인 배열의 모든 값을 지우려는 간단한 예제를 생각해보자. 속도를 극대화하기 위해서는 어덯게 해야 할 까. 아래의 구문은 (적어도 Num...
From Python to Numpy - Introduction
예제코드들은 에서 다운로드 할 수 있다. 테스트에 사용한 python 버전은 아래와 같다. (my_env) yundream@yundreamPython 3.6.7 (default, Oct 22 2018, 11 on linuxType "help", "copyright", "credits" or "license" for more information.NumPy는...
From Python to Numpy
...
AWS BigData
학습노트다. AWS를 사용하니, AWS 기반의 빅데이터 서비스들을 배워서 사용할 생각이다. 1. 1. 1. ...
Hadoop 및 MapReduce
아파치 하둡(Hadoop)은 대량의 데이터를 용이하게 처리하기 위해서 분산 컴퓨터 네트워크 기술을 사용하는 오픈 소스 소프트웨어 유틸리티들의 모음이다. 수천개의 노드에서 실행 할 수 있으며, 테라바이트 혹은 페타바이트 단위의 데이터를 저장하고 처리 할 수 있다. 아파치 하둡의 핵심은 HDFS로 알려진 분산 파일 저장소와 분산 프로그래밍 모델인 MapRed...