아파치 하둡(Hadoop)은 대량의 데이터를 용이하게 처리하기 위해서 분산 컴퓨터 네트워크 기술을 사용하는 오픈 소스 소프트웨어 유틸리티들의 모음이다. 수천개의 노드에서 실행 할 수 있으며, 테라바이트 혹은 페타바이트 단위의 데이터를 저장하고 처리 할 수 있다. 아파치 하둡의 핵심은 HDFS로 알려진 분산 파일 저장소와 분산 프로그래밍 모델인 MapRed...
번역 마이크로서비스는 배포주기를 가속화 하고 응용 프로그램의 유지 관리성을 높여서 높은 품질의 제품을 만들기 위한 아키텍처 모델이다. 이 접근법은 개발방법 뿐만 아니라 소프트웨어와 서비스를 제공하는 조직의 변화도 포함하고 있다. 마이크로 서비스의 접근방식을 사용하는 소프트웨어는 잘 정의된 API로 통신하는 작고 독립적인 소프트웨어 컴포넌트들로 구성된다. ...
S3는 Simple Storage Server의 약자로 인터넷에서 사용 할 수 있는 오브젝트 스토리지다. ElasticCache, RDS와 함께 AWS에서 가자 유용하게 사용하는 서비스들 중 하나다.파일 관리 서비스를 만들려고 하는데, API 호출해서 사용하는게 영 귀찮다. 그냥 마운트하기로 했다. goofys와 s3fs를 주로 사용한다. s3fs는 예전에...
S3에 있는 파일을 서비스하는 방법을 살펴보려 한다. AWS에서 제공하는 공식 말고 좀 더 편하게 쓸만한게 없을까 찾아봤는데 못찾았다. 그냥 aws go sdk 쓰기로 했다.구현을 위해서 아래와 같은 방법들을 고민했다. 1. S3 Static Web Hosting 1. EC2에 S3를 마운트해서 NginX로 파일 서비스 1. EC2에 S3 SDK를 기반으...
이 문서는 의 번역문서다. Kubernets, OpenShift Origin, DC/OS, Docker Swarm, Rancher 등의 훌륭한 컨테이너 클러스터 관리 플랫폼들이 있다. 이들 플랫폼은 대부분 AWS에서 사용 할 수 있다. 반면 AWS는 EC2 Container Services(ECS)라는 자체 컨테이너 클러스터 관리 플랫폼을 가지고 있다.개발...
API 서버의 경우, stateless하게 개발을 한다. Stateless는 서버로의 모든 요청과 응답이 다른 요청 혹은 응답과 독립적으로 이루어지는 것을 의미한다. 서버는 상태를 저장할 필요가 없으므로 요청처리부가 단순해지고, 요청을 자유롭게 분산할 수 있다. 각 요청이 독립적으로 실행이된다면, 클라이언트와 서버간의 요청&처리 프로세스는 함수의 실행으로...
빅데이터 쪽은 드문드문 했다. AWS를 기반으로 개발활동을 하고 있으니, AWS 환경에서 빅데이터를 제대로 시작해보기로 한다. 하여 문서들을 정주행하기로 했다. 이 문서는 스터디노트 정도로 보면 되겠다. 가장 기본이 되는 빅 데이터 개요 문서 부터 시작한다. 빅 데이터 개요는 4개의 모듈로 구성된다. 1. 빅 데이터 개요 2. 데이터베이스 아키텍처 3. H...
136 POSTS HERE
Hadoop 및 MapReduce
아파치 하둡(Hadoop)은 대량의 데이터를 용이하게 처리하기 위해서 분산 컴퓨터 네트워크 기술을 사용하는 오픈 소스 소프트웨어 유틸리티들의 모음이다. 수천개의 노드에서 실행 할 수 있으며, 테라바이트 혹은 페타바이트 단위의 데이터를 저장하고 처리 할 수 있다. 아파치 하둡의 핵심은 HDFS로 알려진 분산 파일 저장소와 분산 프로그래밍 모델인 MapRed...
MicroService on AWs
번역 마이크로서비스는 배포주기를 가속화 하고 응용 프로그램의 유지 관리성을 높여서 높은 품질의 제품을 만들기 위한 아키텍처 모델이다. 이 접근법은 개발방법 뿐만 아니라 소프트웨어와 서비스를 제공하는 조직의 변화도 포함하고 있다. 마이크로 서비스의 접근방식을 사용하는 소프트웨어는 잘 정의된 API로 통신하는 작고 독립적인 소프트웨어 컴포넌트들로 구성된다. ...
AWS S3
S3에 대한 내용을 다룬다....
S3 마운트
S3는 Simple Storage Server의 약자로 인터넷에서 사용 할 수 있는 오브젝트 스토리지다. ElasticCache, RDS와 함께 AWS에서 가자 유용하게 사용하는 서비스들 중 하나다.파일 관리 서비스를 만들려고 하는데, API 호출해서 사용하는게 영 귀찮다. 그냥 마운트하기로 했다. goofys와 s3fs를 주로 사용한다. s3fs는 예전에...
Golang를 이용한 S3 serv api 개발
S3에 있는 파일을 서비스하는 방법을 살펴보려 한다. AWS에서 제공하는 공식 말고 좀 더 편하게 쓸만한게 없을까 찾아봤는데 못찾았다. 그냥 aws go sdk 쓰기로 했다.구현을 위해서 아래와 같은 방법들을 고민했다. 1. S3 Static Web Hosting 1. EC2에 S3를 마운트해서 NginX로 파일 서비스 1. EC2에 S3 SDK를 기반으...
ECS와 다른 컨테이너 관리 시스템들
이 문서는 의 번역문서다. Kubernets, OpenShift Origin, DC/OS, Docker Swarm, Rancher 등의 훌륭한 컨테이너 클러스터 관리 플랫폼들이 있다. 이들 플랫폼은 대부분 AWS에서 사용 할 수 있다. 반면 AWS는 EC2 Container Services(ECS)라는 자체 컨테이너 클러스터 관리 플랫폼을 가지고 있다.개발...
AWS Elastic Container Service
Amazon EC2 Container Service(ECS)는 EC2 인스턴스위에 관리형 도커 컨테이너 실행환경을 구축하는 서비스다. 도커 컨테이너도 EC2 기반으로 이루어지며, ELB, Rout 53 등을 이용해서 고가용성 & 서비스 디스커버리를 제공한다. ...
AWS
어쨋든 AWS 경력이 4년은 되는 것 같다. 워낙 변화가 빠른 서비스라서, 1년 안봤는데 처음보는 기분이다. 정리해야겠다....
AWS Lambda
API 서버의 경우, stateless하게 개발을 한다. Stateless는 서버로의 모든 요청과 응답이 다른 요청 혹은 응답과 독립적으로 이루어지는 것을 의미한다. 서버는 상태를 저장할 필요가 없으므로 요청처리부가 단순해지고, 요청을 자유롭게 분산할 수 있다. 각 요청이 독립적으로 실행이된다면, 클라이언트와 서버간의 요청&처리 프로세스는 함수의 실행으로...
빅 데이터 개요
빅데이터 쪽은 드문드문 했다. AWS를 기반으로 개발활동을 하고 있으니, AWS 환경에서 빅데이터를 제대로 시작해보기로 한다. 하여 문서들을 정주행하기로 했다. 이 문서는 스터디노트 정도로 보면 되겠다. 가장 기본이 되는 빅 데이터 개요 문서 부터 시작한다. 빅 데이터 개요는 4개의 모듈로 구성된다. 1. 빅 데이터 개요 2. 데이터베이스 아키텍처 3. H...