Apache Spark는 빅데이터 처리에 사용되는 오픈 소스 분산 처리 시스템이다. 메모리 기반으로 바르게 작동하며, 배치처리, 스트리밍 분석, 머신러닝등 다양한 영역에서 사용한다.Spark는 RDD(Resilient distributed dataset)이라고 부르는 자료구조로 여러 노드에 분산 할 수 있는 분산 collection이다. 대량의 데이터를 처...
Kafka 프로듀소와 컨슈머의 개발하는 법을 익힌다. 컨슈머 그룹에 대한 개념을 잡는다. 메시지 교환 프로그램의 구조를 개발한다. IoT응용을 찾는다.kafka의 구성을 끝냈다고 가정한다. 아직 kafka 구성을 마치지 않았다면 문서를 참고해서 구성을 끝내자.채팅 프로그램은 아래의 구조를 가진다. 가장 단순한 구조로 만들고, 이 구조를 확장해 나가자.쉽...
디바이스를 인증하기 위한 방법을 고민한다. 이 방법은 아래의 조건을 만족해야 한다. 해당 디바이스가 유저의 것임을 인증 할 수 있어야 한다. 인증 정보는 안전하게 보관할 수 있어야 한다. 인증 정보는 주기적으로 갱신되야 하며, 이 과정은 자동으로 이루어져야 한다. 인증정보가 누출 될 수 있을 것이다. 누출될 경우 인지 할 수 있어야 하며, 초기화 및 복구를...
를 변역한 문서다.완벽하게 연결된 차량, 궁극의 자율주행 자동차의 개발을 위한 경쟁은 이미 진행 중이다. 물론 아직은 목적지도 그다지 명확하지 않기 때문에 결승선이 어디에 있는지를 계속확인하면서 방향을 잡아야 할 것이다. 오늘날 글로벌 컨넥티드(connected) 서비스 판매의 70%는 프리미엄 브랜드에서 나온다. 이 비율은 2022년까지 50%로 떨어지면...
Connected Car는 인터넷에 연결 할 수 있는 수단을 가지고 있으며, 무선 근거리 통신을 위한 수단도 가지고 있다. 이를 통해 차량은 인터넷을 이용해서 외부에 있는 정보에 접근할 수 있을 뿐만 아니라, 차량 내부의 다른 기기들의 정보에도 접근 할 수 있다.1996년 제너럴 모터스(General Motors)사가 OnStar와 함께 첫번째 컨넥티드 카...
이 글의 원문은 에서 찾을 수 있다. 다만 많은 부분에 내 의견이 들어갔다.구글에서 Internet of Things로 검색을 하면 217,000,000의 문서가 검색된다. 엄청나게 많은 문서인데, 자동차, 웨어러블, 스마트 가전, 모바일 폰, 공업용 센서, 로보틱스 등 컴퓨터가 들어가는 모든 기기를 망라하는 기술이기 때문이다굉장히 인기있는 기술이지만 현실...
내가 관심있는 분야는 인프라 관점에서는 SaaS및 PaaS이며, 애플리케이션 관점에서는 메시징 플랫폼으로 메시징 플랫폼 구성 관점에서 살펴보려 한다. 보통 분산 운영체제가 애플리케이션의 실행을 목적으로 하기 때문에, 약간은 다른 내용이 될 수 있다. 내가 구상중인 분산 메시징에 대한 아이디어는 를 참고하기 바란다. 여기에서는 메시징 인프라를 실제 구현하기 ...
Consistent hashingConsistent hashing는 Key의 집합을 K, 슬롯의 크기를 N라고 했을 때, N의 갯수가 바뀌더라도 대부분의 키들이 슬롯을 그대로 사용할 수 있는 해싱 기법을 의미한다. 슬롯이 추가되거나 삭제됐을 때, K/n만큼만 조정된다. 추가된 노드만큼 재 조정되는 것이니, consistent 하다고 할 수 있다. 다른 해...
마이크로 서비스 아키텍처(MSA - Micro service architecture)는 서로 독립적인 여러 개의 프로세스로 나눈 다음, API를 이용해서 서로 연결해서 복잡한 애플리케이션을 구성하는 소프트웨어 디자인 패턴중 하나다. 서비스 기업들은 이전보다 더 빠른 주기로 업데이트된 서비스를 출시하고 평가 받기를 원한다. 이들 서비스는 PC, 모바일 기기,...
48 POSTS HERE
Spark
Apache Spark는 빅데이터 처리에 사용되는 오픈 소스 분산 처리 시스템이다. 메모리 기반으로 바르게 작동하며, 배치처리, 스트리밍 분석, 머신러닝등 다양한 영역에서 사용한다.Spark는 RDD(Resilient distributed dataset)이라고 부르는 자료구조로 여러 노드에 분산 할 수 있는 분산 collection이다. 대량의 데이터를 처...
kafka를 이용한 chatting 프로그램 개발
Kafka 프로듀소와 컨슈머의 개발하는 법을 익힌다. 컨슈머 그룹에 대한 개념을 잡는다. 메시지 교환 프로그램의 구조를 개발한다. IoT응용을 찾는다.kafka의 구성을 끝냈다고 가정한다. 아직 kafka 구성을 마치지 않았다면 문서를 참고해서 구성을 끝내자.채팅 프로그램은 아래의 구조를 가진다. 가장 단순한 구조로 만들고, 이 구조를 확장해 나가자.쉽...
디바이스 인증
디바이스를 인증하기 위한 방법을 고민한다. 이 방법은 아래의 조건을 만족해야 한다. 해당 디바이스가 유저의 것임을 인증 할 수 있어야 한다. 인증 정보는 안전하게 보관할 수 있어야 한다. 인증 정보는 주기적으로 갱신되야 하며, 이 과정은 자동으로 이루어져야 한다. 인증정보가 누출 될 수 있을 것이다. 누출될 경우 인지 할 수 있어야 하며, 초기화 및 복구를...
컨텍티드 카의 현재와 미래
를 변역한 문서다.완벽하게 연결된 차량, 궁극의 자율주행 자동차의 개발을 위한 경쟁은 이미 진행 중이다. 물론 아직은 목적지도 그다지 명확하지 않기 때문에 결승선이 어디에 있는지를 계속확인하면서 방향을 잡아야 할 것이다. 오늘날 글로벌 컨넥티드(connected) 서비스 판매의 70%는 프리미엄 브랜드에서 나온다. 이 비율은 2022년까지 50%로 떨어지면...
Connected Car
Connected Car는 인터넷에 연결 할 수 있는 수단을 가지고 있으며, 무선 근거리 통신을 위한 수단도 가지고 있다. 이를 통해 차량은 인터넷을 이용해서 외부에 있는 정보에 접근할 수 있을 뿐만 아니라, 차량 내부의 다른 기기들의 정보에도 접근 할 수 있다.1996년 제너럴 모터스(General Motors)사가 OnStar와 함께 첫번째 컨넥티드 카...
IoT의 미래
이 글의 원문은 에서 찾을 수 있다. 다만 많은 부분에 내 의견이 들어갔다.구글에서 Internet of Things로 검색을 하면 217,000,000의 문서가 검색된다. 엄청나게 많은 문서인데, 자동차, 웨어러블, 스마트 가전, 모바일 폰, 공업용 센서, 로보틱스 등 컴퓨터가 들어가는 모든 기기를 망라하는 기술이기 때문이다굉장히 인기있는 기술이지만 현실...
분산 운영체제 구현
내가 관심있는 분야는 인프라 관점에서는 SaaS및 PaaS이며, 애플리케이션 관점에서는 메시징 플랫폼으로 메시징 플랫폼 구성 관점에서 살펴보려 한다. 보통 분산 운영체제가 애플리케이션의 실행을 목적으로 하기 때문에, 약간은 다른 내용이 될 수 있다. 내가 구상중인 분산 메시징에 대한 아이디어는 를 참고하기 바란다. 여기에서는 메시징 인프라를 실제 구현하기 ...
Consistent hashing
Consistent hashingConsistent hashing는 Key의 집합을 K, 슬롯의 크기를 N라고 했을 때, N의 갯수가 바뀌더라도 대부분의 키들이 슬롯을 그대로 사용할 수 있는 해싱 기법을 의미한다. 슬롯이 추가되거나 삭제됐을 때, K/n만큼만 조정된다. 추가된 노드만큼 재 조정되는 것이니, consistent 하다고 할 수 있다. 다른 해...
아키텍쳐
아키텍쳐 아키텍처링과 관련된 내용들을 다룬다. ...
Micro services Architecture
마이크로 서비스 아키텍처(MSA - Micro service architecture)는 서로 독립적인 여러 개의 프로세스로 나눈 다음, API를 이용해서 서로 연결해서 복잡한 애플리케이션을 구성하는 소프트웨어 디자인 패턴중 하나다. 서비스 기업들은 이전보다 더 빠른 주기로 업데이트된 서비스를 출시하고 평가 받기를 원한다. 이들 서비스는 PC, 모바일 기기,...