ELK STACK 실습 / Elasticsearch, Kibana

해당 Posting은 실습 페이지이며, 이론을 학습하지 않고 온 독자분들은 아래링크로 이동하여, `Elasticsearch` 및 `Kibana` 에 대한 정의 및 사례들을 학습하고 오길 권고합니다 https://www.joinc.co.kr/w/elk_stack_theory 자 이론은 이 정도 알았으면, 바로 실습을 들어가보자. 사실 Elasticsearch...

ELK STACK 이론 / Elasticsearch, Logstash, Kibana

여러분들은 Developer 생활을 하면서 `LOG ANALYSIS` 용어를 들어본적이 있는가? 만약 여러분들이 서버 프로그래밍, 데이터 분석을 관련 일을 하고 싶다면 또는 여러분들의 몸값을 ‘Dramatic Jump’ 하고 싶다면 ? 이 용어는 반드시 접할 단어이고 단언코 다양한 USECASE 들을 경험하면서 학습해나갈 영역이다. 가령, ‘User Act...

개발자를 위한 시스템 디자인 개념

시스템 디자인는 클라우드 엔지니어, DevOps, 소프트웨어 개발자에게 가장 많이 묻는 질문 중 하나다. 면접과정에서 뿐만 아니라 대규모 소프트웨어 문제를 해결하기 위해서도 시스템 설계에 대한 지식이 필요하다....

Database Sharding

Database Shard(이하 샤드)는 데이터베이스 혹은 검색엔진에서 사용하는 데이터의 수평 파티션이다. 각 샤드는 데이터 부하를 분산시키기 위해서 별도의 데이터베이스 서버 인스턴스에 보관된다. 간단히 말해서, 데이터를 분산해서 저장하고 읽게하여서 병렬적으로 성능을 높이기 위한 파티션 방식이라고 생각할 수 있다....

neo4j 소개

요즘 그래프데이터베이스를 지겨보고 있다. AWS 넵튠(Neptune)와 Neo4j를 주로 살펴보고 있는데, 오랜 역사와 전통을 자랑하는 Neo4j를 우선 살펴볼 생각이다.그래프 데이터베이스(GDB)는 노드(node)와 에지(edge) 형태로 표현 할 수 있는 데이터를 저장하기 위해 특화된 데이터베이스다. 이 시스템의 핵심 개념은 데이터 항목을 노드로 표현하...

Aurora RDS 백업과 복구

데이터베이스를 복원하는 것은 쉬운일이 아니다. 복원하는 방법을 찾기전에, (가능한)복원할 일이 없도록 시스템과 운영정책을 만드는게 우선이다. 애플리케이션 권한을 분리한다. 프러덕트 영역의 데이터베이스로의 접근을 엄격히 제한한다. 접근이 필요한 경우 필요한 권한만 준다. 상태를 모니터링하러 접속하는데 DELETE, UPDATE 권한을 모두 줄 필요는 없다...

GraphDB

그래프데이터베이스(GDB)는 시맨틱 쿼리를 위해서 노드와 엣지로 구성되는 그래프 구조를 사용하여 데이터를 표현하고 저장하는 데이터베이스다.데이터의 관계를 직접 연결하기 때문에 서로 연결된 데이터들을 한번의 작업으로 검색 할 수 있다. 그래프 데이터베이스에서는 관계가 가장 중요하다. 이들 관계는 데이터베이스에 직접 저장되기 때문에 매우 빠르다.(RDBMS의 ...

GoLang로 WIKI 만들기 - 데이터베이스 연동

의 후속 문서다. 지난 번에 한 일은 아래와 같다. 애플리케이션 목표 설정 애플리케이션 구조 만들기 이번에 할 일은 아래와 같다. 1. 데이터베이스 연동 1. Wiki 문서를 생성하는 API를 만들어서 테스트한다. 1. 미들웨어를 작성한다. 원본은 에서 확인 할 수 있다.Docker로 실행했다.# docker run --name wiki -e MYS...

Golang 에서의 ORM (GORM)

ORM(Object-relation mapping)은 객체지향 프로그래밍 언어를 사용해서 서로 다른 시스템간에 데이터를 호환성있게 변환하기 위해서 사용하는 프로그래밍 기술이다. ORM을 사용 할 경우 실실적으로 프로그래밍 언어에서 사용 할 수 있는 가상 객체 데이터베이스를 생성한다. 이 가상 객체 데이터베이스는 클래스(혹은 스트럭처)와 맵핑된다. 결과적으로...

DataWareHouse

Data warehouse(DW 혹은 DWH)는 enterprise data warehouse(EDW)라고 부르기도 한다. DW는 데에터 분석과 레포팅에 사용하는 시스템으로 Business intelligence(BI)핵심 구성요소다. DW는 하나 이상의 개별 데이터소스를 통합하는 중앙 저장소로 기능한다. 기업의 과거와 현재, 상품, 서비스, 임직원의 업무...