Joinc Wiki: 시스템 관리 포인트 : 데이터는 도처에 널려있다.

Facebook Joinc 그룹 Joinc QA 사이트

joinc는 Firefox와 chrome에서 테스트 했습니다. IE에서는 테이블이 깨지거나 이미지가 보이지 않을 수 있습니다. 특히 구글 Docs이미지의 경우 엑박처리될 수 있습니다.

데이터는 도처에 널려있다.

과학자들은 자연에서 데이터를 얻는다. 과학자들은 이 데이터들을 수집하고 분석해서, 이론을 만들거나 혹은 이론을 검증한다. 일반적으로는 이론을 먼저 수립한다음 이 이론을 검증하기 위해서 데이터를 수집하는데, 때때로 수집된 데이터를 분석하다가 우연찮게 새로운 이론을 발견하기도 한다.

여하튼간에 데이터가 주어지지 않는다면 과학자는 자연을 이해할 수 없을 것임이 분명하다.

시스템 혹은 네트워크 관리역시 데이터는 도처에 널려있다라는 믿음에서 시작한다. 데이터가 없다면, 시스템 관리자건 QA건간에 원하는 정보혹은 우연찮은 정보를 얻을 수 없을 것이다.

이상에서 시스템관리자가 필요한 정보는 두가지가 있음을 알 수 있다.

원하는 정보 : 주로 측정치와 관계된 것들로 디스크,네트워크,cpu 사용량등이다. 이들 정보는 시스템과 네트워크의 확장등을 위한 중요한 데이터가 된다.
우연찮은 정보 : 우연찮게 발견되는 정보들로 Event 즉, 각종 에러와 관련된 것들이다. 이들 정보는 데이터의 수집중에 우연찮게 발견될 수 있다. 이들 중 몇개 정보는 이미 널리 알려진 것들로 임계치를 설정고 수집된 데이터가 해당 임계치를 초과하는지를 통해서 얻어낼 수 있다.

만약 대량의 데이터를 처리할 수 있는 인프라시스템이 구성되어 있다면, 전사적차원 혹은 플랫폼 차원에서 이들 자원을 효율적으로 활용할 수 있는 정보를 얻을 수 있을 것이다.

Google Disk Failure Experience 자료를 보기 바란다. 이들은 Collector를 이용해서 수만대의 컴퓨터에서 데이터를 처리하고, 수집된 대량의 데이터를 처리하기 위해서 BigTable과 MapReduce엔진을 사용하고 있다. 다년간의 데이터를 분석함으로써, 이들은 디스크를 어떻게 사용해야 할지, 어떤 메이커의 디스크가 유리한지, 서버실의 온도는 어떻게 유지해야 디스크의 효율을 최대로 하며, 또한 전기세도 아낄 수 있는지등에 대한 정보를 얻을 수 있다.

구글이 직면한 가장 큰 문제중 하나가 컴퓨터 서버들의 전기사용량임을 생각하기 바란다.

가능한 모든 데이터를 수집하자

수집해야될 데이터가 많아지면, 기반 시스템 역시 복잡해진다. 그래서 가능한 필요한 데이터만 수집하려는 경향이 있는것 같다. 그러나 가능한 모든데이터를 수집하도록 하자.

필요없어 보이는 데이터도 필요한 정보를 줄 수 있으며, 가끔은 이게 결정적인 정보를 줄 수도 있다. 어쩌다가 얻을 수 있을지도 모르는 정보를 위해 Disk 자원을 낭비해야 하나라고 할 수도 있겠다.

수집장비는 구형장비 혹은 오래된 장비를 사용해도 문제 없다.
디스크 가격 얼마 하지 않는다.
RRD(:12)를 사용하면 그나마 디스크 자원도 그다지 소비하지 않는다.

수집되어야할 정보들

시스템 정보

ICMP(:12) 정보

ICMP는 시스템이 정상인지를 판단하기 위한 일차적인 정보를 준다. 또한 이들의 통계 데이터는 시스템 가용율에 대한 정보를 준다. 네트워크 정보의 범주로 들어갈 수도 있을 것 같다.
Disk 사용율

시간순으로 데이터를 저장하면, 디스크 증가추이를 확인할 수 있다. 가용한 디스크 공간이 없을 경우 프로그램이 작동을 하지 않거나 최악의 경우 운영체제에 문제가 생길 수도 있다. 디스크 확장시기를 판단하기 위한 자료로 사용할 수 있다.
CPU 사용율
Memory 사용율

어떤 애플리케이션은 메모리누수 현상을 가지고 있다. 애플리케이션은 종류에 따라서 메모리를 우선으로 사용할 수도 있으며, Disk, CPU를 우선으로 사용할 수도 있다. 이 정보는 애플리케이션의 메모리 사용문제를 찾아낼 수 있도록 도와준다. 또한 어떤 장비를 써야할지에 대한 정보를 준다.

예컨데 검색인프라를 구축한다고 하면, Crawl은 최저가장비로 색인쪽은 CPU파워가 강한것들로와 같은 시스템 구축정책안을 마련할 수 있다.
mongrel과 같은 몇몇 오픈소스 플랫폼은 메모리 누수 문제를 가지고 있다.
Interface In/Out

서비스별로 Interface의 트래픽을 더하면, 서비스별 트래픽의 증감 정보를 알 수 있다. 이것은 서비스의 성장정보를 알려주기도 한다. 만약 특정 서비스의 트래픽 유입량이 많아서 동일한 세그먼트의 다른 서비스에게도 영향을 준다면, 세그먼트를 분리시켜야 하는데, 이에 대한 정보도 얻을 수 있다.

뇌자극 QA 뇌자극 에러 및 수정목록 총 페이지 수 : 3224 전체 함수/용어사전 구글검색방법 구글 맞춤검색	Facebook Joinc 그룹 Joinc QA 사이트 현재위치 : 미니사이트>QOS>SMS>Point_1 Tweet joinc는 Firefox와 chrome에서 테스트 했습니다. IE에서는 테이블이 깨지거나 이미지가 보이지 않을 수 있습니다. 특히 구글 Docs이미지의 경우 엑박처리될 수 있습니다. 데이터는 도처에 널려있다. 과학자들은 자연에서 데이터를 얻는다. 과학자들은 이 데이터들을 수집하고 분석해서, 이론을 만들거나 혹은 이론을 검증한다. 일반적으로는 이론을 먼저 수립한다음 이 이론을 검증하기 위해서 데이터를 수집하는데, 때때로 수집된 데이터를 분석하다가 우연찮게 새로운 이론을 발견하기도 한다. 여하튼간에 데이터가 주어지지 않는다면 과학자는 자연을 이해할 수 없을 것임이 분명하다. 시스템 혹은 네트워크 관리역시 데이터는 도처에 널려있다라는 믿음에서 시작한다. 데이터가 없다면, 시스템 관리자건 QA건간에 원하는 정보혹은 우연찮은 정보를 얻을 수 없을 것이다. 이상에서 시스템관리자가 필요한 정보는 두가지가 있음을 알 수 있다. 원하는 정보 : 주로 측정치와 관계된 것들로 디스크,네트워크,cpu 사용량등이다. 이들 정보는 시스템과 네트워크의 확장등을 위한 중요한 데이터가 된다. 우연찮은 정보 : 우연찮게 발견되는 정보들로 Event 즉, 각종 에러와 관련된 것들이다. 이들 정보는 데이터의 수집중에 우연찮게 발견될 수 있다. 이들 중 몇개 정보는 이미 널리 알려진 것들로 임계치를 설정고 수집된 데이터가 해당 임계치를 초과하는지를 통해서 얻어낼 수 있다. 만약 대량의 데이터를 처리할 수 있는 인프라시스템이 구성되어 있다면, 전사적차원 혹은 플랫폼 차원에서 이들 자원을 효율적으로 활용할 수 있는 정보를 얻을 수 있을 것이다. Google Disk Failure Experience 자료를 보기 바란다. 이들은 Collector를 이용해서 수만대의 컴퓨터에서 데이터를 처리하고, 수집된 대량의 데이터를 처리하기 위해서 BigTable과 MapReduce엔진을 사용하고 있다. 다년간의 데이터를 분석함으로써, 이들은 디스크를 어떻게 사용해야 할지, 어떤 메이커의 디스크가 유리한지, 서버실의 온도는 어떻게 유지해야 디스크의 효율을 최대로 하며, 또한 전기세도 아낄 수 있는지등에 대한 정보를 얻을 수 있다. 구글이 직면한 가장 큰 문제중 하나가 컴퓨터 서버들의 전기사용량임을 생각하기 바란다. 가능한 모든 데이터를 수집하자 수집해야될 데이터가 많아지면, 기반 시스템 역시 복잡해진다. 그래서 가능한 필요한 데이터만 수집하려는 경향이 있는것 같다. 그러나 가능한 모든데이터를 수집하도록 하자. 필요없어 보이는 데이터도 필요한 정보를 줄 수 있으며, 가끔은 이게 결정적인 정보를 줄 수도 있다. 어쩌다가 얻을 수 있을지도 모르는 정보를 위해 Disk 자원을 낭비해야 하나라고 할 수도 있겠다. 수집장비는 구형장비 혹은 오래된 장비를 사용해도 문제 없다. 디스크 가격 얼마 하지 않는다. RRD(:12)를 사용하면 그나마 디스크 자원도 그다지 소비하지 않는다. 수집되어야할 정보들 시스템 정보 ICMP(:12) 정보 ICMP는 시스템이 정상인지를 판단하기 위한 일차적인 정보를 준다. 또한 이들의 통계 데이터는 시스템 가용율에 대한 정보를 준다. 네트워크 정보의 범주로 들어갈 수도 있을 것 같다. Disk 사용율 시간순으로 데이터를 저장하면, 디스크 증가추이를 확인할 수 있다. 가용한 디스크 공간이 없을 경우 프로그램이 작동을 하지 않거나 최악의 경우 운영체제에 문제가 생길 수도 있다. 디스크 확장시기를 판단하기 위한 자료로 사용할 수 있다. CPU 사용율 Memory 사용율 어떤 애플리케이션은 메모리누수 현상을 가지고 있다. 애플리케이션은 종류에 따라서 메모리를 우선으로 사용할 수도 있으며, Disk, CPU를 우선으로 사용할 수도 있다. 이 정보는 애플리케이션의 메모리 사용문제를 찾아낼 수 있도록 도와준다. 또한 어떤 장비를 써야할지에 대한 정보를 준다. 예컨데 검색인프라를 구축한다고 하면, Crawl은 최저가장비로 색인쪽은 CPU파워가 강한것들로와 같은 시스템 구축정책안을 마련할 수 있다. mongrel과 같은 몇몇 오픈소스 플랫폼은 메모리 누수 문제를 가지고 있다. Interface In/Out 서비스별로 Interface의 트래픽을 더하면, 서비스별 트래픽의 증감 정보를 알 수 있다. 이것은 서비스의 성장정보를 알려주기도 한다. 만약 특정 서비스의 트래픽 유입량이 많아서 동일한 세그먼트의 다른 서비스에게도 영향을 준다면, 세그먼트를 분리시켜야 하는데, 이에 대한 정보도 얻을 수 있다. 네트워크 정보 서비스 정보

데이터는 도처에 널려있다.

가능한 모든 데이터를 수집하자

수집되어야할 정보들

시스템 정보

네트워크 정보

서비스 정보