Joinc Wiki: 개발자로써 구글 서비스를 바라보는 시각

Facebook Joinc 그룹 Joinc QA 사이트

현재위치 : 미니사이트>Google>Google_Tech

joinc는 Firefox와 chrome에서 테스트 했습니다. IE에서는 테이블이 깨지거나 이미지가 보이지 않을 수 있습니다. 특히 구글 Docs이미지의 경우 엑박처리될 수 있습니다.

작성일 : 2011-01-16
음 오늘은 비도오고 하니..

google 서비스들을 엔지니어의 시각에서 좀 분석해 보도록 하겠습니다. 분석이라고 해서 거창한 수준의 그런건 아닙니다.

일단 기반기술에 대해서 생각해볼 필요가 있을거 같습니다. Gmail, adsense, googlemap, Groups, 스케쥴, 개인화 홈피, 검색서비스 이런 것들은 기술이 아닙니다. 기반기술위에서 그 자원을 이용해서 만들어지는 서비스들이지요. - 물론 이런 서비스를 만드는 데에도 기술이 필요하지만, 얘기하기 쉽게 이렇게 정의를 했습니다 -

이러한 서비스들 중에 가장 기본이 되는 서비스는 검색엔진이고, 검색엔진이 가능하도록 만든 기반 기술은 가상화 기술과 대량 데이터 처리기술 입니다. 이러한 기술이 가능하도록 하기 위한 기본 알고리즘 (혹은 모델)이, MapReduce, BigTable와 같은 것들 입니다.

나머지 랭킹알고리즘, 검색알고리즘은 서비스의 품질을 높이기 위한 것들입니다. 그 자체로도 대단한 기술이라고 할 수 있겠지만 이미 이러한 기술들은 적어도 5년전에는 완성되고 공개된 기술들입니다. 실제 이런 검색관련 알고리즘과 기술들은 lucene과 같은 공개 검색엔진에도 사용되고 있을 정도 입니다.

그럼 뭐가 기술인가? 왜 구글을 대단하다고 하는가? 라고 의아해 할 수 있겠습니다. 문제는 규모에 있습니다. 처리해야 하는 문서가 100억건이 되는데, 이를 처리할 수 있는 기술을 가지고 있느냐에 기술의 포인트가 있습니다.

랭킹알고리즘도 개념은 단순합니다. 모든 페이지에 대해서 참조하는 링크를 조사하고, 많은 링크가 참조하는 페이지에 높은 점수를 부여하겠다라는 겁니다. 랭킹을 부여해야 하는 문서가 100억건이 되니 문제가 되는거죠.

부력을 유지하도록 해서 물에 뜨게하면 배를 만들 수 있습니다. 그러나 카누 혹은 1톤짜리 어선을 만드는것과 25만톤짜리 유조선을 만드는데에는 전혀 다른 기술적인 장벽들이 가로막고 있는 것과 마찬가지입니다.

100억건의 문서를 일주일에서 보름단위로 수집한다고 하면 수집된 문서만 petabyte단위의 데이터량입니다. 이 문서를 가능한 빠른시간에 분석해서 색인테이블을 만들어야 합니다. 이러한 작업을 위해서 10만대의 컴퓨터가 하나의 병렬로 묶여서 하나의 가상컴퓨터인것 처럼 만들어줘야 하며, 빠른 데이터 처리를 위해서 데이터를 동시에 병렬로 처리할 수 있는 기반 시설이 갖추어져야 합니다.

컴퓨터 10만대가 병렬로 묶고 일을 할당하고 처리하도록 하는거 자체가 기술적인 도전과제 임은 설명할 필요도 없을 겁니다. 유지보수만 예로 들어보자면, 컴퓨터 한대가 1년에 3번정도 문제가 생겨서 작동이 안되는 상태가 된다고 하면, 10만대기준 하루에 1000대정도의 시스템에 문제가 생기게 됩니다.

병렬로 묶였다면 하나의 유기체처럼 작동을 한다는 건데, 그렇다면 시스템 수백대에 문제가 생겨도 전체시스템에 큰 문제가 되지 않게 해야겠죠. 그러면 전체 시스템을 관리하고, 각각의 시스템은 스스로 백업을 하고, 문제가 생기면 백업시스템이 스스로 대신 역할을 수행할 수 있도록 체계가 갖추어져 있어야 할겁니다.

이러한 일들이 최소한의 비용으로 자동적으로 이루어질 수 있는 시스템을 갖추어야 합니다. 시스템 엔지니어 만명을 투입하면 되긴 하겠죠. 그러나 이래서는 인건비 때문에 회사가 굴러갈 수 없으니, 최대한 적은 인력으로 이러한 환경을 유지할 수 있는 시스템을 만들어야 합니다.

국내 포털과 구글과의 기술력의 차이는 여기에서 나오는 겁니다. 이 기술력의 차이를 극복할 수 있는 좋은 방법은 처리해야 하는 데이터량을 줄여서 기술력 격차에 의한 충격을 가능한 적게 만드는 겁니다. 그리고 마케팅, 맞춤서비스등의 다른 형태로 경쟁을 해나가야 할 겁니다.

국내 포탈이 구글을 상대로 현재 선전하고, 앞으로도 선전할 수 있을 거라는 기대의 근거입니다. 국내시장만을 혹은 일본시장만을 타겟으로 해서 지역 서비스를 개발한다면, 처리해야하는 데이터량이 확 줄어들기 때문에 굳이 구글수준의 기술력이 아니더라도 마케팅, 현지화와 같은 다른 영역에 집중해서 경쟁을 해 나갈 수 있기 때문입니다.

구글은 이와는 반대로 세계시장을 먼저 선점하고 다음 지역시장을 공략하는 형태로 나아가고 있구요.

애드센스를 비롯한 여타의 서비스들은 이러한 기술을 기반위에서 만들어진 검색엔진 모듈의 데이터를 이용할 수 있게끔 만들어진 상위 서비스 기술일 뿐입니다.

베타서비스들 처럼 보이는 Gmail, 구글맵, 그룹스, 캘린더, Docs 같은 완성도가 떨어져보이는 서비스를 런칭을 하고 있음에도 왜 여전히 투자자들과 분석가들 사이에서 구글이 높은 점수를 받고 있을 까요. 단지 광고로 많은 돈을 벌어들이기 때문일까요.

그렇지 않습니다. 저러한 서비스를 전지구적으로 확대할 수 있는 기반기술에 높은 점수를 주기 때문에 긍정적으로 바라보는 겁니다.

밑은 구글개인화 홈페이지와 eyeos의 개인화 홈페이지를 서로 비교해주고 있습니다. 이들은 webos로 진화할 겁니다.

눈으로 보기에 구글개인화 홈페이지는 허접?의 극치를 달리는 것처럼 보입니다. 과연 그럴까요 ? 제가 투자자이고 두개의 서비스들에 대해서만 같은비용을 투자를 하라고 한다면, 저는 당연히 구글에 대해서 투자합니다. 왜냐면 개인화 서비스를 위한 기본이 되는 백데이터 (검색엔진으로 축적된)와 개인화 정보를 만들어 줄 수 있는 대량 데이터 처리기술, 가상화 기술을 구글은 가지고 있기 때문입니다. 발전가능성이 있다는 겁니다. 간단히 생각해서 구글 개인화 홈피에 투자를 하고, 그 투자된 비용을 가지고 위의 기술적 기반위에 서비스를 그럴듯하게 재구성하든지, 시간이 아깝다 치면 eyeos와 같은 회사를 사면 됩니다.

반면 eyeos는 이러한 기반데이터와 기술이 없기 때문에 소규모 지역서비스, ASP 정도를 할 수 있을 뿐입니다.

Gmail 1기가 계정이 몇년전에 이슈가 되었죠. 하지만 솔직히 말해서 계정공간은 100메가면 충분합니다. 메일을 통해서 영화를 주고 받을 것도 아니고 말이죠. - 지금은 Gspace와 같은 FireFox 플러그인을 이용해서 남는 공간을 웹하드처럼 쓸수 있긴 하지만 -. 즉 그냥 사용하는 입장에서 봤을 때는, 쓸데없이 계정공간만 크고, 딱히 차별화될게 없는 서비스입니다. Gmail이 이슈가 되었던건, 공간의 문제가 아니라. 가상화 기술을 가지고 있었다라는 이유 때문입니다.

구글이 맵스, Docs와 같은 서비스를 위해서 돈을 발라서 기술을 샀다라고 혹평하시는 분들도 있습니다. 하지만 위에서와 같이 단순히 돈을 발라서 기술을 산다라는 것 이상의 의미를 가지고 있습니다. 위의 상위 단계의 응용기술들을 돈을 주고사서 시너지 효과를 낼 수 있는 기반을 가지고 있느냐 아니냐의 의미입니다.

구글에 인수합병된 회사의 구성원들이 왜 자신들을 googler라고 하면서 자부심을 내비치게 되는 될까요. M&A당해서 열라 자존심상해가 아니고 말입니다. 단지 회사가 크고 월급을 많이줘서 일까요. 이는 자신들이 만든 서비스가 구글의 기반기술위에서 전세계를 상대로 하는 수준의 서비스가 될 수 있는 가능성이 열렸기 때문입니다. 자기들이 만든 서비스를 전세계인이 사용할 수 있게 된다. 자부심을 느낄만 하지 않겠습니까. 여기에는 또한 기술자를 우대하는 회사문화 (그게 마케팅차원이든 어쨋든지간에)에도 그 이유가 있다 하겠습니다.

국내의 경우 이러한 인수합병이 있을 때마다 단물만 빨아먹고, 변두리 전전하다가 팽당하는, 방어적 인수합병등등의 좋지 않은 소문이 나도는 데, 어떤 차이가 있는 걸까요. 단지 인수합병을 바라보는 시각의 문화적 차이 때문인걸까요 ?

뇌자극 QA 뇌자극 에러 및 수정목록 총 페이지 수 : 3224 전체 함수/용어사전 구글검색방법 구글 맞춤검색	Facebook Joinc 그룹 Joinc QA 사이트 현재위치 : 미니사이트>Google>Google_Tech Tweet joinc는 Firefox와 chrome에서 테스트 했습니다. IE에서는 테이블이 깨지거나 이미지가 보이지 않을 수 있습니다. 특히 구글 Docs이미지의 경우 엑박처리될 수 있습니다. 태그 : google adsense googlemap lucene 프로그래밍 작성일 : 2011-01-16 음 오늘은 비도오고 하니.. google 서비스들을 엔지니어의 시각에서 좀 분석해 보도록 하겠습니다. 분석이라고 해서 거창한 수준의 그런건 아닙니다. 일단 기반기술에 대해서 생각해볼 필요가 있을거 같습니다. Gmail, adsense, googlemap, Groups, 스케쥴, 개인화 홈피, 검색서비스 이런 것들은 기술이 아닙니다. 기반기술위에서 그 자원을 이용해서 만들어지는 서비스들이지요. - 물론 이런 서비스를 만드는 데에도 기술이 필요하지만, 얘기하기 쉽게 이렇게 정의를 했습니다 - 이러한 서비스들 중에 가장 기본이 되는 서비스는 검색엔진이고, 검색엔진이 가능하도록 만든 기반 기술은 가상화 기술과 대량 데이터 처리기술 입니다. 이러한 기술이 가능하도록 하기 위한 기본 알고리즘 (혹은 모델)이, MapReduce, BigTable와 같은 것들 입니다. 나머지 랭킹알고리즘, 검색알고리즘은 서비스의 품질을 높이기 위한 것들입니다. 그 자체로도 대단한 기술이라고 할 수 있겠지만 이미 이러한 기술들은 적어도 5년전에는 완성되고 공개된 기술들입니다. 실제 이런 검색관련 알고리즘과 기술들은 lucene과 같은 공개 검색엔진에도 사용되고 있을 정도 입니다. 그럼 뭐가 기술인가? 왜 구글을 대단하다고 하는가? 라고 의아해 할 수 있겠습니다. 문제는 규모에 있습니다. 처리해야 하는 문서가 100억건이 되는데, 이를 처리할 수 있는 기술을 가지고 있느냐에 기술의 포인트가 있습니다. 랭킹알고리즘도 개념은 단순합니다. 모든 페이지에 대해서 참조하는 링크를 조사하고, 많은 링크가 참조하는 페이지에 높은 점수를 부여하겠다라는 겁니다. 랭킹을 부여해야 하는 문서가 100억건이 되니 문제가 되는거죠. 부력을 유지하도록 해서 물에 뜨게하면 배를 만들 수 있습니다. 그러나 카누 혹은 1톤짜리 어선을 만드는것과 25만톤짜리 유조선을 만드는데에는 전혀 다른 기술적인 장벽들이 가로막고 있는 것과 마찬가지입니다. 100억건의 문서를 일주일에서 보름단위로 수집한다고 하면 수집된 문서만 petabyte단위의 데이터량입니다. 이 문서를 가능한 빠른시간에 분석해서 색인테이블을 만들어야 합니다. 이러한 작업을 위해서 10만대의 컴퓨터가 하나의 병렬로 묶여서 하나의 가상컴퓨터인것 처럼 만들어줘야 하며, 빠른 데이터 처리를 위해서 데이터를 동시에 병렬로 처리할 수 있는 기반 시설이 갖추어져야 합니다. 컴퓨터 10만대가 병렬로 묶고 일을 할당하고 처리하도록 하는거 자체가 기술적인 도전과제 임은 설명할 필요도 없을 겁니다. 유지보수만 예로 들어보자면, 컴퓨터 한대가 1년에 3번정도 문제가 생겨서 작동이 안되는 상태가 된다고 하면, 10만대기준 하루에 1000대정도의 시스템에 문제가 생기게 됩니다. 병렬로 묶였다면 하나의 유기체처럼 작동을 한다는 건데, 그렇다면 시스템 수백대에 문제가 생겨도 전체시스템에 큰 문제가 되지 않게 해야겠죠. 그러면 전체 시스템을 관리하고, 각각의 시스템은 스스로 백업을 하고, 문제가 생기면 백업시스템이 스스로 대신 역할을 수행할 수 있도록 체계가 갖추어져 있어야 할겁니다. 이러한 일들이 최소한의 비용으로 자동적으로 이루어질 수 있는 시스템을 갖추어야 합니다. 시스템 엔지니어 만명을 투입하면 되긴 하겠죠. 그러나 이래서는 인건비 때문에 회사가 굴러갈 수 없으니, 최대한 적은 인력으로 이러한 환경을 유지할 수 있는 시스템을 만들어야 합니다. 국내 포털과 구글과의 기술력의 차이는 여기에서 나오는 겁니다. 이 기술력의 차이를 극복할 수 있는 좋은 방법은 처리해야 하는 데이터량을 줄여서 기술력 격차에 의한 충격을 가능한 적게 만드는 겁니다. 그리고 마케팅, 맞춤서비스등의 다른 형태로 경쟁을 해나가야 할 겁니다. 국내 포탈이 구글을 상대로 현재 선전하고, 앞으로도 선전할 수 있을 거라는 기대의 근거입니다. 국내시장만을 혹은 일본시장만을 타겟으로 해서 지역 서비스를 개발한다면, 처리해야하는 데이터량이 확 줄어들기 때문에 굳이 구글수준의 기술력이 아니더라도 마케팅, 현지화와 같은 다른 영역에 집중해서 경쟁을 해 나갈 수 있기 때문입니다. 구글은 이와는 반대로 세계시장을 먼저 선점하고 다음 지역시장을 공략하는 형태로 나아가고 있구요. 애드센스를 비롯한 여타의 서비스들은 이러한 기술을 기반위에서 만들어진 검색엔진 모듈의 데이터를 이용할 수 있게끔 만들어진 상위 서비스 기술일 뿐입니다. 베타서비스들 처럼 보이는 Gmail, 구글맵, 그룹스, 캘린더, Docs 같은 완성도가 떨어져보이는 서비스를 런칭을 하고 있음에도 왜 여전히 투자자들과 분석가들 사이에서 구글이 높은 점수를 받고 있을 까요. 단지 광고로 많은 돈을 벌어들이기 때문일까요. 그렇지 않습니다. 저러한 서비스를 전지구적으로 확대할 수 있는 기반기술에 높은 점수를 주기 때문에 긍정적으로 바라보는 겁니다. 밑은 구글개인화 홈페이지와 eyeos의 개인화 홈페이지를 서로 비교해주고 있습니다. 이들은 webos로 진화할 겁니다. 눈으로 보기에 구글개인화 홈페이지는 허접?의 극치를 달리는 것처럼 보입니다. 과연 그럴까요 ? 제가 투자자이고 두개의 서비스들에 대해서만 같은비용을 투자를 하라고 한다면, 저는 당연히 구글에 대해서 투자합니다. 왜냐면 개인화 서비스를 위한 기본이 되는 백데이터 (검색엔진으로 축적된)와 개인화 정보를 만들어 줄 수 있는 대량 데이터 처리기술, 가상화 기술을 구글은 가지고 있기 때문입니다. 발전가능성이 있다는 겁니다. 간단히 생각해서 구글 개인화 홈피에 투자를 하고, 그 투자된 비용을 가지고 위의 기술적 기반위에 서비스를 그럴듯하게 재구성하든지, 시간이 아깝다 치면 eyeos와 같은 회사를 사면 됩니다. 반면 eyeos는 이러한 기반데이터와 기술이 없기 때문에 소규모 지역서비스, ASP 정도를 할 수 있을 뿐입니다. Gmail 1기가 계정이 몇년전에 이슈가 되었죠. 하지만 솔직히 말해서 계정공간은 100메가면 충분합니다. 메일을 통해서 영화를 주고 받을 것도 아니고 말이죠. - 지금은 Gspace와 같은 FireFox 플러그인을 이용해서 남는 공간을 웹하드처럼 쓸수 있긴 하지만 -. 즉 그냥 사용하는 입장에서 봤을 때는, 쓸데없이 계정공간만 크고, 딱히 차별화될게 없는 서비스입니다. Gmail이 이슈가 되었던건, 공간의 문제가 아니라. 가상화 기술을 가지고 있었다라는 이유 때문입니다. 구글이 맵스, Docs와 같은 서비스를 위해서 돈을 발라서 기술을 샀다라고 혹평하시는 분들도 있습니다. 하지만 위에서와 같이 단순히 돈을 발라서 기술을 산다라는 것 이상의 의미를 가지고 있습니다. 위의 상위 단계의 응용기술들을 돈을 주고사서 시너지 효과를 낼 수 있는 기반을 가지고 있느냐 아니냐의 의미입니다. 구글에 인수합병된 회사의 구성원들이 왜 자신들을 googler라고 하면서 자부심을 내비치게 되는 될까요. M&A당해서 열라 자존심상해가 아니고 말입니다. 단지 회사가 크고 월급을 많이줘서 일까요. 이는 자신들이 만든 서비스가 구글의 기반기술위에서 전세계를 상대로 하는 수준의 서비스가 될 수 있는 가능성이 열렸기 때문입니다. 자기들이 만든 서비스를 전세계인이 사용할 수 있게 된다. 자부심을 느낄만 하지 않겠습니까. 여기에는 또한 기술자를 우대하는 회사문화 (그게 마케팅차원이든 어쨋든지간에)에도 그 이유가 있다 하겠습니다. 국내의 경우 이러한 인수합병이 있을 때마다 단물만 빨아먹고, 변두리 전전하다가 팽당하는, 방어적 인수합병등등의 좋지 않은 소문이 나도는 데, 어떤 차이가 있는 걸까요. 단지 인수합병을 바라보는 시각의 문화적 차이 때문인걸까요 ?