+--------------------------------------------+ 
      | USER                                       |  
      +--------------------------------------------+ 
          |         |                   
          |         |                  
          |         |                 
      +--------+    |       +----------------------+ 
      | JOINC  |    |       |  SQL SERVER          |         
      +--------+    |       |  +---------+ +-----+ | 
      |        | <--------  |  | Article | | BBS | | 
      |        |    |       |  +---------+ +-----+ | 
      |        |    |       +----------------------+  
      |        |    |       +----------------------+ 
      |        |    |       |  FILE SYSTEM         | 
      |        |    |       |  +-------+ +------+  | 
      |        |    +------ |  | JWIKI | | JCVS |  | 
      |        |            |  +-------+ +------+  | 
      +--------+            +----------------------+ 
 

      +--------------------------------------------+ 
      | USER                                       |  
      +--------------------------------------------+ 
          | 
      +--------------------------------------------+ 
      | Search Engine                              | 
      +--------------------------------------------+  
          |         |                  
          |         |                 
      +--------+    |       +----------------------+ 
      | JOINC  |    |       |  SQL SERVER          |         
      +--------+    |       |  +---------+ +-----+ | 
      |        | <--------  |  | Article | | BBS | | 
      |        |    |       |  +---------+ +-----+ | 
      |        |    |       +----------------------+  
      |        |    |       +----------------------+ 
      |        |    |       |  FILE SYSTEM         | 
      |        |    |       |  +-------+ +------+  | 
      |        |    +------ |  | JWIKI | | JCVS |  | 
      |        |            |  +-------+ +------+  | 
      +--------+            +----------------------+ 
 

가정  
$pre_fix_dir = "/usr/jsearch" 
$jui = 1  
$jpi = 2 
$page_name = "/modules.php?name=test&file=myfile" 
 
결과 
저장된 파일이름 : "/usr/jsearch/1/2" 
 

 +-------------------+       
 | WEB SERVER        | 
 +-------------------+       
       | GET 
   1.  |                    2. 
  +----------+ page       +-------------+ page 
  | Http Get | ---------> | PARSER      |-------------> FILE SYSTEM  
  +----------+            +=============+  
       |  4.              | HTML parse  | 
       | +-----------+    |             | 
       +-| URL TABLE |<---|-----+       | 
         +-----------+    |     |       | 
                          |     |       | 
                +---------| parsing     |  
                |         +-------------+ 
                |  
                | 단어/page index     3.                       
                |         +-------------+ 
                +-------->| DB Indexing |------------> DB SYSTEM  
                          +-------------+ 
 

class Http 
{ 
    private: 
        string host;  
        int  port;   
        int  sockfd; 
        char *data; 
        char *header; 
        int  datalen; 
        int  cdatasize; 
        int  memsize; 
        struct sockaddr_in serveraddr; 
        int addrlen; 
 
    public: 
        Http(); 
        ~Http();  
        int setHost(char *, int); 
        struct header getHeader(); 
        int ContentType(); 
        char *Get(char *); 
}; 
 

GET /$pageurl HTTP/1.0\n\n 
 

HTTP/1.1 200 OK 
Date: Thu, 25 Dec 2003 10:59:49 GMT 
Server: Apache/1.3.28 (HPUX) PHP/4.3.22 
X-Powered-By: PHP/4.3.22 
Set-Cookie: lang=kor; expires=Fri, 24-Dec-2004 10:59:49 GMT 
Set-Cookie: cycounter=cycounter; expires=Fri, 02-Jan-1970 00:00:00 GMT; path=/ 
Connection: close 
Content-Type: text/html 
 

typedef struct _pageinfo 
{ 
   char url[80]; 
   char page[1024]; 
} pageinfo; 
 
class Parser 
{ 
    private: 
        set<string> mdata; 
        set<string> pageUrl; 
        pageinfo Pinfo; 
         
    public: 
        Parser(); 
        ~Parser(); 
        set<string> Rp(string); 
        char * RemoveChosa(char *word); 
        set<string> UrlInfo(); 
        pageinfo GetPinfo(); 
        int SplitUrl(string *); 
}; 
 

예) 
<a href=http://www.joinc.co.kr/modules/index.php&id=10> 
pageinfo.url   = www.joinc.co.kr  
pageinfo.page  = modules/index.php&id=10  
 

while(단어 길이 만큼) 
{ 
   만약 "<"를 만난다면 ">"위치를 파악해서 테그인지 아닌지 판단한다.  
   영문/한글이 아닌 특수문자의 경우 모두 치환한다.  
   \t, \r, \n등을 기준으로 단어로 쪼갠다. 
   쪼개진 단어의 길이가 4이상이면 '''mdata'''에 등록한다.   
} 
 

int Parser::SplitUrl(string *tag) 
{ 
    // a href="http://www.join.co.kr" 
    // a href='http://www.joinc.co.kr' 
    // 처럼 구성되는 경우가 있다. 이때 ",'를 제거해준다. 
    if(tag->find("\"") == 0) 
        *tag = tag->substr(1, tag->find("\"", 1) -1); 
    if(tag->find("'") == 0) 
        *tag = tag->substr(1, tag->find("'", 1) -1); 
 
    // anchor는 무시한다. 
    if (tag->find("#") == 0) 
    { 
        return -1; 
    } 
    // ftp는 무시한다. 
    if (strncmp(tag->c_str(), "ftp:", 4) == 0) 
    { 
        return -1; 
    } 
    // mail도 무시한다.  
    if (strncmp(tag->c_str(), "mailto:", 7) == 0) 
    { 
        return -1; 
    } 
 
    // 일반적으로 링크는 a href=http://www.joinc.co.kr.. 과같은 형식이지만 
    // a href=www.joinc.co.kr..과 같이 구성될 수도 있다.  
    // 후자의 경우 잘못된 링크정보지만 꽤 많은 링크가 후자처럼 기술되므로  
    // 이를 처리하도록 한다.  
    if (strncmp(tag->c_str(), "http:", 5) == 0) 
    { 
        if(strncmp(tag->c_str()+5, "//", 2) == 0)  
            sscanf(tag->c_str(), "%[^:]%[:]%[^a-zA-Z0-9]%[^/]%s",  
                 null,null, null, Pinfo.url, Pinfo.page); 
        else 
            sscanf(tag->c_str(), "%[^:]%[:]%[^/]%s",  
                 null, null, Pinfo.url, Pinfo.page); 
        return 0; 
    } 
    return 1; 
} 
 

char *chosa[] ={"있습니다","그러므로","왜냐하면", 
                "그래서", "그리고",  "왜냐면", "입니다", "이므로", 
                "에서", "처럼", "보다", "로서", "로써", "까지", 
                "한다", "하고", "에게","하기", "하는", "부터", 
                "와", "을","를", "은","는", "이", "가", "의", "등", "에", 
                "한", 
                NULL}; 
 

char *Parser::RemoveChosa(char *word) 
{ 
    char *cl; 
    int i = 0, j;  
    vector<int> llist; 
    while((cl = *(chosa +i)) != NULL) 
    { 
        for (j = 0; j < llist.size(); j++) 
        { 
            if (llist[j] == i) 
                goto La; 
        } 
        if(strlen(word) >= strlen(cl))  
        {        
            if (strcmp(cl, word+(strlen(word)-strlen(cl))) == 0) 
            {    
                cout << "조사 발견" << word <<endl; 
                word[strlen(word)-strlen(cl)] = 0x00; 
                llist.push_back(i); 
                i = 0; 
            } 
        } 
La: 
        i++; 
    } 
    cout << "리턴값은 " << word << endl; 
    if (strlen(word) == 0) 
        word = NULL; 
    return word; 
} 
 

 
int main() 
{ 
  sql 서버에 연결 
  { 
    jsearch_url_index 테이블에 URL이 등록되어 있는지 확인한다.  
    만약 등록되어 있지 않다면  
    { 
      DB에 저장 {jui | url}  
    } 
    
    jsearch_page_index 테이블내에 페이지 경로가 등록되어 있는지 확인한다. 
    만약 등록되어 있지 않다면  
    { 
      DB에 저장 {jui | upi | page 경로}  
    } 
 
    jui와 jpi를 얻어온다.  
  } 
  만약 페이지의 contenttype이 text/html 혹은 text/plain 이라면  
  { 
     파일 시스템에 저장한다.   
     저장 경로는 prefix_dir/jui/jpi 
 
     DB에 저장한다.{단어 | jui | jpi | contenttype | time}  
  } 
}