nutch에서의 MapReduce

Contents

1. http://labs.google.com/papers/mapreduce
2. ManReduce Joinc 위키

1. crawl db로 부터 url의 목록을 생성한다.
2. segment에서 url의 목록을 fetch한다.
3. segment에서 fetch한 컨텐츠를 분석(parse) 한다.
4. 세그먼트로 부터 crawl db와 분석한 데이터를 업데이트 한다.

   +--> generate -> fetch -> parser -> update ->invert links -> index -->--+ 
   |                                                                       |
   |                                                                       |
   +----------------------------<------------------------------------------+   

<URL, CrawlDatum>

<status, date, interval, failures, linkCount, ...>

{db_unfetched, db_fetched, db_gone, linked, 
 fetch_success, fetch_fail, fetch_gone}

• MapReduce 1 : 입력을 DB format으로 변환한다.
  • 입력 : Url에서 가져온 Text 파일
  • Map(line) -> <Url, CrawlDatum>; status=db_unfetched
  • Reduce()
  • 출력 : 디렉토리 형식의 임시파일
• MapReduce 2 : 존재하는 DB와 통합한다.
  • Input : 1단계 출력파일과 존재하는 DB 파일
  • Map()
  • Reduce: CrawlDatum에 단일 entry로 통합한다.
  • 출력 : 새로운 버젼의 DB

• MapReduce 1 : fetch할 Url을 선택한다.
  • 입력 : CrawlDB 파일
  • Map() -> if date >= now, invert to <CrawIDatum, url>
  • Reduce : Compare() 함수를 이용 CrawlDatum.linkCount로 소트해서 top-N의 entry만을 출력한다.
• MapReduce 2 : fetch 준비
  • 출력 : 병렬적으로 패치를 수행한 결과 생성된 <url, CrawlDatum>데이터를 가지는 파일

• MapReduce : url의 패치 셋
  • 입력 : <url, CrawlDatum> 호스트별로 hash소트
  • Map(url,CrawlDatum) -> <url,FetcherOutput> : 다중쓰레드, 비동기 맵을 생성하며 Nutch protocol을 지원하는 외부 플러그인(:12)을 호출한다.
  • FetcherOutput : <CrawlDatum, Content>
  • 출력 : <url, CrawlDatum>, <url, Content>의 데이터 셋을 가지는 두개의 파일

• MapReduce : Content 분석
  • 입력 : <url, Content> 파일
  • Map(url, Content) -> <url, Parse>, 외부 Nutch parser 플러그인을 호출한다.
  • Parse : <ParseText, ParseData>
  • 출력 : <url,ParseText>, <url,ParseData>, <url,CrawlDatum>

• MapReduce : fetch와 db의 내용을 통합
  • 입력 : <url,CrawlDatum> fetch및 parse결과가 추가된 db
  • Reduce() : 새로추가된 모든 single entry와 기존의 entry들을 합병, 이전 DB에 쓰기모드로 덮어쓴다. 이전디비의 link count를 수정한다.
  • 출력 : 새로운 crawldb

• MapReduce : 모든 Url에 있는 inlink를 계산한다.
  • 입력 : <url, ParseData>, 페이지에서 외부로 나가는 outlink
  • Map(SrcUrl, ParseData> -> <destUrl, inlinks>
  • 출력 : <url, inlinks>, Url로 향하는 모든 외부링크, 이 정보는 페이지 랭크를 결정하기 위한 정보로 사용한다.

• MapReduce : Lucene(:12) 인덱스를 생성한다.
  • 입력 : <Class, Object>를 가진 파일들,

• Reduce() : Nutch indexing 플러그인을 이용해서 Lucene Document의 생성
• 출력 : Lucen index

• Search에서는 MapReduce가 사용되지 않는다. 일반적인 Random access, Binary Search가 이루어진다. 자세한 내용은 Nutch Query 및 Search문서를 참고하기 바란다.

1. attachment:mapred.pdf