http://www.gleamynode.net/developerworksinterviewwithtrustinlee
more..
My interests: Computer Science, Software Engineering, Web2.0, SNS, Ruby on Rails, Starting business and Google.

위와 같이 많은 포멧을 지원하며, 구글 Feed Crawler인 Feedfetcher가 한시간에 한번 이상 자료를 재수집 할 것입니다. 또한, 크로스 브라우징도 지원합니다.
http://lucene.apache.org/nutch/
Nutch는 오픈소스 웹 검색 소프트웨어입니다. Lucene을 기반으로 crawler, 링크 그래프 데이터페이스, HTML파서 등과 같은 웹에 특화된 기능들이 추가되었습니다.
http://wiki.apache.org/nutch/
위키에서 많은 정보를 얻을 수 있습니다.
http://peterpuwang.googlepages.com/NutchGuideForDummies.htm
실행방법:
1. cygwin을 설치 합니다. (http://www.cygwin.com/)
2. 환경변수 JAVA_HOME을 등록합니다.
export JAVA_HOME="/cygdrive/d/tools/jdk1.6.0_02/"
3. 다운받은 nutch-0.9디렉토리에서 크롤링 대상을 준비합니다.
$ mkdir urls
$ vi urls/cristian.txt하여 아래와 같은 크롤링 대상 사이트를 저장합니다.
http://www.churchinthecity.org
http://www.btgh.org/
$ vi conf/crawl-urlfilter.txt 를 편집하여 크롤링 대상을 지정합니다.
+^http://([a-z0-9]*\.)*apache.org/
+^http://([a-z0-9]*\.)*churchinthecity.org/
+^http://([a-z0-9]*\.)*btgh.org/
$ vi conf/nutch-site.xml 를 편집하여 기본 설정을 합니다.
4. 크롤러를 실행합니다.
$ bin/nutch crawl urls -dir crawl -depth 3 -topN 50
5. nutch-0.9.war를 톰켓의 webapps에 복사(deploy) 하여 nutch-0.9 웹 서치엔진을 구동합니다.
6. WEB-INF/classes/nutch-site.xml 를 편집하여 크롤링 된 소스 디렉토리를 지정합니다.
7. 톰켓을 재시작하면, 크롤링된 저장소를 기반으로 하여 아래와 같이 Nutch 웹 검색엔진을 사용 할 수 있습니다.
http://velocity.apache.org
http://velocity.apache.org/engine/devel/user-guide.html
Velocity는 자바 기반의 템플릿 엔진입니다.
간단하면서 강력한 템플릿 언어를 제공합니다. Velocity가 웹 개발에 사용될 때, 웹 디자이너는 자바 프로그래머와 함께 MVC모델에 따라 병렬적으로 일 할 수 있습니다. 웹 개발자는 디자인에 집중 할 수 있고, 프로그래머는 최고의 코드를 작성하는데 집중 할 수 있습니다. Velocity는 웹 페이지로부터 자바코드를 분리 하고, 웹 사이트를 보다 유지보수 하기 쉽도록 만들어 줍니다.
Velocity는 웹뿐만 아니라 템플릿으로부터 SQL, PostScript, XML 생성하는 용도로 사용될 수 있습니다. 독립적으로 소스코드 생성하는 용도로 사용하거나 다른 시스템과 함께 사용될 수 있습니다. 예를 들어 Turbine 웹 어플리케이션 프레임워크에서 MVC 모델에 따라 View를 분리하여 웹 어플리케이션을 개발 할 수 있도록 도와줍니다.
http://jakarta.apache.org/jmeter/
http://www.apache-korea.org/jmeter/index.html
Apache JMeter 는 테스트 기능과 퍼포먼스를 측정하는 기능을 갖는 100% 순수 자바 데스크탑 애플리케이션입니다. 원래는 웹 애플리케이션의 테스트를 위해서 설계가 되었지만 현재는 다른 기능의 테스트를 위해 확장되고 있습니다.
JMeter로 무엇을 할수 있을까요?
Apache JMeter는 정적(static)이거나 동적(dynamic)인 자원 모두(가령, 파일, 서블릿, 펄 스크립트, 자바 객체들, 데이타베이스와 쿼리들, FTP 서버 등등 다른 것들)에 대해 퍼포먼스들을 테스트 해 볼 수 있습니다. 서버나 네트워크 혹은 객체들에 대해서 과도한 부하를 주어 시뮬레이션 테스트도 가능하며 다른 부하 에 대해서도 전반적인 퍼포먼스를 분석할 수 있습니다. 또한 JMeter로써 퍼포먼스에 대한 분석을 그래픽하게 나타낼수 있으며 개발자들의 서버나 스크립트 객체들에 대해 과도한 동시 처리 부하를 테스트할 수 있습니다.