神马文学网Nutch 笔记（一）：Quick Start
来源：百度文库 编辑：神马文学网 时间：2024/06/30 19:27:24
关键字: nutch
最近用到了nutch,目的是针对指定的一些网站抓取其内容，然后做分析用。
nutch 笔记是我使用nutch过程一系列总结，写下自己的学习经过和大家一起分享，也希望能得到大家的指点
好了，废话少说，言归正传，第一篇：Quick Start,我们的目标是快速的能跑起来，能检索出我们想要的结果。
首先要明白nutch是什么？
nutch是一个基于lucene的开源搜索引擎，它包括了所有你想要的东西，是一个完整的解决方案 。
一：安装JDK
如果你已经安装了JDK,并且已经设置了JAVA_HOME，那么跳过这一步
安装jdk
代码
sudo apt-get install sun-java5-jdk
或者从sun公司网站下载bin文件执行安装
设置了JAVA_HOME
代码
sudo vi ~/.bashrc
在最后面增加
代码
export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun
export PATH=$PATH:$JAVA_HOME/bin
二：下载nutch的最新版本nutch0.8.1
代码
wget http://apache.justdn.org/lucene/nutch/nutch-0.8.1.tar.gz
释放下来即可
代码
tar zxvf nutch-0.8.1.tar.gz
三：抓取页面
增加url
代码
cd nutch-0.8.1
mkdir urls
echo http://www.xici.net>>urls/xici
编辑conf/crawl-urlfilter.txt,修改MY.DOMAIN.NAME为
代码
+^http://([a-z0-9]*\.)*xici.net/
修改conf/nutch-site.xml，增加http.agent.name值
代码
http.agent.name
test/unique
执行bin/nutch crawl开始抓取页面
代码
sudo bin/nutch crawl urls -dir crawl -depth 5 -topN 50&
这个过程需要等待一些时间
三：检索
安装tomcat,我们使用apache网站上的包
代码
cd ..
wget http://mirror.vmmatrix.net/apache/tomcat/tomcat-5/v5.5.20/bin/apache-tomcat-5.5.20.tar.gz
tar zxvf apache-tomcat-5.5.20.tar.gz
将nutch自带的war文件拷贝到webapps下面
代码
rm -rf apache-tomcat-5.5.20/webapps/ROOT*
cp nutch-0.8.1/nutch*.war apache-tomcat-5.5.20/webapps/ROOT.war
运行tomcat,如果不设定nutch-site.xml的searcher.dir的值，则需要在crawl目录下面执行
代码
sudo ${TOMCAT的目录}/bin/startup.sh
我们也可以设定nutch-site.xml的searcher.dir的值
代码
sudo vi ${TOMCAT的目录}/webapps/ROOT/WEB-INF/classes/nutch-site.xml
增加
代码
searcher.dir
/home/martin/doc/nutch-0.8.1/crawl
四:中文乱码
修改tomcat的server.xml，在Connector的tag最后增加
代码
URIEncoding="UTF-8"
五：截图
-----------------------
nutch site:http://lucene.apache.org/nutch
nutch wiki:http://wiki.apache.org/nutch/
最近用到了nutch,目的是针对指定的一些网站抓取其内容，然后做分析用。
nutch 笔记是我使用nutch过程一系列总结，写下自己的学习经过和大家一起分享，也希望能得到大家的指点
好了，废话少说，言归正传，第一篇：Quick Start,我们的目标是快速的能跑起来，能检索出我们想要的结果。
首先要明白nutch是什么？
nutch是一个基于lucene的开源搜索引擎，它包括了所有你想要的东西，是一个完整的解决方案 。
一：安装JDK
如果你已经安装了JDK,并且已经设置了JAVA_HOME，那么跳过这一步
安装jdk
代码
sudo apt-get install sun-java5-jdk
或者从sun公司网站下载bin文件执行安装
设置了JAVA_HOME
代码
sudo vi ~/.bashrc
在最后面增加
代码
export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun
export PATH=$PATH:$JAVA_HOME/bin
二：下载nutch的最新版本nutch0.8.1
代码
wget http://apache.justdn.org/lucene/nutch/nutch-0.8.1.tar.gz
释放下来即可
代码
tar zxvf nutch-0.8.1.tar.gz
三：抓取页面
增加url
代码
cd nutch-0.8.1
mkdir urls
echo http://www.xici.net>>urls/xici
编辑conf/crawl-urlfilter.txt,修改MY.DOMAIN.NAME为
代码
+^http://([a-z0-9]*\.)*xici.net/
修改conf/nutch-site.xml，增加http.agent.name值
代码
执行bin/nutch crawl开始抓取页面
代码
sudo bin/nutch crawl urls -dir crawl -depth 5 -topN 50&
这个过程需要等待一些时间
三：检索
安装tomcat,我们使用apache网站上的包
代码
cd ..
wget http://mirror.vmmatrix.net/apache/tomcat/tomcat-5/v5.5.20/bin/apache-tomcat-5.5.20.tar.gz
tar zxvf apache-tomcat-5.5.20.tar.gz
将nutch自带的war文件拷贝到webapps下面
代码
rm -rf apache-tomcat-5.5.20/webapps/ROOT*
cp nutch-0.8.1/nutch*.war apache-tomcat-5.5.20/webapps/ROOT.war
运行tomcat,如果不设定nutch-site.xml的searcher.dir的值，则需要在crawl目录下面执行
代码
sudo ${TOMCAT的目录}/bin/startup.sh
我们也可以设定nutch-site.xml的searcher.dir的值
代码
sudo vi ${TOMCAT的目录}/webapps/ROOT/WEB-INF/classes/nutch-site.xml
增加
代码
四:中文乱码
修改tomcat的server.xml，在Connector的tag最后增加
代码
URIEncoding="UTF-8"
五：截图
-----------------------
nutch site:http://lucene.apache.org/nutch
nutch wiki:http://wiki.apache.org/nutch/
Nutch 笔记（一）：Quick Start
Hadoop (CDH3) Quick Start Guide - Documentati...
Nutch 笔记（二）：Craw more urls and Recrawl
Adobe - Flex Quick Start Basics: Using the Repeater component
Java笔记（一）
大学笔记 （一）
SQLET - 开放源码的中文搜索引擎 - Nutch安装笔记
NUTCH介绍--抓取（1）
WinSock学习笔记（一）
JMS学习笔记（一）
Jetspeed2学习笔记 （一）
Java笔记A（一）
销售人生（stop or start）
Nutch 0.8笔记--Google式的搜索引擎实现 - 花钱的年华 - BlogJav...
C语言复习笔记（一）
柴静：自由是什么？---香港笔记（一）
BEA Tuxedo应用程序开发笔记（一）
自由是什么？---香港笔记（一）
BEA Tuxedo应用程序开发笔记（一）
双典阅读笔记（一）
J2EE笔记（一） — HTTP协议
柴静：自由是什么？---香港笔记（一）
Quick-Kill 项目管理（完成“不可能的”任务）
Quick Installation