nutch + hbase + hadoop + solr

这个nutch2.3终于搭好了,hadoop/hbase运行在两台机器上,应该可以很方便的扩展到多台机器。
这里整理一下整个配置的过程:

首先,各构件的版本为:

nutch 2.3 (gora 0.5)
hbase 0.94.14
hadoop 1.1.2
solr 4.10.3

  1.  hadoop 1.1.2 , 主要是HDFS

    1. hadoop 1.1.2 setup

    2. 关于下载老版本的hadoop

    3.  两台机器上的HDFS

    4. 单机上的hadoop/hdfs

    5. 再说一下ssh不输密码的问题

  2. hbase 0.94.14 on HDFS

    1. hbase集群on hadoop

    2. 分布式hbase集群搭建(序)

  3. solr 4.10.3

    1. 为nutch配置solr

    2. solr配置(续)

    3. 为solr配中文分词

    4. 为solr中文分词添加停用词

  4. nutch 2.3

    1. nutch2.x in ubuntu

    2. nutch 2.x 蜘蛛抓来的数据

    3. nutch 2.x index

 

完成以后, 有以下几个链接可以用来监控系统的状态:

1.  solr

2.namenode

3. DFS 文件系统

 



本文地址: http://www.bagualu.net/wordpress/archives/4216 转载请注明




发表评论

电子邮件地址不会被公开。 必填项已用*标注