大数据系列

大数据系列6：HBase – 基于Hadoop的分布式数据库

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gztar -xzvf zookeeper-3.4.5.tar.gzcd zookeeper-3.4.5cp conf/zoo_sample.cfg conf/zoo.cfgvi conf/zoo.cfg  修改：dataDir=/ho
杨尚川·2015-04-06 19:00

大数据系列5：Pig – 大数据分析平台

wget http://mirror.bit.edu.cn/apache/pig/pig-0.11.1/pig-0.11.1.tar.gztar -xzvfpig-0.11.1.tar.gzsudovi /etc/profile增加：exportPIG_HOME=/home/ysc/pig-0.11.1exportPATH=$PATH:$PIG_HOME/binsource /etc/profil
杨尚川·2015-04-06 19:00

大数据系列4：Hive – 基于HADOOP的数据仓库

wget http://mirror.bit.edu.cn/apache/hive/hive-0.11.0/hive-0.11.0-bin.tar.gztar -xzvfhive-0.11.0-bin.tar.gzcd hive-0.11.0-binsudovi /etc/profile增加：exportHIVE_HOME=/home/ysc/hive-0.10.0-binexportPATH=$
杨尚川·2015-04-06 19:00

大数据系列3：用Python编写MapReduce

    vimapper.py      输入：             #!/usr/bin/envpython              importsys              forlineinsys.stdin:                           line=line.strip()                           words=line.split
杨尚川·2015-04-06 19:00

大数据系列2：建立开发环境编写HDFS和Map Reduce程序

1、在eclipse中配置hadoop插件       将hadoop-eclipse-plugin-1.2.1.jar 复制到eclipse/plugins目录下，重启eclipse。2、打开MapReduce视图      Window->OpenPerspective->Other 选择Map/Reduce，图标是个蓝色的象。3、添加一个MapReduce环境      在eclipse下端
杨尚川·2015-04-06 19:00

大数据系列1：在win7上安装配置Hadoop伪分布式集群

1、  安装虚拟机和操作系统VMware-workstation-full-10.0.0  或 VirtualBox-4.2.18-88781-Win  下载VMware  下载VirtualBoxubuntu-13.04-server-amd64.iso 下载ubuntu2、  设置root用户密码sudopasswd root3、  上传文件利用WinSCP上传JDK和HADOOP文件，利用p
杨尚川·2015-04-06 19:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
葬月仙帝·2015-03-18 23:36

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
葬月仙帝·2015-03-18 23:36

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合! http://qindongliang.iteye.com/ Pig系列的学习文档，希望对大家有用，感谢关注散仙！ ApachePig的前世今生 ApachePig如何自定义UDF函数？ ApachePig5行代码怎么实现Hadoop的WordCount？ ApachePig入门学习文档（一） ApachePig学习笔记（二） ApachePig学习
u010454030·2015-03-18 23:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合! http://my.oschina.net/u/1027043/blogPig系列的学习文档，希望对大家有用，感谢关注散仙！ ApachePig的前世今生 ApachePig如何自定义UDF函数？ ApachePig5行代码怎么实现Hadoop的WordCount？ ApachePig入门学习文档（一） ApachePig学习笔记（二） Apache
九劫散仙·2015-03-18 23:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

阅读更多原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig高级技能之函数编程（六）

原创不易，转载请务必注明，原创地址，谢谢配合!http://qindongliang.iteye.com/Pig系列的学习文档，希望对大家有用，感谢关注散仙！ApachePig的前世今生ApachePig如何自定义UDF函数？ApachePig5行代码怎么实现Hadoop的WordCount？ApachePig入门学习文档（一）ApachePig学习笔记（二）ApachePig学习笔记之内置函数（
qindongliang1922·2015-03-18 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
九劫散仙·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
u010454030·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
qindongliang1922·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
qindongliang1922·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
qindongliang1922·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
qindongliang1922·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
qindongliang1922·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定的重要意
qindongliang1922·2015-03-12 21:00

玩转大数据系列之Apache Pig如何通过自定义UDF查询数据库（五）

阅读更多GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。当然散仙今天，并不是来解释概念的，而是记录下最近工作的一些东西，原来我们平台的GMV只有一个总的成交金额，并没有细分到各个系统的GMV的比重，比如搜索端，推荐端，移动端等等。通过细粒度的分析各个系统所占的比重，对于指导各个系统完善和发展有一定
qindongliang1922·2015-03-12 21:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

阅读更多Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，
qindongliang1922·2015-03-07 20:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，一般都是
qindongliang1922·2015-03-07 20:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，一般都是
qindongliang1922·2015-03-07 20:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，一般都是
qindongliang1922·2015-03-07 20:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，一般都是
qindongliang1922·2015-03-07 20:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，一般都是
qindongliang1922·2015-03-07 20:00

玩转大数据系列之如何给Apache Pig自定义存储形式（四）

Pig里面内置大量的工具函数，也开放了大量的接口，来给我们开发者使用，通过UDF，我们可以非常方便的完成某些Pig不直接支持或没有的的功能，比如散仙前面几篇文章写的将pig分析完的结果，存储到各种各样的介质里面，而不仅仅局限于HDFS，当然，我们也可以在都存。那么如何实现自己的存储UDF呢？提到这里，我们不得不说下pig里面的load和store函数，load函数是从某个数据源，加载数据，一般都是
qindongliang1922·2015-03-07 20:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
九劫散仙·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
u010454030·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

阅读更多上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与MySQL集成（三）

上篇介绍了如何把Pig的结果存储到Solr中，那么可能就会有朋友问了，为什么不存到数据库呢？不支持还是？其实只要我们愿意，我们可以存储它的结果集到任何地方，只需要重写我们自己的StoreFunc类即可。关于如何将Pig分析完的结果存储到数据库，在pig的piggy贡献组织里，已经有了对应的UDF了，piggybank是非apache官方提供的工具函数，里面的大部分的UDF都是，其他公司或着个人在后
qindongliang1922·2015-03-07 19:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。 在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点： （一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响 （二）Lucene的
葬月仙帝·2015-03-06 22:16

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。 在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点： （一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响 （二）Lucene的
葬月仙帝·2015-03-06 22:16

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
葬月仙帝·2015-03-06 22:16

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。 在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点： （一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响 （二）Lucene的
九劫散仙·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。 在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点： （一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响 （二）Lucene的
u010454030·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
qindongliang1922·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
qindongliang1922·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
qindongliang1922·2015-03-06 21:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他