大数据系列

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
qindongliang1922·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
qindongliang1922·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene的Fie
qindongliang1922·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Solr集成（二）

阅读更多散仙，在上篇文章中介绍了，如何使用ApachePig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供正常的服务之前，索引经过多次落地操作，这无疑会给磁盘和网络IO，带来巨大影响（二）Lucene
qindongliang1922·2015-03-06 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的
qindongliang1922·2015-03-05 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的
qindongliang1922·2015-03-05 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的
qindongliang1922·2015-03-05 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的
qindongliang1922·2015-03-05 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的
qindongliang1922·2015-03-05 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的
qindongliang1922·2015-03-05 21:00

玩转大数据系列之Apache Pig如何与Apache Lucene集成（一）

阅读更多在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优
qindongliang1922·2015-03-05 21:00

大数据系列 (一)、数据分片与路由(Hash partition and Routing)

大数据背景下，数据规模已经由GB级跨越到PB级，单机明显无法存储与处理如此规模的数据量，只能依靠大规模集群来对这些数据进行存储和处理，所以系统可扩展成衡量系统优劣的重要指标。传统并行数据库系统为了支持更多的数据，往往采用纵向扩展（ScaleUp）的方式，既不增加机器数量，而是通过改善单机硬件资源配置来解决问题。而目前主流的大数据存储与计算系统往往采用横向扩展（ScaleOut）的方式支持系统的可扩
旁观者的角度·2014-12-25 11:26

大数据系列教程_storm 集群安装

12、storm安装安装之前需要安装Python2.71、编辑$STORM_HOME/conf/storm_env.ini配置JDKJAVA_HOME:/home/hadoop/cluster/jdk1.7.0_672、编辑$STORM_HOME/conf/storm.yamlstorm.zookeeper.servers:-"zookeeper1"-"zookeeper2"-"zookeeper
AShang_BigData·2014-12-06 18:04

大数据系列教程_storm 集群安装

12、storm安装安装之前需要安装Python2.71、编辑$STORM_HOME/conf/storm_env.ini配置JDKJAVA_HOME:/home/hadoop/cluster/jdk1.7.0_672、编辑$STORM_HOME/conf/storm.yamlstorm.zookeeper.servers:    -"zookeeper1"    -"zookeeper2"   
AShang_BigData·2014-12-06 18:00

大数据系列教程_分布式日志收集flume

10、分布式日志收集flume./flume-ngagent--conf/home/hadoop/flume140cdh501/conf--conf-file/home/hadoop/flume140cdh501/conf/exec1--namea1-Dflume.root.logger=DEBUG,console备注：当hdfs做了HA之后，需要将hadoop的hdfs-site.xml放在fl
AShang_BigData·2014-12-06 18:14

大数据系列教程_分布式日志收集flume

10、分布式日志收集flume./flume-ngagent--conf/home/hadoop/flume140cdh501/conf--conf-file/home/hadoop/flume140cdh501/conf/exec1--namea1-Dflume.root.logger=DEBUG,console备注：当hdfs做了HA之后，需要将hadoop的hdfs-site.xml放在fl
AShang_BigData·2014-12-06 18:00

大数据系列教程_solrcloud集群安装(solrcloud4.4)

SolrCloud集群方式安装1：修改solr.xml1.1、添加分片信息1.2.3.4.5.1.2、修改启动参数：JAVA_OPTS=“-Dbootstrap_confdir=/usr/local/solr/collection1/conf-Dcollection.configName=clusterconf-Dzkhost=zookeeper1:2181，zookeeper2:2181,zoo
AShang_BigData·2014-12-06 18:27

大数据系列教程_分布式消息队列kafka

分布式消息队列kafka 1、启动kafka，每个server节点需要./kafka-server-start.sh/home/node6/kafka2800811/config/server.properties&1、 创建主题：./kafka-topics.sh--create --topicmytopic--replication-factor 3 --partitions1 --zooke
AShang_BigData·2014-12-06 18:00

大数据系列教程_hbase集群安装

6、hbase集群安装6.1、hbase-env.sh基本配置增加以下几个配置exportJAVA_HOME=/home/hadoop/cluster/jdk1.7.0_67exportHBASE_HOME=/home/hadoop/hbase09611cdh501exportHBASE_MANAGES_ZK=false6.2、hbase-site.xml   hbase.hregion.max.
AShang_BigData·2014-12-06 18:00

大数据系列教程_hadoop集群安装（对hdfs及resourcemanager做了HA）

5、hadoop集群安装（对hdfs及resourcemanager做了HA）备注：此处仅仅是列出了hadoop集群配置文件的配置，对于hadoop环境变量的配置没有列出，可以再/etc/profile文件下自己配置5.1、core-site.xml配置文件      fs.defaultFS   hdfs://hadoopCluster      hadoop.proxyuser.httpfs.
AShang_BigData·2014-12-06 18:00

大数据系列教程_hadoop集群安装（对hdfs及resourcemanager做了HA）

5、hadoop集群安装（对hdfs及resourcemanager做了HA）备注：此处仅仅是列出了hadoop集群配置文件的配置，对于hadoop环境变量的配置没有列出，可以再/etc/profile文件下自己配置5.1、core-site.xml配置文件      fs.defaultFS   hdfs://hadoopCluster      hadoop.proxyuser.httpfs.
AShang_BigData·2014-12-06 18:00

大数据系列教程_zookeeper集群安装

4、zookeeper集群安装此处仅仅列出配置文件的配置另外需要在zkconf文件夹中建立myid文件，填写对应id#ThenumberofmillisecondsofeachticktickTime=2000#Thenumberofticksthattheinitial#synchronizationphasecantakeinitLimit=10#Thenumberofticksthatcan
AShang_BigData·2014-12-06 18:00

大数据系列教程_辅助软件安装

3、辅助软件安装3.1、JDK安装exportJAVA_HOME=/home/hadoop/cluster/jdk1.7.0_67exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:$PATH3.2、MySQL安装安装mysql：yu
AShang_BigData·2014-12-06 18:44

大数据系列教程_辅助软件安装

3、辅助软件安装3.1、JDK安装exportJAVA_HOME=/home/hadoop/cluster/jdk1.7.0_67 exportJRE_HOME=${JAVA_HOME}/jre exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib exportPATH=${JAVA_HOME}/bin:$PATH 3.2、MySQL安装安装mysq
AShang_BigData·2014-12-06 18:00

大数据系列教程_Linux系统配置

2、Linux系统配置备注：此处系统配置这是配置了必须选项，没有从系统方面做优化2.1、修改主机名称、主机名IP映射vim/etc/sysconfig/network(永久修改)hostname(临时修改)vim/etc/hosts2.2、SSH免密码登陆cd/home/hadoop/.ssh/ssh-keygen-trsa–P‘’catid_rsa.pub>>authorized_keyschm
AShang_BigData·2014-12-06 17:46

大数据系列教程_Linux系统配置

2、Linux系统配置备注：此处系统配置这是配置了必须选项，没有从系统方面做优化2.1、修改主机名称、主机名IP映射vim/etc/sysconfig/network(永久修改)hostname(临时修改)vim/etc/hosts2.2、SSH免密码登陆cd/home/hadoop/.ssh/ssh-keygen-trsa–P‘’catid_rsa.pub>>authorized_keyschm
AShang_BigData·2014-12-06 17:00

大数据系列教程_硬件配置及软件列表

系统架构文档：http://blog.csdn.net/ashang_bigdata/article/details/41172399备注：当前环境为测试环境，全部在虚拟机中搭建1、硬件配置及软件列表1.1、硬件配置信息monitor192.168.30.52核4G内存50G磁盘master192.168.30.62核4G内存50G磁盘masterHA192.168.30.72核4G内存50G磁盘
AShang_BigData·2014-12-06 17:38

大数据系列教程_硬件配置及软件列表

系统架构文档：http://blog.csdn.net/ashang_bigdata/article/details/41172399备注：当前环境为测试环境，全部在虚拟机中搭建1、硬件配置及软件列表1.1、硬件配置信息monitor192.168.30.52核4G内存50G磁盘master192.168.30.62核4G内存50G磁盘masterHA192.168.30.72核4G内存50G磁盘
AShang_BigData·2014-12-06 17:38

大数据系列教程_硬件配置及软件列表

系统架构文档：http://blog.csdn.net/ashang_bigdata/article/details/41172399备注：当前环境为测试环境，全部在虚拟机中搭建1、硬件配置及软件列表1.1、硬件配置信息monitor192.168.30.52核4G内存50G磁盘master192.168.30.62核4G内存50G磁盘masterHA192.168.30.72核4G内存50G磁盘
AShang_BigData·2014-12-06 17:00

大数据将颠覆传统投资

  作为国内互联网大数据与金融投资相结合的最早应用之一，南方新浪大数据系列指数已于近日在深交所正式挂牌，南方基金权益投资总监史博就此接受了中国证券报记者的专访。
灵玖lingjoin·2014-09-22 14:00

[ 大数据系列之Hadoop ][1] Hadoop SingleNode和伪装分布式安装

安装预备在集群上安装ssh,rsync工具。yuminstall–ysshrsync下载Oracle的JDK，我下载的是1.7版本，害怕1.8太新了不兼容。http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载hadoop的tar.gz包。http://apache.dataguru.cn/hadoop/commo
xue777hua·2014-09-15 21:00

首只互联网大数据指数基金将于10月底发布

7月份以来，广发基金、南方基金就先后联合合作方发布了基于互联网搜索大数据的金融指数，分别是百发策略100指数和南方新浪大数据系列指数。
灵玖lingjoin·2014-09-15 14:00

大数据系列指数今日发布

 为探索互联网大数据技术在证券市场的应用，反映大数据选股策略的市场表现，向市场提供创新型指数化投资标的，深圳证券信息有限公司、南方基金管理有限公司与北京新浪互联信息服务有限公司定于9月12日联合发布大数据系列指数
灵玖lingjoin·2014-09-12 13:00

大数据之“用户行为分析”

编者按：本文由卢东明为36氪撰写，是大数据系列文章的第2篇。卢东明是SAP公司全球数据库解决方案亚太区技术总监；拥有长达20年数据库、数据仓库开发管理经验。
wenyusuran·2014-05-30 18:00

大数据之“用户行为分析”

编者按：本文由卢东明为36氪撰写，是大数据系列文章的第2篇。卢东明是SAP公司全球数据库解决方案亚太区技术总监；拥有长达20年数据库、数据仓库开发管理经验。
heyongluoyao8·2014-04-25 13:00

比特大数据系列选题之一：大数据将有大发展

迄今为止，大数据尚没有一个公认的定义，也就是说，你说的大数据和我说的大数据可能不是一回事情，但这并不能够阻止大数据应用成为公认的发展趋势。据IDC报告显示，未来四年大数据市场显著增长，在此期间在线数据信息将呈爆炸式增长。据IDC预测，2017年大数据技术和服务市场复合年均增长率(CAGR)预计为27%，市场规模达到324美元(详见：2017年大数据市场价值324亿美元)，其增幅度是ICT(信息和通
灵玖lingjoin·2014-01-08 14:00

大数据系列12：Hadoop2 – 全新的Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz tar -xzvf hadoop-2.2.0.tar.gz cd hadoop-2.2.0 vi etc/hadoop/hadoop-env.sh 修改： export  JAVA_HOME=/home/ysc/jdk
yangshangchuan·2013-11-01 00:00

大数据系列12：Hadoop2 – 全新的Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz tar -xzvf hadoop-2.2.0.tar.gz cd hadoop-2.2.0 vi etc/hadoop/hadoop-env.sh 修改： export  JAVA_HOME=/home/ysc/jdk
yangshangchuan·2013-11-01 00:00

大数据系列12：Hadoop2 – 全新的Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz tar -xzvf hadoop-2.2.0.tar.gz cd hadoop-2.2.0 vi etc/hadoop/hadoop-env.sh 修改： export  JAVA_HOME=/home/ysc/jdk
yangshangchuan·2013-11-01 00:00

大数据系列12：Hadoop2 – 全新的Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz tar -xzvf hadoop-2.2.0.tar.gz cd hadoop-2.2.0 vi etc/hadoop/hadoop-env.sh 修改： export  JAVA_HOME=/home/ysc/jdk
yangshangchuan·2013-11-01 00:00

大数据系列6：HBase – 基于Hadoop的分布式数据库

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz tar -xzvf zookeeper-3.4.5.tar.gz cd zookeeper-3.4.5 cp conf/zoo_sample.cfg conf/zoo.cfg vi conf/zoo.c
yangshangchuan·2013-10-10 00:00

大数据系列6：HBase – 基于Hadoop的分布式数据库

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz tar -xzvf zookeeper-3.4.5.tar.gz cd zookeeper-3.4.5 cp conf/zoo_sample.cfg conf/zoo.cfg vi conf/zoo.c
yangshangchuan·2013-10-10 00:00

大数据系列6：HBase – 基于Hadoop的分布式数据库

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz tar -xzvf zookeeper-3.4.5.tar.gz cd zookeeper-3.4.5 cp conf/zoo_sample.cfg conf/zoo.cfg vi conf/zoo.c
yangshangchuan·2013-10-10 00:00

大数据系列6：HBase – 基于Hadoop的分布式数据库

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz tar -xzvf zookeeper-3.4.5.tar.gz cd zookeeper-3.4.5 cp conf/zoo_sample.cfg conf/zoo.cfg vi conf/zoo.c
yangshangchuan·2013-10-10 00:00

大数据系列1：在win7上安装配置Hadoop伪分布式集群

1、  安装虚拟机和操作系统 VMware-workstation-full-10.0.0  或 VirtualBox-4.2.18-88781-Win  下载VMware  下载VirtualBox ubuntu-13.04-server-amd64.iso 下载ubuntu 2、  设置root用户密码 sudo passwd
yangshangchuan·2013-10-09 18:00

大数据系列1：在win7上安装配置Hadoop伪分布式集群

1、  安装虚拟机和操作系统 VMware-workstation-full-10.0.0  或 VirtualBox-4.2.18-88781-Win  下载VMware  下载VirtualBox ubuntu-13.04-server-amd64.iso 下载ubuntu 2、  设置root用户密码 sudo passwd
yangshangchuan·2013-10-09 18:00

大数据系列1：在win7上安装配置Hadoop伪分布式集群

1、  安装虚拟机和操作系统 VMware-workstation-full-10.0.0  或 VirtualBox-4.2.18-88781-Win  下载VMware  下载VirtualBox ubuntu-13.04-server-amd64.iso 下载ubuntu 2、  设置root用户密码 sudo passwd
yangshangchuan·2013-10-09 18:00

大数据系列1：在win7上安装配置Hadoop伪分布式集群

1、  安装虚拟机和操作系统 VMware-workstation-full-10.0.0  或 VirtualBox-4.2.18-88781-Win  下载VMware  下载VirtualBox ubuntu-13.04-server-amd64.iso 下载ubuntu 2、  设置root用户密码 sudo passwd
yangshangchuan·2013-10-09 18:00

大数据系列11：Gora – 大数据持久化

borm – 大数据的对象持久化   wget  http://archive.apache.org/dist/gora/0.3/apache-gora-0.3-src.zip unzip apache-gora-0.3-src.zip cd apache-gora-0.3 mvn clean package 1、创建项目 mvn archetype:create
yangshangchuan·2013-10-09 14:00

大数据系列11：Gora – 大数据持久化

borm – 大数据的对象持久化   wget  http://archive.apache.org/dist/gora/0.3/apache-gora-0.3-src.zip unzip apache-gora-0.3-src.zip cd apache-gora-0.3 mvn clean package 1、创建项目 mvn archetype:create
yangshangchuan·2013-10-09 14:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他