本科课程大数据基础

大数据基础学习-8.Hbase-1.2.0

一、HBase基础参考：https://blog.csdn.net/jack__cj/article/details/526345181.HBASE概述HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的Big
闲人勿-·2020-08-23 02:20

大数据基础知识问答----spark篇，大数据生态圈

Spark相关知识点1.Spark基础知识1.Spark是什么？UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器
weixin_33898876·2020-08-23 00:08

中国信通院：2018年中国大数据发展调查报告（附下载）

国家政策不断发布，推动了政府和企业大数据发展；建设模式不断成熟，奠定了企业大数据基础；行业应用不断深入，提升了大数据价值显现。
199it·2020-08-22 20:49

分布式数据库中间件 MyCat | 分库分表实践

可以用作读写分离、分库分表（分片）、容灾备份、多租户应用开发、大数据基础设施，使底层数据架构具备很强的适应
AntonioPeng·2020-08-22 16:33

如何设计实时数据平台（技术篇）

敏捷之歌我抽数故我存在|DBus人人玩转流处理|Wormhole就当吾是数据库|Moonbox颜值最后十公里|Davinci导读：实时数据平台（RTDP，Real-timeDataPlatform）是一个重要且常见的大数据基础设施平台
宜信技术学院·2020-08-22 12:32

leetcode第一题判断链表是否有环

所以在java基础，大数据基础，大数据框架源码等都有一定基础之后应该去追求写出更加精致高效的代码。
大数据星球-浪尖·2020-08-22 03:37

大数据基础二 —Hadoop的详解与集群的搭建

大数据基础二—Hadoop的详解与集群的搭建1，Hadoop是什么？Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。
大手牵小手q·2020-08-21 22:45

大数据基础四 —MapReduce

大数据基础四—MapReduce1，MapReduce是什么？
大手牵小手q·2020-08-21 22:45

大数据基础三 —HDFS原理

大数据基础三—HDFS的原理1，什么是HDFS？HadoopDistributeFileSystem的简称，意为分布式文件系统，是Hadoop的核心组件之一，作为最底层的分布式存储服务而存在。
大手牵小手q·2020-08-21 22:45

大数据基础知识学习-----Zookeeper学习笔记（一）概述

Zookeeper概述简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper工作机制这里写图片描述特点Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。Leader负责进行投票的发起和决议，更新系统状态Follower用于接收客户请求并向客户端返回结果，在选举Leader过程中参与投票集群中只要有半数以上节
四川码匠·2020-08-21 20:02

大数据基础知识学习-----Zookeeper学习笔记（二）Zookeeper安装

Zookeeper安装本地模式安装部署安装前准备安装jdk通过SecureCRT工具拷贝zookeeper到linux系统下修改tar包权限：chmodu+xzookeeper-3.4.10.tar.gz解压到指定目录：[luo@hadoop102software]$tar-zxvfzookeeper-3.4.10.tar.gz-C/opt/module/配置修改将/opt/module/zook
四川码匠·2020-08-21 20:31

大数据基础 一 —zookeeper的详解与集群的搭建

大数据基础一—zookeeper的详解与集群的搭建1zookeeper是什么？
大手牵小手q·2020-08-21 17:56

大数据基础学习-4.Zookeeper-3.4.5

一、Zookeeper-3.4.51.分布式协调技术在开始zookeeper前，首先了解分布式协调技术。分布式协调技术主要用来解决分布式环境中多个进程之间的同步控制，让他们有序的去访问某个资源，防止造成"脏数据"。在图中有三台机器，每台机器各跑一个应用程序。这三台机器通过网络连接起来，构成一个系统来为用户提供服务，这种系统称作分布式系统。假设在第一台机器上挂载了一个资源，三个物理分布的进程都要获得
闲人勿-·2020-08-21 17:36

大数据基础学习笔记-2.hadoop单机安装

推荐正式安装前，先去看看《安装大数据前的准备工作》里的文章1.服务器配置47.107.182.164,120.78.181.181两台服务器都是1核2G内存(推荐使用正式环境学习，安装CDH)2.服务器安装的服务HA（高可用，有主备策略等）（1）47.107.182.1641、HDFS服务（非HA）NameNodeDataNode2、yarn服务（非HA）NodeManager3、zookeepe
小马的学习笔记·2020-08-21 17:22

大数据基础NIO-什么是NIO？NIO三大组件Buffer、Channel、Selector的特点

一、NIO简介1、Java中的IO介绍BIO：BlockingIO，同步式阻塞式IO，即传统的IO，是Java中最早期的流NIO：Non-BlockingIO，又称NewIO，同步式非阻塞式IO，是JDK1.4提供的流AIO：AsynchronousIO，异步式非阻塞式IO，可以认为是NIO的二代版本，是JDK1.8提供的流2、概述NIO是JDK1.4出现的一个新的用于进行数据传输的流全称是Non
静坐听雨声ㅤ·2020-08-21 17:10

分布式数据库中间件 MyCat | 分库分表实践

可以用作读写分离、分库分表（分片）、容灾备份、多租户应用开发、大数据基础设施，使底层数据架构具备很强的适应
AntonioPeng·2020-08-21 04:58

分布式数据库中间件 MyCat | 分库分表实践

可以用作读写分离、分库分表（分片）、容灾备份、多租户应用开发、大数据基础设施，使底层数据架构具备很强的适应
AntonioPeng·2020-08-20 17:00

分布式数据库中间件 MyCat | 分库分表实践

可以用作读写分离、分库分表（分片）、容灾备份、多租户应用开发、大数据基础设施，使底层数据架构具备很强的适应
AntonioPeng·2020-08-20 17:33

我学会了读心术

我学了三年的心理学本科课程，对此还是一窍不通，但就在上个月，在接触到了课程外的一些概念和方法之后，我终于做到了。虽然仅限于用在我自己身上，但谁又敢说真的了解自己呢？认识自己，是永恒的话题。
七十七号·2020-08-20 17:11

ML算法工程师的三个层次

这里说的算法，并不是计算机系本科课程《算法与数据结构》里那个算法。那门课里讲的，是排序、查找这类"确定性算法"；而这里我们说的，是用统计方法对数据进行建模的"概率性算法"。
zqliu133·2020-08-20 08:14

大数据基础（一）：Java NIO概述及简单示例

1.IO与NIO的区别：为什么需要NIO？1.1javaIO中的socket连接在最初的java版本中，对于接受socket连接的服务器，其基本的处理步骤是：1、实例化一个ServerSocket对象；2、将实例化后的Serversocket对象绑定到某个端口上；3、使用accept()方法监听通过此端口的socket连接，这是accept()方法会一直阻塞直到有连接进入；4、收到socket连接
二营长的意大利面·2020-08-20 06:34

java大数据基础算法之快速排序

在数据处理方面，排序是很多算法的基础，很多处理操作都是在排序的基础上进行。很多刚开始学习编程的朋友可能只知道选择和冒泡排序。这两种排序算法在小数据量的时候还可以，在大数据面前需要的时间也是海量的。下面是大数据常用算法，快速排序的java实现（基于字符串hash值的顺序排序，下面会标注排序不同的数据需要改写的比较代码，只需要改写比较代码就能实现不同数据的排序）快速排序（Quicksort）是对冒泡排
AJuTongXue·2020-08-20 06:49

数据猿专栏专家张涵诚：大数据管理局的现状分析和未来发展展望

研究领域主要包括：数字经济和数字政府的建设方法论、大数据基础概论，区块链基本原理与技术架构，大数据在企业和政府的应用实践，数据驱动业务变革的商业模式，医疗大数据运营体系、财税大数据、海关大数据、扶贫大数据
数据猿·2020-08-20 05:02

对于本专科的一点思考

本科课程少，他们有很多时间去努力，去巩固，而专科生，就只能每天忙忙碌碌的上课，迷迷糊糊过着，其实，大部分时间，大部分人都不知道自己要干什么。老师会告
倔强的影魅·2020-08-20 05:36

python+POP3 批量下载邮件附件

最近新开学，接到了给老板的本科课程当助教的工作，百十来号人一学期下来得有四五次作业发进邮箱里，需要我来统计打分，想想挨个点进去下载附件的过程就头大，于是萌生了写个脚本来统计作业的想法。
li_huifei·2020-08-19 18:27

今天开始上课，假的假期正式结束了

在6月底所带的本科课程考试完之后，就基本上进入了暑期。当时翻看在2月7日写的“新学期已经开始，暑假难道还远吗”的推文，就感觉春季学期过得是特别的快
TsinghuaJoking·2020-08-19 04:11

Ambari 监控信息的提取

场景：*通过Ambari+HDP搭建的大数据基础管理平台，目前用户不想登录Ambari而想直接将Ambari的监控相关信息整合到其他的Web项目中。
在屋顶听歌·2020-08-18 12:11

大数据基础之Python——Python的Sublime Text3安装和实用插件推荐

首先安装Python解析环境，类似JVM软件资源获取https://pan.baidu.com/s/1pjeX7m-qKpQEv9gySN7A-Q提取码：1i5t下载到Windows环境后直接无脑下一步安装即可。安装SublimeText3(编辑Python程序的软件)软件资源获取https://pan.baidu.com/s/1Nwy8Pb-R4JwwJQBwiZZk1Q提取码：17yl下载到W
Clozzz·2020-08-18 10:53

大数据基础之Python——Linux环境安装Anaconda(开源Python编辑软件)

软件资源获取：注意：安装此软件前需先安装Spark，Spark的安装教程在我之前的博客里有，有需要的可以去看https://pan.baidu.com/s/1WxnUBHAnQpe-VDHLvH6guA提取码：eis21.安装bzip2(此步不执行安装anaconda会报错)yuminstall-ybzip22.执行我上面分享的Anaconda-Linux脚本文件bashAnaconda3-5.1
Clozzz·2020-08-18 10:53

大数据基础之SparkStreaming——SparkStreaming读写Kafka

SparkStreaming读Kafka：无状态流处理：objectMyReadKafkaHandler{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName("mytest").setMaster("local[2]")valsc=SparkContext.getOrCreate(conf)//流处理的上下文类va
Clozzz·2020-08-18 10:22

大数据基础之Kafka——Kafka Producer和Consumer JAVA API

pom.xmljunitjunit4.11org.apache.kafkakafka-clients2.1.1Producer类publicclassMyProducer{publicstaticvoidmain(String[]args){Propertiesprop=newProperties();prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG
Clozzz·2020-08-18 10:22

大数据基础之Spark——Spark pregel详细过程，一看就懂

Pregel概述Pregel是Google提出的用于大规模分布式图计算框架 -图遍历(BFS) -单源最短路径(SSSP) -PageRank计算Pregel的计算由一系列迭代组成，称为superstepsPregel迭代过程 -每个顶点从上一个superstep接收入站消息 -计算顶点新的属性值 -在下一个superstep中想相邻的顶点发送消息 -当没有剩余消息是，迭代结束Pregel原理分析
Clozzz·2020-08-18 10:29

机器人程序设计课程配套系统镜像使用说明（ Ubuntu 14.04.5 + ROS indigo ）

本镜像主要针对机器人程序设计本科课程，供学生课程学习与实践操作使用，基于ROS爱好者和学生使用的反馈意见对之前发布的版本进行修正和补充，在此致谢。
zhangrelay·2020-08-17 18:27

计算机相关专业及本科课程整理

problem本科的计算机课程好多傻乎乎的分不清有哪些具体的专业，以及要学什么这里做个整理solution首先专业门类限定在工学和理学，以工学为主工学当中，比较相关的有计算机类，电子信息类，通讯类，电气类，自动化类。以计算机类为主。（六）电气类1.电气工程及其自动化2.智能电网信息工程3.光源与照明4.电气工程与智能控制5.电机电气智能化6.电缆工程（七）电子信息类1.电子信息工程2.电子科学与技
小哈里·2020-08-17 18:38

使用python fabric搭建RHEL 7.2大数据基础环境以及部分优化

1.使用pythonfabric进行Linux基础配置使用python，可以让任何事情高效起来，包括运维工作，fabric正式这样一套基于python2的类库，它执行本地或远程shell命令提供了操作的基本套件（正常或通过sudo）和上传/下载文件，如提示用户输入运行辅助功能，或中止执行。用Python3开发的部署工具叫fabric3：fabric3，和fabric一样最大特点是不用登录远程服务器
weixin_33836223·2020-08-17 16:06

大数据基础-Storm基础（一）

1、流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结果2、离线计算与实时计算的区别最大的区别：实时收集、实时计算、实时展示3、Storm是什么？
weixin_40657079·2020-08-16 03:48

Apollo+ES源码改造，构建民生银行的ELK日志平台配置管理中心

作者|中国民生银行大数据基础平台运维组团队编辑|张婵随着IT业务系统的迅速发展，中国民生银行需要考虑实现一套完整并适用于民生银行的日志文件智能分析与处理的解决方案。
高效开发运维·2020-08-15 04:54

【原创】大数据基础之Ambari（5）通过Ambari部署Hue

ambari2.7.3（hdp3.1）安装hue4.2ambari的hdp中原生不支持hue安装，下面介绍如何通过添加service的方式使ambari支持hue安装：官方：http://gethue.com/HueisanopensourceWorkbenchfordevelopingandaccessingDataApps.一安装SERVICE第三方service：https://github
weixin_30740581·2020-08-14 20:44

大数据基础知识科普--数据分层（ETL、ODS、DW、DWD、DWM、DWS、DIM）

零、数据加载层：ETL（Extract-Transform-Load）一、数据运营层：ODS（OperationalDataStore）二、数据仓库层：DW（DataWarehouse）1.数据明细层：DWD（DataWarehouseDetail）2.数据中间层：DWM（DataWareHouseMiddle）3.数据服务层：DWS（DataWareHouseServce）三、数据应用层：APP
bamboo70s·2020-08-14 16:31

让基础设施研究变得更可见--- 清华大学数据科学研究院大数据基础设施研究中心成立...

然而，相对于金融、医疗领域的火爆发展，大数据基础设施的建设往往会遭到忽视。
weixin_34191845·2020-08-14 12:53

贵阳将实现大数据基础设施覆盖

业内人士认为，此举意味着贵阳将成为全球首个实现整个城市范围内大数据基础设施覆盖、服务于全市企业和居民的城市。此次合作项目的落地，将进一步推动贵州省信息化基础设施全面升级，推动覆盖贵阳市、直至全省或
cigang4063·2020-08-14 09:31

大数据基础设施建设亟待加强

“大数据产业需要采集海量数据，众多的信息采集点是数据采集的基础，这需要大量的无限通信设备作支撑。但由于通信公司现有硬件基础条件不足，我们公司在收集数据时常遇到数据掉包、不能及时上传等问题。建议政府完善发展大数据产业需要的信息化基础设施，加大传统设备的性能和带宽。”网友@渭城雨客在贵阳新闻网的新浪官方微博的“我给两会捎句话”栏目中这样留言。大数据采集有线上采集和线下采集两种，线上采集主要通过用户网上
cigang4063·2020-08-14 09:31

大数据基础设施建设需要得到重视 | 记清华大数据“应用·创新”讲座

“大数据基础设施是面向数据采集、数据分析和数据应用的创新性系统工程。它一方面指支撑大数据应用和大数据产业的基础设施，另一方面指用大数据和人工智能的方法，解决基础设施运行过程中的问题。”
qq_35267530·2020-08-14 09:13

阿里海量大数据平台的运维智能化实践

讲师简介：徐小飞，阿里巴巴技术专家，目前就职于阿里计算平台大数据基础工程技术团队，主要负责支撑阿里大数据智能运维体系(公司内部产品名称——Tesla)的建设，团队致力于打造通用的智能化SRE中台，目前该中台运维体系承载阿里
cop36019·2020-08-13 13:02

那些计算机界的伟大女性

而攻读计算机本科课程的女性，从1980年代中期的近40%（很高啊），下降到了最近的不足20%。为了缓解这种趋势，欧美各国已经有不少组织在致力于吸引女性重归计算机科学。然而，
youngster21·2020-08-12 14:57

TiDB 助力客如云餐饮 SaaS 服务

我们是客如云的大数据基础架构组，负责公司的大数据架构和建设工作，为公司提供大数据基础数据服务。业务发展遇到的痛点随
weixin_34177064·2020-08-12 13:57

【原创】大数据基础之Logstash（6）mongo input

logstashinput插件之mongodb是第三方的，配置如下：input{mongodb{uri=>'mongodb://mongo_server:27017/db'placeholder_db_dir=>'/path/to/db_dir/'placeholder_db_name=>'table.db'collection=>'table'batch_size=>5000}}安装./logs
weixin_30372371·2020-08-12 13:19

阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

spm=a2c4e.11153940.blogcont90243.11.68826711iwPLU8作者介绍王峰，淘宝花名”莫问"，2006年毕业后即加入阿里巴巴集团，长期从事搜索和大数据基础技术研发工作
开飞机的舒克贝塔·2020-08-11 18:17

大数据基础Hadoop 3.1.1 的高可用HA安装～踩坑记录

最近负责的项目准备上大数据平台存储，主要还是围绕Hadoop平台来实现，虽然打算上cdh版本的hadoop，但是为了前期方便开发还是先使用原声的hadoop进行开发，后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的，如果需要使用其他用户操作，注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下hostna
weixin_33795743·2020-08-11 05:02

Hive学习（一）大数据基础知识介绍

目录HadoopHDFS（HadoopDistributeFileSystem）MapReduceYarnSpark该系列文档是由学习尚硅谷大数据课程之Hive整理而来。若有不足之处，烦请批评指正！HadoopApache基金会所开发的分布式系统基础框架用于解决海量数据的存储和分析问题Hadoop生态圈：Hive、HBase、HDFS、Zookeeper...优势：高可靠性：底层维护多个数据副本高
新新许愿树·2020-08-11 05:55
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他