大数据学习指北第13页

我心中的“为什么”

指南针为什么指北方呢？为什么在太空中会失重呢？苹果为什么只有红了才能吃呢？为什么先看到闪电，再听到雷声呢？大自然可真奇妙啊！

晨曦瑾瑞·2023-09-04 11:07

大数据组件-Flume集群环境的启动与验证

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Flume集群环境的安装，这篇文章接着上篇文章延伸

beixi@·2023-09-03 20:28

Python3相对路径导入方法

转自【避坑指北】Python3相对路径导入方法-小黑杂说前情最近在优化原项目一部分Python代码，遇到了代码重复拷贝的问题，一个方法拷贝了n多份，这个“坏味道”当然忍不了，准备将方法写到utils.py

tangtao_xp·2023-09-03 14:54

大数据学习一：环境准备 VMWare12、centos7、mysql安装

请参考我在博客园的博客，http://www.cnblogs.com/QTSS/p/8904072.html，以后都会在记录大数据学习记录，在博客园记录J2EE学习记录。若有问题，请留言。

RacyFu·2023-09-03 11:51

血灵芝第十三章器灵

斗指北斗众星，姆即母也，斗姆即北斗众星之母。斗姆娘娘的形象很奇特，额上长有三目，肩上共有四头。所谓四头，其实是一头四面有脸。上身左右各长出四臂，共有八臂。

老张蹭茶·2023-09-03 08:46

大数据学习：kafka-producer源码分析

kafka-producer源码分析kafka-1.0.1源码下载地址一.kafka发送示例/***CreatedbyXiChuanon2021/6/7.*/publicclassProducerTest{publicstaticvoidmain(String[]args)throwsException{KafkaProducerproducer=createProducer();JSONObje

zui初的梦想·2023-09-03 06:38

大数据组件Sqoop-安装与验证

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Sqoop组件介绍2.环境介绍3.搭建步骤1.Sqoop

beixi@·2023-09-02 12:24

大数据组件-Flume集群环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Flume集群环境介绍2.搭建环境介绍3.启动HDFS

beixi@·2023-09-02 12:24

Sqoop实操案例-互联网招聘数据迁移

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Sqoop的安装与验证，这篇文章接着上篇文章延伸

beixi@·2023-09-02 12:22

大数据HBase学习圣经：一本书实现HBase学习自由

《尼恩大数据面试宝典》面试题集合，将变成大数据学习和面试的必读书籍。于是，尼恩架构团队趁热打铁，推出《大数据Flink学习圣经》，《大数据HBASE学习圣经》（本文）《大数据HBase

40岁资深老架构师尼恩·2023-09-02 05:50

10年大牛总结零基础学习大数据——四部曲

有很多人对大数据东西感兴趣，但是对编程语言也不太了解不过大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。

Python大数据工程师·2023-09-02 05:44

无门槛访问ChatGPT升级版-数据指北AI

大家好，我是脚丫先生(o^^o)给小伙伴们介绍ChatGPT升级版不需要任何门槛，不需要单独搞账号，只要邮箱登录的方式，即可访问平台，以用户体验为首要，让所有人都能无门槛的使用目前市面上最强大的AI智能聊天，以及市面上最优秀的AI绘画等等功能，接下来给大家介绍下我们的平台。https://gpt.juetime.com/#/ai/home一、应用广场小伙伴们都知道AI大模型需要提示词，精确的提示词

大数据指北·2023-09-02 03:26

日更 329天成长日记 1月29日

成长日记1月29日大家好，我是指北针。今天文章的主题，成长日记1月29日成长日记，目前由阅读、运动、小改变、不足与改进措施、感恩，五部分组成。篇幅有长有短，欢迎阅读和留言评论。一、阅读。

指北针_从零开始·2023-09-01 23:38

强！大数据之Hadoop伪分布式这样搭建，一次就成功了！

大数据学习05·2023-09-01 13:41

大数据学习：kafkaManager功能详解

kafkaManager功能详解一.添加集群1.1常用参数说明下面已常用的选项作说明1）EnableJMXPolling是否开启JMX轮训，该部分直接影响部分kafkabroker和topic监控指标指标的获取（生效的前提是kafka启动时开启了JMX_PORT。主要影响如下之指标的查看：2)Pollconsumerinformation是否开启获取消费信息，直接影响能够在消费者页面和topic页

zui初的梦想·2023-09-01 12:03

大数据学习：Hive常用函数

Hive常用函数1.Hive的参数传递1.1Hive命令行查看hive命令的参数[hadoop@node03~]$hive-help语法结构:hive[-hiveconfx=y]*[]*[|][-S]说明：-i从文件初始化HQL。-e从命令行执行指定的HQL-f执行HQL脚本-v输出执行的HQL语句到控制台-pconnecttoHiveServeronportnumber-hiveconfx=yU

zui初的梦想·2023-09-01 12:31

如何进行Linux系统监控和调试？

这些工具就像你的指北针，帮助你在Linux世界的迷雾中找到正确的方向。top和htop想象一下，你正在一个昏暗的电影院里寻找座位，而top和htop就是你手中的手电筒。

2301_78316833·2023-09-01 09:27

0102阿里云配置3台ECS服务器-大数据学习

文章目录1前言1配置VPC和子网2创建安全组3创建云服务器ECS3.1规划配置3.2配置4xshell连接服务器5配置基础环境5.1主机名映射5.2ssh免密登录5.3jdk6问题集6.1Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic).6.2用tar解压文件出现错误Notfoundinarchive结语1前言公司电脑配置想要运行虚拟

gaog2zh·2023-09-01 06:13

0202hdfs的shell操作-hadoop-大数据学习

文章目录1进程启停管理2文件系统操作命令2.1HDFS文件系统基本信息2.2介绍2.3创建文件夹2.4查看指定文件夹下的内容2.5上传文件到HDFS2.6查看HDFS文件内容2.7下载HDFS文件2.8HDFS数据删除操作3HDFS客户端-jetbrians产品插件3.1BigDataTools安装3.2配置windows3.3配置BigDataTools结语以下命令执行默认配置了hadoop的环

gaog2zh·2023-09-01 06:08

大数据学习06-SpringBoot应用部署

环境准备已经安装了Java开发环境和Maven构建工具。创建项目使用Maven创建一个新的SpringBoot项目，你可以使用SpringInitializr（https://start.spring.io/）网站或者使用命令行。选择依赖在SpringInitializr中选择你需要的依赖，如SpringWeb、SpringDataJPA等。这些依赖将会在项目中自动导入。下载项目点击"Genera

小火柴012·2023-09-01 06:56

大数据学习06-Spark分布式集群部署

Spark完全分布式部署前期准备，每台服务器都需要配置安装Scala下载Scala安装包配置环境变量安装spark解压配置环境修改配置前期准备，每台服务器都需要配置配置好IPvim/etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static

小火柴012·2023-09-01 06:22

日更 388天成长日记-随笔难与不难

成长日记-随笔难与不难大家好，我是指北针。今天文章的主题，成长日记-随笔难与不难成长日记，今天由随笔、运动、小改变与习惯坚持，三部分组成，欢迎阅读与留言评论。一、随笔。

指北针_从零开始·2023-09-01 04:06

完整大数据学习路线，看了就会有所收获

大数据大数据学习路线1.Java基础——主要部分是JavaSE1.1Java初级1.2Java高级1.3其余常见基础......2.Linux基础——主要指的是Linux基本命令操作3.Hadoop生态学习

白振峰·2023-09-01 04:07

大数据学习：impala基础

impala基础1.impala介绍1.1impala概述Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sq工具。impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel

zui初的梦想·2023-09-01 04:05

大数据学习：Hive企业级调优

Hive企业级调优1.Hive表的数据压缩1.1数据的压缩说明压缩模式评价可使用以下三种标准对压缩方式进行评价1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好2、压缩时间：越快越好3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化常见压缩格式压缩方式压缩比压缩速度解压缩速度是否可分割gzip13.4%21MB/s118MB/s否b

zui初的梦想·2023-09-01 04:05

大数据学习：Hive主流文件存储格式对比

Hive主流文件存储格式对比1.hive的SerDe1.1hive的SerDe是什么Serde是Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化。最后实现把文件内容映射到hive表中的字段数据类型。为了更好的阐述使用SerDe的场景，我们需要了解一下Hive是如何读数据的(类似于HDFS中数据的读写操作)：HDFSfiles–>InputFil

zui初的梦想·2023-09-01 04:34

大数据学习：haproxy实现impala的负载均衡

HAProxy实现Impala的负载均衡1.HAProxy安装及启停1.1在集群中选择一个节点，使用yum方式安装HAProxy服务[root@data01-dev~]#yum-yinstallhaproxy1.2启动与停止HAProxy服务，并将服务添加到自启动列表[root@data01-dev~]#servicehaproxystart[root@data01-dev~]#serviceha

zui初的梦想·2023-09-01 04:33

服务日志性能调优，由log引出的巨坑

本文主要介绍生产环境日志使用不当导致的“坑”及避坑指北，高并发系统下尤为明显。同时提供一

爱学习的潇潇·2023-09-01 01:18

大数据学习之路之HBASE

Hadoop之HBASE一、HBASE简介HBase是一个开源的、分布式的，多版本的，面向列的，半结构化的NoSql数据库，提供高性能的随机读写结构化数据的能力。它可以直接使用本地文件系统，也可以使用Hadoop的HDFS文件存储系统。不过，为了提高数据的可靠性和系统的健壮性，并且发挥HBase处理大数据的能力，使用HDFS作为文件存储系统才更为稳妥。HBase存储的数据从逻辑上来看就像一张很大的

王小冬·2023-09-01 00:27

手摸手教你封装几个Vue3中很有用的组合式API

大厂技术高级前端Node进阶点击上方程序员成长指北，关注公众号回复1，加入高级Node交流群作者：橙红年代链接：https://juejin.cn/post/6888925879243079687本文将介绍如何使用

傲娇的koala·2023-08-31 22:35

大数据学习：Hive安装部署

Hive的安装部署注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。此处以安装到node03为例；请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http://archive.cloudera.com/cdh5/cdh/5/hive-1.

zui初的梦想·2023-08-31 20:34

deepstream指北——python接口的使用

目录一、机器配置二、环境配置三、运行实例一、机器配置电脑：台式机系统：Ubuntu20.04.5显卡：GTX1070，8G显存软件版本：（1）deepstream：6.1.1（2）显卡驱动版本：515.76（3）CUDA版本：11.7.1（4）cudnn版本：8.6.0（5）TensorRT版本：8.4.3.1附上一些下载链接：（1）显卡驱动：https://www.nvidia.cn/drive

lokvke·2023-08-31 20:50

Hive-安装与配置（1）

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库

beixi@·2023-08-31 09:01

Hive-启动与操作（2）

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Hive的安装与配置，这篇文章接着上篇文章延伸

beixi@·2023-08-31 09:58

大数据学习教程SD版第七篇【Hive】

1.Hive简介数据仓库工具，将结构化数据映射成二维表，并提供类SQL查询，底层把HQL转换成MR程序Hive自带的客户端hiveclientbeelineclient特点HQL用于数据分析，但处理处理粒度粗处理大数据，但延迟高支持自定义函数架构原理Metastore元数据存储Client客户端MapReduce计算引擎HDFS数据源解析器解析HQL映射关系，元数据编译器把HQL转化成MR优化器优

道-闇影·2023-08-30 08:32

大数据学习步骤

我就大致列一下，各种框架的一个学习步骤吧：注意：下面列出来的顺序只是个人建议，可以根据个人实际情况来调整顺序linux基础和javase基础【包含mysql】这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各种框架的时候都会用到，用多了就熟悉了。javase的话建议主要看面向对象，集合，io，多线程，以及jdbc操作即可。zookeeperzooke

摩羯青春我掌握·2023-08-29 18:27

秋招求职苟活指北 | 一名普通的211硕士秋招经验

今天接到了秋招两个月以来的第一个offer电话，从9月末到现在，从金黄的秋天到凌冽的冬天，从原先信心满满到焦虑再到坦然心平气和，觉得自己已经成长了很多，现在就我自己的求职来分享一下个人经验。先简单介绍个人情况，211翻译硕士，本科是英专，学习成绩一般，两段实习经历，第一段国企做新媒体和市场的实习生，第二段在新浪微博做商业化广告的实习。我分几个部分来分别说明。【实习】【求职目标】【简历】【公司】【笔

supercooler·2023-08-29 11:15

2019-07-05自觉

今天自己带着耳机听《矮大紧指北》，听到了讲文青黄磊的一期，里面提到了《似水年华》，好熟悉的音乐，搜来一听黄磊当时为《似水年华》录的口白，一下子时间回到十几年前。

GracefulStop·2023-08-29 00:52

HBase集群环境搭建与测试

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.HBase集群环境介绍2.搭建环境准备3.搭建步骤

beixi@·2023-08-28 21:22

ZooKeeper集群环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.ZooKeeper集群环境介绍2.搭建环境准备3.

beixi@·2023-08-28 21:22

0201hdfs集群部署-hadoop-大数据学习

文章目录1前言2集群规划3hadoop安装包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIforNameNodeaddress(checkfs.defaultFS):file:///hasnoauthority.结语1前言下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟

gaog2zh·2023-08-28 06:31

需求文档：坐姿纠正指北

需求目的用一套优秀的坐姿解决方案，避免久坐对人体的伤害。针对群体：程序员/其他与程序员工种类似的上班族（运营、市场等）解决问题：纠正不良坐姿，避免久坐带来的病痛形式：提供一个坐姿解决方案，通俗易懂，能立竿见影的看到效果。文章目录久坐是上班族常态在电脑桌前过一辈子，你准备好了吗？1/3时间用来睡觉，1/3时间用来坐一周要上9*5=40小时的班一周也就XX小时可用久坐+坐姿不当=慢性自杀你的坐姿有多重

龐校長·2023-08-28 04:20

大数据-----软件开发模型（详细讲解）

大数据学习免费学习资料（免费教程）软件工程中，常用的开了模型有四种：瀑布模型、原型模型、增量模型和螺旋模型。

ItStar·2023-08-28 00:26

Spark Local环境搭建及测试

【大数据学习记录篇】-持续更新中~篇一：Linux系统下配置java环境篇二：hadoop伪分布式搭建（超详细）篇三：hadoop完全分布式集群搭建（超详细）-大数据集群搭建文章目录1.SparkLocal

beixi@·2023-08-27 23:10

Spark on Yarn集群模式搭建及测试

【大数据学习记录篇】-持续更新中~点击传送：大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍