hadoop学习心得

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面
云掣YUNCHE·2024-01-27 07:30

【学习心得】小楼听雨书心意 今日乘风担使命（——2021年12月9日）

“我来参加这次写作班完全是误入的”，静说。是的，她最初是陪我来的。今年暑假，看到第五期写作研修班在长沙举行，我就蠢蠢欲动，后因疫情未能成行。11月看见东莞办班的信息，我就毫不犹豫报了名，虽几经波折，终于来到了这里，来到了张文质老师的面前。但是我其实并没有什么明确的写作方向，我更多的是想听听文质老师、其他老师和大家的声音，想借此来整理自己，确定下自己的方向，不仅仅是写作方面的。上了一天的课，听了张老
苏默马·2024-01-27 05:05

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

2021-12-22

2021.12.21日学习心得又在一次期待中上宇彤老师的课，上宇彤老师的课就像如获珍宝，昨天晚上上夜班，着急的我找了几个人调班后没有成功，想着就算上班也要听课，最后也断断续续的听了一些课.1.声音变现涉及三个方面
5e862b78f425·2024-01-27 04:15

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-27 03:24

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163·2024-01-27 00:06

20181211刻意练习

昨天发了自己两条朋友圈，第一条是对这次学习的总结，文字介绍了学习心得，还写出了自己A1A2便签，图片是精心排版九宫格：第一张是本次学习给过我许多帮助鼓励的同一小组同学，纵向中间三图以时间顺序体现的此次培训课的主题
Lilyzhou02·2024-01-26 23:13

八.压缩和存储

8.1Hadoop源码编译支持Snappy压缩(了解)8.1.1资源准备1）CentOS联网配置CentOS能连接外网。
临时_01e2·2024-01-26 21:13

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

大不了，从头再来！

前几天我发布了一篇关于改善作息的心灵汤《从今天开始，学着早睡》，算是我那几天的学习心得，并且我现在正在努力地实践着，希望早日摆脱懒散的坏毛病。
张张爱吃瓜·2024-01-26 20:19

软件构造|学习心得01 静态检查

目标：•学习静态系列•了解好的软件的三大特性冰雹序列“冰雹序列”的定义：从正整数n开始，如果n是偶数，则下一个数是n/2，否则下一个数是3n+1，直到n等于1。这里有几个例子：由于存在3n+1这种变化，所以序列元素的大小可能会忽高忽低——这也是“冰雹序列”名称的来历，冰雹在落地前会在云层中忽上忽下。那么所有的序列都会最终“落地”变到1吗？（这个猜想称为考拉兹猜想。）计算冰雹序列下面的代码用于打印冰
葫八哥·2024-01-26 19:11

hadoop-MR

1.MR执行原理1.MAP阶段在这里插入图片描述2.Reducer在这里插入图片描述3.shuffle阶段在这里插入图片描述2.实操1.导入maven配置org.apache.hadoophadoop-mapreduce-client-common2.7.1org.apache.hadoophadoop-mapreduce-client-core2.7.12
炽热_3a57·2024-01-26 19:06

2024.1.25学习心得

如何合理的运用主键和唯一键建表tip：不要用业务逻辑充当主键(例：stu_name等)例：使用一个编号充当主键，业务逻辑则使用唯一键createtablestudent(stu_idintprimarykey,--主键stu_namenvarchar(50)uniquenotnull,--唯一键(代理主键)，n(对汉字支持)var(可变)50(长度最大50)stu_emailnvarchar(50
低调的小野·2024-01-26 19:50

2024.1.26学习心得(此前为关于数据库存储的学习)

SQLServer数据关系图的使用任意选择一张表，右键“数据库关系图”选项，选择添加所验证关系表，便可以看到表与表的联系，一对一，一对多，多对多，具体实现为图1所示。图1tip：面向过程的语言：数据与操作分离。(c)面向对象的语言：(类)数据与操作结合。(c++,c#,java)主键(设计主键需要注意的问题)定义：能够唯一标示一个事物的一个字段或多个字段的组合，被称为主键。附注：含有主键的表叫做主
低调的小野·2024-01-26 19:50

2024.1.23学习心得

预备知识1.学习数据库必须学习数据库原理吗？答：需要！但如果没有此基础，需要在学习过程中自主学习所需理论知识。2.学习SQLSERVER必须得先学习一门编程语言吗？答：不需要，但如果拥有一门语言的基础，在编写数据库过程中会更容易上手。3.数据结构与数据库的区别？答：数据库是在应用软件级别研究数据的存储和操作。数据结构是在系统软件级别研究数据的存储和操作。建议学习数据库的时，同时学习数据结构的知识，
低调的小野·2024-01-26 19:20

2024.1.24学习心得

命令建表和约束实例TIP:可以给任一的约束起名。例：emp_idintconstraintpk_emp_id_hahaprimarykey(主键取名)dept_idintconstraintfk_dept_id_heiheiforeignkeyreferencesdept(dept_id)(外键取名)在createtable中最后一个字段建议不要写逗号(保持与Oracle相同的语法规定，提高代码的
低调的小野·2024-01-26 19:20

2024.1.22学习心得

1.新建表后，若在其中未能找到所建表，可以尝试刷新。2.什么是数据库？狭义：存储数据的仓库；广义：可以对数据进行存储和管理的软件以及数据本身统称为数据库；数据库是由表、关系、操作组成。3.为什么需要数据库？几乎所有的应用软件的后台都需要数据库；数据库占用空间小、容易持久保存；存储比较安全；容易维护和升级；数据库移植比较容易；简化对数据的操作；为将来学习Oracle做准备(MYSQL小型，SQLSE
低调的小野·2024-01-26 19:19

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

第十七课：《这样投稿：增加你的文章过稿率》学习心得

大家好，我是心言。今天是我参加《21天写作训练营》的第十七天，今天的学习内容是：《这样投稿：增加你的文章过稿率》。我们在写作投稿时，要把自己的文章当成一个产品去进行运营。在自媒体时代，没有人会喜欢去细细品读你的碎碎念，所以，我们一定要认真去修炼自己的文章，让自己的文章符合优秀的品质。在投稿之前，我们要先思考，自己的文章能够给大家带来什么？能够输出什么样的价值？我们一定要让自己的文章做到有趣、有料、
暖阳的碎碎念·2024-01-26 18:21

家书

在宁波学习三天，回来后第一次参加公司的《六项精进》分享会，刚来到会场，看到许多老学员，他们依然热情不减，积极踊跃的上台讲述自己的学习心得，总结工作中的失误，并自我反省，发现问题，解决问题。
杜户刚·2024-01-26 17:28

指导手册05：MapReduce编程入门

指导手册05：MapReduce编程入门Part1:使用Eclipse创建MapReduce工程操作系统：Centos6.8,hadoop2.6.4情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用
weixin_30655219·2024-01-26 17:56

第十五课：《5步文章修改法，提升你的文章成稿率》学习心得

大家好，我是心言。今天是我参加《21天写作训练营》的第十五天，今天的学习内容是：《5步文章修改法，提升你的文章成稿率》。没有一位作者能够一步到位写出完美文章，好文章都是改出来的。鲁迅先生写完文章后，至少要看两遍，竭力将可有可无的字、句、段删去，毫不可惜。矛盾说：“练习写作的秘诀，就是不怕修改。”托尔斯泰也曾说：“不要讨厌修改，还要把同一件东西改写10遍、20遍。”鲁迅写完散文《藤野先生》，修改了1
暖阳的碎碎念·2024-01-26 16:17

火龙灸学习心得 放疗科李清娟

火龙灸，起源于督脉灸及隔瓦甄灸，操作时形似火龙，热力深广，作用于督脉及足太阳膀胱经，有温、通、调、补四大功效，可调理经络，增强免疫力，适用于虚寒体质、妇科男科疾患及各类痛症、慢性虚损患者，适应症范围广泛，效果明显!对于火龙灸一直都是闻名遐迩却不曾见面，而这次的火龙灸学习班圆了我的火龙灸梦想!满满两天的课程安排，理论与实践完美结合，干货满满，收获满满!开场八段锦!图片发自App刘护长理论讲解:从火龙
梨栗子·2024-01-26 16:33

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

力扣 35. 搜索插入位置

新手村前言35.搜索插入位置题目描述解题思路代码总结题目来源第一站LeetCode新手村前言最近玩OJ赛，发现对算法的理解还需要更加扎实，code能力还可以进一步提升，所以做这样一个算法的系列文章，用于记录学习心得
Elvin域文·2024-01-26 13:30

【计算机网络】应用层——HTTP 协议（一）

个人主页：兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【网络编程】本专栏旨在分享学习计算机网络的一点学习心得，欢迎大家在评论区交流讨论目录一、什么是HTTP协议二、HTTP
兜里有颗棉花糖·2024-01-26 12:16

Apache 辅助系统工具

一丶ApacheSqoop1.Sqoop的介绍：Sqoop的工作机制是将导入或者导出的命令翻译成MapReduce实现，Sqoop可以理解为：SQL到Hadoop或者Hadoop到SQL2.Sqoop的安装配置文件修改
月初，·2024-01-26 11:16

centos同步服务器时间

不同步互联网查看所有节点ntpd服务状态sudosystemctlstatusntpdsudosystemctlstartntpdsudosystemctlis-enabledntpd查询自己的网段ipaddr修改hadoop102
热爱技术的小陈·2024-01-26 10:39

荣荣老师家排系列课程学习心得（杨丹）

谈到心得，不知从何写起，感觉9个月一晃就过去了，首先感谢荣荣老师的辛苦带领，让我学习到那么多知识，其次感谢兆霞姐的辛苦筹备和伙伴们的真诚陪伴，谢谢你们！感恩成长路上有你们相伴！以下是我感触比较深的点：1.自我觉醒，成长转折。在参与课程之初，是我状态最差的时间，身体不好，工作不满意，也是为了抓住每一根救命稻草，我选择了荣荣老师的课程，记得当时我是个忧心忡忡、悲观低落，没有力量的人，清楚记得在自己第一
杨丹_cbc4·2024-01-26 09:15

Hadoop3.x源码解析

文章目录一、RPC通信原理解析1、概要2、代码demo二、NameNode启动源码解析1、概述2、启动9870端口服务3、加载镜像文件和编辑日志4、初始化NN的RPC服务端5、NN启动资源检查6、NN对心跳超时判断7、安全模式三、DataNode启动源码解析1、概述2、初始化DataXceiverServer3、初始化HTTP服务4、初始化DN的RPC服务端5、DN向NN注册6、向NN发送心跳四、
魅Lemon·2024-01-26 09:54

Hadoop3.x学习笔记

文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount
魅Lemon·2024-01-26 09:24

林浩然与Hadoop的奇幻数据之旅

林浩然与Hadoop的奇幻数据之旅LinHaoranandtheEnchantingDataJourneywithHadoop在一个名为“比特村”的地方，住着一位名叫林浩然的程序员大侠。
howard2005·2024-01-26 09:20

Hadoop YARN 在快手的应用实践与技术演进之路

yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。
yoku酱·2024-01-26 08:32

android应用开发基础学习心得体会

目录导语1.学习Java编程语言2.熟悉AndroidStudio3.学习Android开发框架4.实验室和样例代码5.Android数据存储和管理6.Android性能优化7.Android进阶开发导语Android开发是移动应用开发的一个重要领域，也是目前市场需求量较大的技能之一。作为一名Android开发者，你可以通过自己的技能和创造力，为用户提供高质量的应用程序。学习Android开发需要
x18275767219·2024-01-26 05:32

通过养猪给女朋友讲解Hadoop(一)

六、规章整治奈何桥程序员老王，阎王爷，黑白无常，牛头马面，孟婆。“铃铃铃~”刚躺下的老王又被电话吵醒了，老王接起电话，习惯性地说：“老板，又是哪个系统挂了啊。”“我不是你老板，我是阎王爷”电话那头传来沧桑的声音。“阎王爷，我上有老，下有小，我知道我这么加班不对，但我都是为了生计啊，恳请阎王爷再宽限我几年吧，我把房贷还完就下去报道。”老王哽咽地说着。“这次找你不是想结束你在人间的进程，只是想让你来地
程序员峰哥·2024-01-26 05:55

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs'.Theschemeisn
未来影子·2024-01-26 04:22

flink1.13.0 环境搭建

#flink部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https:/
AinUser·2024-01-26 04:50

《教育中的积极心理学》学习心得

一、简答题1、听完此课后，你得到的启发或收获是什么，用一、二百字概括一下，并把这些文字分享到群里。(50.0分)我的答案：陶老师用通俗的话语和经典的案例向我们讲解了积极心理学和消极心理学对人的影响，我收益颇丰。在听讲过程中对于本身有着积极正面的影响，陶老师讲到教师更大程度上存在对学生问题的研究，容易指责学生出现的问题，打击学生的积极性，此时我就在反思自己的教学，总是说你这里写的不好，不规范，那里又
心之山水·2024-01-26 04:16

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步
程序员橘子皮·2024-01-26 03:35

第八课：《养成列提纲的习惯，轻松避开写作中的大坑》学习心得

大家好，我是心言。今天是我参加《21天写作训练营》的第八天，今天的学习内容是：《养成列提纲的习惯，轻松避开写作中的大坑》。大家是否也曾有过这样的感觉，有时候想要写一篇文章，但却不知道从何下笔，不知道如何开头和结尾，在整个写作过程中，脑子一片浆糊，不知道写什么，怎么写，写着写着，就感觉文章弃之可惜，食之无味。那么要避免这种情况的出现，我们应该如何做呢？答案就是列提纲。列提纲主要有以下三个好处：1.列
暖阳的碎碎念·2024-01-26 03:48

2018-02-13 P150-P161学习心得

首先，当地没有学经班怎么办-答：一人，一桌，一椅。当年赖老师就是这么过来的，当年他还要编教材，还要录音，这些就够他承受的，可是他不也是这么走过来了吗？其次，怎么选择指导师。我们现在的人都有一个很奇怪的内心依赖，包括先前的自己。总觉得我既然请了教材，就必须有相应的指导服务。如果没有服务，花那么大几千的干嘛去。殊不知这一切都是自己的事，如果有指导师指导自己，那是再好不过了，但是有好的指导师，成长的路还
滋心润霖·2024-01-26 03:06

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

2021-04-20

“家族魂”学习心得茄子妈妈四月份，我和孩子加入了光和青春。当时老公在外地出差，我跟他说也有父母一起学习的课程。我老公开玩笑说：“孩子去学就行了。像我这样哪里还需要学习，已经足够进步了。”
305e330d7e05·2024-01-25 22:01

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他