hadoop初步学习

大模型理论基础初步学习笔记——第五章 大模型的数据

大模型理论基础初步学习笔记——第五章大模型的数据5.1大语言模型背后的数据5.1.1WebText和OpenWebText数据集5.1.2ColossalCleanCrawledCorpus（C4）5.1.3Benchmark
panda_dbdx·2024-01-24 16:49

大模型理论基础初步学习笔记——第二章 大模型的能力

大模型理论基础初步学习笔记——第二章大模型的能力大模型理论基础初步学习笔记——第二章大模型的能力2.1概述我们的研究对象：2.1.1基准测试：2.1.2结果：2.1.3结论：2.1.4总结（太长不看版）
panda_dbdx·2024-01-24 16:49

大模型理论基础初步学习笔记——第一章 引言

大模型理论基础初步学习笔记——第一章引言1.1什么是语言模型1.1.1.联合分布表示：1.1.2.自回归语言模型(Autoregressivelanguagemodels)：1.1.3.温度参数：1.1.4
panda_dbdx·2024-01-24 16:48

大模型理论基础初步学习笔记——第三四章 危害，与模型架构

大模型理论基础初步学习笔记——第三四章危害，与模型架构一、危害性部分：二、架构第3章模型架构3.2分词3.2.1基于空格的分词3.2.2BytePairEncoding(BPE)分词算法3.2.2.1Unicode
panda_dbdx·2024-01-24 16:46

2019-05-15

主流程1.关闭防火墙2.机器间实现免密3.zk部署4.hadoop部署实现流程2.免密登录ssh-keygen回车一直到最后（有3次）生成本机秘钥后，同步到自己机器和其他机器ssh-copy-idhostxshell
泡泡_bbb9·2024-01-24 15:54

C++ 11 多线程库初步学习

在C++11标准中，可以简单通过使用thread库，来管理多线程。thread库可以看做对不同平台多线程API的一层包装；因此使用新标准提供的线程库编写的程序是跨平台的。使用时需要#include头文件；#include#includeusingnamespacestd;voidtproc(inti){cout<
bcbobo21cn·2024-01-24 15:09

通过hadoop jar命令运行提交MapReduce到YARN中

实现Wordcount大概流程：给定数据输入的路径，给定结果输出的路径；将输入路径内的数据中的单词进行计数，将结果写到输出路径如下：在hadoop下找hadoop-mapreduce-examples-
%HelloWorld%·2024-01-24 13:28

MapReduce配置 & YARN集群部署

1：编辑mapred-env.sh；添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1GexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
%HelloWorld%·2024-01-24 13:28

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive在VMware中部署

会在日志文件中生成root用户的一个随机密码，使用下面命令查看密码：如果你想设置简单密码，需要设置mysql密码安全级别：(进入mysql中实行)然后就可以简单密码了：(进入mysql中实行)步骤二：配置hadoop
%HelloWorld%·2024-01-24 13:27

Kafka集群的安装与配置（二）

2.2.2生产者命令行操作1）查看操作生产者命令参数[atguigu@hadoop102kafka]$bin/kafka-console-producer.sh2）发送消息[atguigu@hadoop102kafka
ole_triangle_java·2024-01-24 12:59

Windows下hive中insert语句报错

报错信息我的hadoop和hive版本都是3.0版本(建议hadoop3.x版本、hive2.x版本，我在使用中发现有些问题)[08S01][2]Errorwhileprocessingstatement
林园857·2024-01-24 10:27

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

HBase介绍及简易安装（转）

HBase介绍及简易安装（转）HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_33711647·2024-01-24 08:23

Hadoop集群（第12期)_HBase简介及安装

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_30451709·2024-01-24 08:23

HBase学习

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
mm_bit·2024-01-24 08:20

HBase详细概述

不过在此之前，你可以先了解Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase吧！
a867901084·2024-01-24 08:49

HBase简易安装和简介

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
滑过的板砖·2024-01-24 08:49

Hbase 基础理论

Hbase本身是属于NoSQL在hadoop的大数据集群框架中可以用来做数据的存储。Hbase本身是Google的Bigtable理论的开源实现。本篇文章
Allocator·2024-01-24 08:48

H. Linux查找文件 whereis locate which

[root@hadoop01~]#whereiscatcat:/bin/cat/usr/share/man/man1/cat.1.gz[root@hadoop01~]#yuminstallmlocate
小猪Harry·2024-01-24 08:06

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

1、常用Connector读写之前我们已经用过了一些简单的内置连接器，比如'datagen'、'print'，其它的可以查看官网：Overview|ApacheFlink环境准备：#1.先启动hadoopmyhadoopstart
让线程再跑一会·2024-01-24 07:17

MySQL数据库在CentOS 6.8环境下的安装

二、步骤1、检查本地YUM源检查本地YUM中可用的与mysql相关的软件包[root@hadoop00~]#yumlist|grepmysql出现如图所示错误，需要重新挂载一下系统安装镜像[root@hadoop00
m0_69595107·2024-01-24 06:10

Hadoop安装配置HBase

2、安装切换目录[root@hadoop00~]#cd/usr/local新建文件夹[root@hadoop00local]#mkdirhbase解压文件[root@hadoop00local]#tarzxvf
m0_69595107·2024-01-24 06:10

Hadoop伪分布式安装配置

A、添加hadoop用户1、添加用户组[root@hadoop00~]#groupaddhadoop2、添加用户并分配用户组[root@hadoop00~]#useradd-ghadoophadoop3
m0_69595107·2024-01-24 06:09

虚拟机网络配置及Moba工具的使用

A、设置IP和网关1、设置IP[root@hadoop00~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0（修改如下标红内容，没有的就添加）DEVICE=eth0HWADDR
m0_69595107·2024-01-24 06:09

Hadoop中HBase命令行操作

HBase提供了Shell命令行，功能类似于Oracle、MySQL等关系库的SQLPlus窗口那样，用户可以通过命令行模式进行创建表、新增和更新数据，以及删除表的操作。采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。1.启动HDFS服务进程和hbase服务
m0_69595107·2024-01-24 06:05

大数据基础设施搭建 - Hbase

文章目录一、解压压缩包二、配置环境变量三、修改配置文件3.1修改hbase-env.sh3.2修改hbase-site.xml3.3修改regionservers四、解决HBase和Hadoop的log4j
m0_46218511·2024-01-24 06:04

有了金刚钻，不惧瓷器活 | 在数据文件上轻松使用SQL

当然，如果为了去英国美国，学个英语还算值，这就像学个Python、Hadoop，出去找工作也算是个技能。
小黄鸭呀·2024-01-24 04:41

hadoop 集群搭建笔记

修改主机名字：hostnamectlset-hostname主机名称修改hosts文件进行解析：xxxx.xxxx.xxxx.xxxx主机名字ssh免密登录：ssh-keygen-trsa生成密钥ssh-copy-idslave1ssh-copy-idslave2每个节点都拷贝公钥ssh-copy-idmaster集群部署2、配置集群1、核心配置文件配置core-site.xmlfs.defaul
阿强的学习笔记·2024-01-24 03:42

Flink 架构--官网译文(v1.11)

它与所有常见的群集资源管理器（如HadoopYARN，ApacheMesos和Kubernetes）集成，但也可以设置为作为独立群集甚至库运行。
LQC_gogogo·2024-01-24 02:53

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01

Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域

由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求，使国家的技术产业得到进步和发展。大数据已经成长为时代发展的标志，在各大行业机领域都拥有其应用，今天小编就带着大家一起了解一下，大数据技术到底带来了什么？大数据技术是如何发挥自
金光闪闪耶·2024-01-24 01:08

Note25：Azkaban-2.5.0安装配置

安装包下载安装地址：个人选择这个版本Azkaban-2.5.0把安装包上传到/opt/software目录在/opt/module/目录下创建azkaban目录[kevin@hadoop112module
K__3f8b·2024-01-23 23:43

Hadoop 2.8x安装文档

Hadoop2.8x安装文档下载下载HadoopHadoop.apache.org下载rpm版本的jdkJava.comSsh连接工具XShallXFTPCentos6.8_mini操作系统配置先配置一个虚拟机
A尚学堂Nancy老师·2024-01-23 23:01

在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错

一.问题重现SQL错误[2][08S01]:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTaskErrorwhileprocessingstatement
絲箹·2024-01-23 21:50

linux创建虚拟机成功后，第二次使用打不开，(磁盘和文件权限修改)

但如果出现以下提示>替换缺少的文件时出错:权限不足，无法访问该文件就说明文件的权限太高，或者存放文件的磁盘权限太高，导致无法访问文件这时我们需要对文件和磁盘的权限进行修改选中Hadoop01文件>鼠标右键
絲箹·2024-01-23 21:50

开源大数据集群部署（六）Keytab文件生成

1、创建keytab文件除了使用明文密码登录之外，Kerberos还可以使用keytab密码文件登陆，现在为testcuser创建它的keytab文件ipa-getkeytab-sipa.hdp.hadoop-ptestcuser
云掣YUNCHE·2024-01-23 21:35

Spark RDD分区数和分区器

TextInputFormat.getInputSplits()方法决定,具体源码追踪及解析如下:valrdd1=sc.textFile("data/tbPerson.txt")①Ctrl+B进入textFiletextFile底层其实就是通过hadoopFile
maplea2012·2024-01-23 15:40

Hadoop集群配置及测试

Hadoop集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源，因而和NameNode与SecondaryNameNode最好不在同一服务器
YUuuuME_·2024-01-23 11:07

大数据分布式实时大数据处理框架Storm，入门到精通！

介绍：Storm是一个分布式实时大数据处理框架，被业界称为实时版的Hadoop。首先，Storm由Twitter开源，它解决了HadoopMapReduce在处理实时数据方面的高延迟问题。
知识分享小能手·2024-01-23 09:42

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-23 09:45

Sqoop与Kafka的集成：实时数据导入

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而Kafka则用于数据流的传输和处理。
晓之以理的喵~~·2024-01-23 08:01

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~·2024-01-23 07:35

网络安全全栈培训笔记（55-服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE）

第54天服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE知识点：1、服务攻防数据库类型安全2、Redis&Hadoop&Mysql安全3、Mysql-CVE-2012-2122
清歌secure·2024-01-23 07:24

数仓建设 - 维度建模 - DIM维度

2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[hadoop
m0_46218511·2024-01-23 05:14

Hadoop -- Hive

文章目录1.什么是hive？1.1基本思想1.2为什么使用hive？1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导
Cool_Pepsi·2024-01-23 02:12

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处
Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他