莫等闲 白了少年头
莫等闲 白了少年头

2022最新黑马程序员大数据Hadoop入门

p1 学习大纲

2022最新黑马程序员大数据Hadoop入门_第1张图片

p02数据分析

2022最新黑马程序员大数据Hadoop入门_第2张图片
2022最新黑马程序员大数据Hadoop入门_第3张图片
2022最新黑马程序员大数据Hadoop入门_第4张图片
2022最新黑马程序员大数据Hadoop入门_第5张图片
2022最新黑马程序员大数据Hadoop入门_第6张图片

p03数据分析基本流程

2022最新黑马程序员大数据Hadoop入门_第7张图片
2022最新黑马程序员大数据Hadoop入门_第8张图片
2022最新黑马程序员大数据Hadoop入门_第9张图片
2022最新黑马程序员大数据Hadoop入门_第10张图片
2022最新黑马程序员大数据Hadoop入门_第11张图片
2022最新黑马程序员大数据Hadoop入门_第12张图片
2022最新黑马程序员大数据Hadoop入门_第13张图片

p04大数据时代

2022最新黑马程序员大数据Hadoop入门_第14张图片

p05分布式和集群概念

2022最新黑马程序员大数据Hadoop入门_第15张图片

p06-14 略

p15 linux命令 时间 内存 磁盘 进程

2022最新黑马程序员大数据Hadoop入门_第16张图片

2022最新黑马程序员大数据Hadoop入门_第17张图片

p16略

p17 vim基本操作命令

2022最新黑马程序员大数据Hadoop入门_第18张图片
2022最新黑马程序员大数据Hadoop入门_第19张图片
2022最新黑马程序员大数据Hadoop入门_第20张图片

p18 学习目标

2022最新黑马程序员大数据Hadoop入门_第21张图片
2022最新黑马程序员大数据Hadoop入门_第22张图片

p19hadoop介绍

2022最新黑马程序员大数据Hadoop入门_第23张图片
2022最新黑马程序员大数据Hadoop入门_第24张图片

p20 hadoop特性优点

2022最新黑马程序员大数据Hadoop入门_第25张图片

p21 hadoop发行版本

2022最新黑马程序员大数据Hadoop入门_第26张图片
2022最新黑马程序员大数据Hadoop入门_第27张图片
2022最新黑马程序员大数据Hadoop入门_第28张图片

p22 hadoop安装部署 集群组成介绍

2022最新黑马程序员大数据Hadoop入门_第29张图片
2022最新黑马程序员大数据Hadoop入门_第30张图片
2022最新黑马程序员大数据Hadoop入门_第31张图片

p23 hadoop安装部署-服务器基础环境设置

2022最新黑马程序员大数据Hadoop入门_第32张图片
2022最新黑马程序员大数据Hadoop入门_第33张图片

p28 hadoop安装部署-初体验

2022最新黑马程序员大数据Hadoop入门_第34张图片
2022最新黑马程序员大数据Hadoop入门_第35张图片

P32 hdfs重要特性解读

2022最新黑马程序员大数据Hadoop入门_第36张图片
2022最新黑马程序员大数据Hadoop入门_第37张图片
2022最新黑马程序员大数据Hadoop入门_第38张图片
2022最新黑马程序员大数据Hadoop入门_第39张图片
2022最新黑马程序员大数据Hadoop入门_第40张图片
2022最新黑马程序员大数据Hadoop入门_第41张图片
2022最新黑马程序员大数据Hadoop入门_第42张图片

p33 shell命令行解释说明

2022最新黑马程序员大数据Hadoop入门_第43张图片
2022最新黑马程序员大数据Hadoop入门_第44张图片
2022最新黑马程序员大数据Hadoop入门_第45张图片

p34 shell命令行常见操作

2022最新黑马程序员大数据Hadoop入门_第46张图片
2022最新黑马程序员大数据Hadoop入门_第47张图片
2022最新黑马程序员大数据Hadoop入门_第48张图片
2022最新黑马程序员大数据Hadoop入门_第49张图片
2022最新黑马程序员大数据Hadoop入门_第50张图片
2022最新黑马程序员大数据Hadoop入门_第51张图片
追加文件
2022最新黑马程序员大数据Hadoop入门_第52张图片
2022最新黑马程序员大数据Hadoop入门_第53张图片

p35 hdfs工作流程与机制–各角色职责介绍与梳理

2022最新黑马程序员大数据Hadoop入门_第54张图片
2022最新黑马程序员大数据Hadoop入门_第55张图片
2022最新黑马程序员大数据Hadoop入门_第56张图片
2022最新黑马程序员大数据Hadoop入门_第57张图片
2022最新黑马程序员大数据Hadoop入门_第58张图片

36 写数据流程 pipeline ack 副本机制

2022最新黑马程序员大数据Hadoop入门_第59张图片
2022最新黑马程序员大数据Hadoop入门_第60张图片
2022最新黑马程序员大数据Hadoop入门_第61张图片
2022最新黑马程序员大数据Hadoop入门_第62张图片

37 hads工作流程–写数据流程–梳理

2022最新黑马程序员大数据Hadoop入门_第63张图片
2022最新黑马程序员大数据Hadoop入门_第64张图片
2022最新黑马程序员大数据Hadoop入门_第65张图片
在这里插入图片描述

p38 学习目标

2022最新黑马程序员大数据Hadoop入门_第66张图片
2022最新黑马程序员大数据Hadoop入门_第67张图片

p39 理解 先分再合 分而治之的思想

2022最新黑马程序员大数据Hadoop入门_第68张图片
2022最新黑马程序员大数据Hadoop入门_第69张图片
2022最新黑马程序员大数据Hadoop入门_第70张图片

p40 hadoop团队针对mapreduce的设计构思

2022最新黑马程序员大数据Hadoop入门_第71张图片
2022最新黑马程序员大数据Hadoop入门_第72张图片
2022最新黑马程序员大数据Hadoop入门_第73张图片
2022最新黑马程序员大数据Hadoop入门_第74张图片

p41 MapReduce介绍 阶段划分与进程组成

2022最新黑马程序员大数据Hadoop入门_第75张图片
2022最新黑马程序员大数据Hadoop入门_第76张图片
2022最新黑马程序员大数据Hadoop入门_第77张图片
2022最新黑马程序员大数据Hadoop入门_第78张图片
2022最新黑马程序员大数据Hadoop入门_第79张图片
2022最新黑马程序员大数据Hadoop入门_第80张图片
2022最新黑马程序员大数据Hadoop入门_第81张图片
2022最新黑马程序员大数据Hadoop入门_第82张图片

p42 MapReduce官方案例 圆周率评估

2022最新黑马程序员大数据Hadoop入门_第83张图片
2022最新黑马程序员大数据Hadoop入门_第84张图片
2022最新黑马程序员大数据Hadoop入门_第85张图片

p43 wordcount单词统计

2022最新黑马程序员大数据Hadoop入门_第86张图片
2022最新黑马程序员大数据Hadoop入门_第87张图片
2022最新黑马程序员大数据Hadoop入门_第88张图片

p44 map阶段执行过程

2022最新黑马程序员大数据Hadoop入门_第89张图片
2022最新黑马程序员大数据Hadoop入门_第90张图片

2022最新黑马程序员大数据Hadoop入门_第91张图片

p45 reduce阶段执行过程

2022最新黑马程序员大数据Hadoop入门_第92张图片

p46 mapreduce–shuffle机制

2022最新黑马程序员大数据Hadoop入门_第93张图片
2022最新黑马程序员大数据Hadoop入门_第94张图片
2022最新黑马程序员大数据Hadoop入门_第95张图片
2022最新黑马程序员大数据Hadoop入门_第96张图片

p47 yarn功能介绍 资源管理 任务调度

2022最新黑马程序员大数据Hadoop入门_第97张图片
2022最新黑马程序员大数据Hadoop入门_第98张图片
2022最新黑马程序员大数据Hadoop入门_第99张图片

p48 yarn架构图 3大组件介绍

2022最新黑马程序员大数据Hadoop入门_第100张图片
2022最新黑马程序员大数据Hadoop入门_第101张图片
2022最新黑马程序员大数据Hadoop入门_第102张图片

p49 程序提交yarn集群交互流程

2022最新黑马程序员大数据Hadoop入门_第103张图片
2022最新黑马程序员大数据Hadoop入门_第104张图片
2022最新黑马程序员大数据Hadoop入门_第105张图片
在这里插入图片描述
在这里插入图片描述
2022最新黑马程序员大数据Hadoop入门_第106张图片

p50 资源调度器scheduler和调度策略

2022最新黑马程序员大数据Hadoop入门_第107张图片
2022最新黑马程序员大数据Hadoop入门_第108张图片
2022最新黑马程序员大数据Hadoop入门_第109张图片
2022最新黑马程序员大数据Hadoop入门_第110张图片
2022最新黑马程序员大数据Hadoop入门_第111张图片
2022最新黑马程序员大数据Hadoop入门_第112张图片
2022最新黑马程序员大数据Hadoop入门_第113张图片
2022最新黑马程序员大数据Hadoop入门_第114张图片
2022最新黑马程序员大数据Hadoop入门_第115张图片

p51 课程内容学习大纲

2022最新黑马程序员大数据Hadoop入门_第116张图片

p52数据仓库概念与起源发展由来

2022最新黑马程序员大数据Hadoop入门_第117张图片
2022最新黑马程序员大数据Hadoop入门_第118张图片

p53 数据仓库主要特征 面向主题 集成 非易失 时变

2022最新黑马程序员大数据Hadoop入门_第119张图片
2022最新黑马程序员大数据Hadoop入门_第120张图片
2022最新黑马程序员大数据Hadoop入门_第121张图片
2022最新黑马程序员大数据Hadoop入门_第122张图片

p54 sql介绍

p55 hive和hadoop之间的关系

2022最新黑马程序员大数据Hadoop入门_第123张图片
2022最新黑马程序员大数据Hadoop入门_第124张图片
2022最新黑马程序员大数据Hadoop入门_第125张图片

p56 hive功能模拟实现底层猜想

2022最新黑马程序员大数据Hadoop入门_第126张图片
2022最新黑马程序员大数据Hadoop入门_第127张图片
2022最新黑马程序员大数据Hadoop入门_第128张图片
2022最新黑马程序员大数据Hadoop入门_第129张图片
2022最新黑马程序员大数据Hadoop入门_第130张图片
2022最新黑马程序员大数据Hadoop入门_第131张图片

p57 hive架构图 各组件功能

2022最新黑马程序员大数据Hadoop入门_第132张图片
2022最新黑马程序员大数据Hadoop入门_第133张图片

在这里插入图片描述

在这里插入图片描述

p58 hive安装部署 metadata与metastore 远程模式介绍

2022最新黑马程序员大数据Hadoop入门_第134张图片

你可能感兴趣的:(笔记,大数据)

  • 内网环境部署Deepseek+Dify，构建企业私有化AI应用 我是鲁阿姨
    0.简介#公司为生产安全和保密，内部的服务器不可连接外部网络，为了可以在内网环境下部署，采用的方案为ollama(Docker)+Dify(DockerCompose)，方便内网环境下迁移和备份，下文将介绍部署的全部过程。1.镜像拉取#镜像拉取为准备工作，因服务器在内网环境，需要先在可以连接外网的电脑上拉取相关镜像或文件。由于公司笔记本的Windows系统屏蔽了MicrosoftStore，导致D
  • Java基础学习笔记2 qichi333 学习笔记javaeclipse
    今天是Java基础学习第二天，加油！！！下面是我今天记的一些笔记。（有点懒惰了，爬虫今天没学，因为赖床了(bushi)，但我会勤奋起来的^_^，一定一定！明天不能偷懒了天！！）一、运算符例子：inta=10;intb=20;intc=a+b;其中，“+”是运算符，且是算术运算符；“a+b”是表达式，且是算术表达式。1.算术运算符例1：publicclassdemo3{publicstaticvoi
  • 板凳-------Mysql cookbook学习 （十一--------4)
    唐宇迪机器学习实战课程笔记https://blog.csdn.net/weixin_54338498/article/details/128818007?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ECtr-1-12881
  • 04_JavaWeb回顾笔记 skping-go javajavaweb
    JavaWeb回顾笔记[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wh1nKopi-1605668744709)(F:\资料\Java\笔记\笔记\assets\javaweb阶段知识体系.png)]Day01HTML1.1HTML简介HTML：HyperTextMarkupLanguage，超文本标记/标签语言。超文本:超出了普通文本的能力标记:标签W3C(Wo
  • 【计算机网络】第三章：数据链路层（上） iFulling 计算机网络笔记计算机网络网络网络协议笔记
    本篇笔记课程来源：王道计算机考研计算机网络接下节：【计算机网络】第三章：数据链路层（下）【计算机网络】第三章：数据链路层（上）一、数据链路层的功能1.基本概念2.功能总览二、组帧（封装成帧）1.主要实现2.字符计数法3.字节填充法4.零比特填充法5.违规编码法三、差错控制1.主要实现2.检错编码Ⅰ.奇偶校验码Ⅱ.循环冗余校验码3.纠错编码Ⅰ.海明校验码四、流量控制、可靠传输1.相关机制Ⅰ.滑动窗口
  • C练题笔记之：Leetcode-393. UTF-8 编码验证 月团子 c语言leetcode算法
    题目：给定一个表示数据的整数数组data，返回它是否为有效的UTF-8编码。UTF-8中的一个字符可能的长度为1到4字节，遵循以下的规则：对于1字节的字符，字节的第一位设为0，后面7位为这个符号的unicode码。对于n字节的字符(n>1)，第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。这是UTF-8编码的工
  • vivo Pulsar 万亿级消息处理实践（3）-KoP指标异常修复
    作者：vivo互联网大数据团队-ChenJianbo本文是《vivoPulsar万亿级消息处理实践》系列文章第3篇。Pulsar是Apache基金会的开源分布式流处理平台和消息中间件，它实现了Kafka的协议，可以让使用KafkaAPI的应用直接迁移至Pulsar，这使得Pulsar在Kafka生态系统中更加容易被接受和使用。KoP提供了从Kafka到Pulsar的无缝转换，用户可以使用Kafka
  • 广州曼顿2P数字微断：保护电力设备的安全守护者 mdkk678 安全
    在现代社会，电力设备的安全运行对各行各业至关重要。然而，电力系统中存在各种电压波动、过载和短路等问题，可能对设备造成损害。为了保护电力设备免受这些问题的影响，广州曼顿推出了2P数字微断器。本文将介绍这一创新产品的特点和优势，以及它对电力设备的保护作用。广州曼顿科技有限公司专注用户侧智慧数字电气产品研制，以及智慧电能服务大数据云平台建设。基于人工智能技术，大幅提升人触电时的生命安全保障，以及电气火灾
  • Python爬虫在社交平台数据挖掘中的应用：深入探索用户互动 程序员威哥 python爬虫数据挖掘
    引言社交媒体已经成为全球用户互动的主要平台，每天都有大量的信息生成，用户之间的互动行为如点赞、评论、分享、转发等构成了宝贵的数据资源。如何利用这些互动数据为商业决策、用户行为分析以及产品优化提供支持，已经成为数据科学与大数据分析领域的一个重要课题。Python作为一款强大的编程语言，凭借其丰富的爬虫库和数据分析工具，已经成为挖掘社交平台数据的重要工具。在本文中，我们将通过Python爬虫技术，深入
  • 突破性能瓶颈，几个高性能Python网络框架，高效实现网络应用
    引言随着互联网和大数据时代的到来，高性能网络应用的需求日益增加。Python作为一种流行的编程语言，在高性能网络编程领域也具有广泛的应用。本文将深入探讨基于Python的几种高性能网络框架，分析它们各自的优势和适用场景，帮助开发者选择最适合自己需求的网络框架这里插播一条粉丝福利，如果你正在学习Python或者有计划学习Python，想要突破自我，对未来十分迷茫的，可以点击这里获取最新的Python
  • 如何创建Python工程目录 九月恒心 Pythonpython自动测试
    如何创建一个简单但是比较规范的python工程目录，本文是学习了LearnPythontheHardWay相关内容后做的一些笔记。安装python第三方包1.pipfromhttp://pypi.python.org/pypi/pip用于安装python第三方包的工具2.distributefromhttp://pypi.python.org/pypi/distribute已被弃用，是SetupT
  • AI人工智能与机器学习的大数据融合应用 AI智能探索者 人工智能机器学习大数据ai
    AI人工智能与机器学习的大数据融合应用关键词：AI人工智能、机器学习、大数据、融合应用、数据挖掘摘要：本文深入探讨了AI人工智能与机器学习在大数据融合应用方面的相关内容。首先介绍了研究的背景、目的、预期读者和文档结构，对核心术语进行了清晰定义。接着阐述了AI、机器学习和大数据的核心概念及相互联系，给出了形象的文本示意图和Mermaid流程图。详细讲解了核心算法原理，并通过Python源代码进行说明
  • 百度地图迁徙大数据深度解析与实战指南
    百度地图迁徙大数据深度解析与实战指南在数字化时代，人口流动数据已成为洞察社会经济活动的关键指标。百度地图依托海量位置数据和AI算法打造的"迁徙大数据"平台，为城市规划、交通管理、商业选址等领域提供了重要决策支持。本文将系统性解析百度地图迁徙大数据的查看方法、核心功能及实战应用场景，帮助读者快速掌握这一数据驱动的决策工具。一、迁徙大数据的核心价值迁徙大数据通过聚合手机用户的定位信息，构建全国范围的人
  • notepad++正则表达式 痞子IT 嵌入式开发语言xmlc语言
    notepad++正则表达式使用笔记：1.查找空行：^\s*\r\n2.排除以（开头的行：^(?!（).*$3.查找第二行以A-D开头的情况：(\r\n)(^[A-D])4.查找不含有helloworld的行：^(?!.*helloworld).*$5.查找不以com结尾的字符串：^.*?(?|"']|"[^"]*"|'[^']*')*?(?:/>|>.*?)11.查找非换行空白：(\s)(?)及
  • SystemVerilog LRM 学习笔记 -- clocking块
    1clocking...endclocking块clocking块是SV新feature，主要是为了更好解决testbench和DUT之间的timing和同步建模的问题，可以使user基于clockcycle在更高的抽象层次上写testbench(如“##3”，表示三个clock)。clocking只能在module/interface/checker/program中声明，不能在function
  • JavaWeb（苍穹外卖）--学习笔记03（登录生成令牌） 老虎0627 JavaWeb（苍穹外卖）学习笔记java
    前言本片文章是学习B站黑马程序员苍穹外卖的学习笔记。在Day01（如果学到登录界面这里卡住了，可以看看这篇文章），登陆界面的后端实现大致可以分为两部分登录功能和登录校验，其中登陆校验的实现是基于令牌JWT技术来实现会话追踪（校验部分还有拦截器Interceptor这个我没太学懂视频也没提，以后在更）JWT令牌基本概念JWT是一种在Web应用程序，简单且安全地处理用户身份验证和信息交换的技术，首先我
  • Python爬虫实战：利用Selenium与反反爬技术高效爬取天眼查企业信息 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言scrapyselenium
    摘要本文将详细介绍如何使用Python爬虫技术获取天眼查的企业信息数据。我们将从爬虫基础开始，逐步深入到高级反反爬技术，最终构建一个能够稳定获取天眼查数据的爬虫系统。文章包含完整的代码实现、技术原理分析以及实际应用场景，帮助读者全面掌握企业信息爬取的核心技术。关键词：Python爬虫、天眼查、Selenium、反反爬技术、企业信息采集、数据挖掘一、引言在当今大数据时代，企业信息数据对于市场分析、商
  • 智慧城市大脑解决方案
    智慧城市大脑背景与意义智慧城市大脑作为城市管理的创新模式，通过集成大数据、人工智能等技术，实现了对城市运行的全面感知与智能决策。它不仅提升了城市管理效率，还为市民带来了更加便捷、安全的生活体验。智慧城市大脑建设历程某城市作为智慧城市大脑的创新策源地，自2016年起便与阿里巴巴集团深度合作，投入巨资自主研发城市数据大脑“交通小脑”平台。该平台成功接入了大量视频和数据，实现了对道路和时间资源的再分配，
  • 智慧城市大脑：城市治理的新引擎 Fulima_cloud 智慧城市人工智能
    在科技日新月异的今天，智慧城市的概念已经深入人心。而智慧城市大脑，作为智慧城市的中枢神经系统，运用大数据、云计算、物联网、人工智能等先进技术，构建的城市级智能化管理体系，正逐步成为提升城市治理能力、优化城市服务、推动城市可持续发展的重要力量。智慧城市大脑是什么，简而言之，是运用大数据、云计算、物联网、人工智能等先进技术，构建的城市级智能化管理体系。它如同城市的“智慧中枢”，通过对城市全域运行数据的
  • Vue3-尚硅谷笔记 八月份的天气 Vue3-笔记笔记
    1.Vue3简介2020年9月18日，Vue.js发布版3.0版本，代号：OnePiece（n经历了：4800+次提交、40+个RFC、600+次PR、300+贡献者官方发版地址：Releasev3.0.0OnePiece·vuejs/core截止2023年10月，最新的公开版本为：3.3.41.1.【性能的提升】打包大小减少41%。初次渲染快55%,更新渲染快133%。内存减少54%。1.2.【
  • Golang基础笔记十之goroutine和channel
    本文首发于公众号：Hunter后端原文链接：Golang基础笔记十之goroutine和channel这一篇介绍Golang里的goroutine和channel通道。以下是本篇笔记目录：goroutinechannelgoroutine与channel的使用1、goroutinegoroutine是一种轻量级线程（用户态线程），由Go运行时管理而非操作系统，它是Go并发模型的核心，能高效处理大量
  • 计算机网络（王道考研）笔记个人整理——第六章：应用层 onlyTonight 计算机网络计算机网络考研笔记
    第六章：应用层点击上方专栏查看六章全部笔记个人笔记整理位置：个人笔记完整版b站视频：王道考研（2019版）概述应用层对应用程序的通信提供服务。应用层协议定义：应用程序交换的报文类型（请求or响应）；各个报文类型的语法，如报文中的各个字段及其详细描述；字段的语义，即包含在字段中的信息的含义；进程何时、如何发送报文，以及对报文进行响应的规则。功能：文件传输、访问和管理；电子邮件；虚拟终端；查询服务和远
  • 笔记本电脑外接屏幕/台式电脑屏幕调节亮度方法 小宇蛋 电脑显示器
    我之前找了很多办法都不顶用，因为屏幕电源和主机电源不一个，所以无法通过系统调节屏幕亮度。但其实办法很简单很简单，就问卖你屏幕的店家调节亮度的按钮在哪，直接通过屏幕上的按钮调节。
  • 如何使用Python控制笔记本电脑屏幕亮度？ 很酷的站长 编程笔记电脑python开发语言
    Python已成为世界上最受欢迎的编程语言之一，这要归功于它的简单性、多功能性和广泛的应用程序。凭借其广泛的库和框架，Python可用于从Web开发到机器学习以及介于两者之间的任何内容。在Python中，最流行的数据分析和操作库之一是Pandas，它提供了处理表格数据的强大工具。在本教程中，我们将使用Python和屏幕亮度控制库来探索如何控制笔记本电脑屏幕亮度。我们将向您展示如何使用Python通
  • KaiwuDB X 济南大数据局：构建城市级重点车辆智慧监管中枢 数据库
    项目背景2022年2月14日，交通运输部联合多部门对《道路运输车辆动态监督管理办法》进行重要修订。新规突出"科技强监"理念，明确要求各级管理机构依托智能监管平台构建常态化监管机制：一方面强化对重点营运车辆的动态监测，另一方面建立事故预防预警体系。这一政策不仅为城市重点车辆监管提供了权威的政策指引，更在全国范围内掀起了监管平台智能化升级的热潮。作为城市治理的中枢部门，济南市大数据局肩负着重点车辆监管
  • huggingface 笔记： Trainer UQI-LIUWJ 笔记人工智能
    Trainer是一个为Transformers中PyTorch模型设计的完整训练与评估循环只需将模型、预处理器、数据集和训练参数传入Trainer，其余交给它处理，即可快速开始训练自动处理以下训练流程：根据batch计算loss使用backward()计算梯度根据梯度更新权重重复上述流程直到达到指定的epoch数1配置TrainingArguments使用TrainingArguments定义训练
  • huggingface笔记：文本生成Text generation UQI-LIUWJ python库整理笔记深度学习python
    1加载LLM模型fromtransformersimportAutoTokenizer,AutoModelForCausalLMimporttorchimportosmodel=AutoModelForCausalLM.from_pretrained("gpt2",device_map="auto",#自动分配到所有可用设备（优先GPU）torch_dtype=torch.bfloat16)2编码
  • python transformers库笔记（BertForTokenClassification类） 夏末蝉未鸣01 自然语言处理pythontransformer自然语言处理
    BertForTokenClassification类BertForTokenclassification类是HuggingFacetransformers库中专门为基于BERT的序列标注任务（如命名实体识别NER、词性标注POS）设计的模型类。它在BERT的基础上添加了一个线性分类层，用于对每个token进行分类。1、特点任务类型：专为Token-level分类设计，即对输入序列中的每一个tok
  • debian-arm64-docker 笔记
    文章目录构建debian-arm64docker宿主机系统UBUNT20.04-X86下环境安装下载文件拷贝文件文件释放修改文件qemu-arm-static环境切换环境debian网络配置,分区配置域名解析服务器串口控制台调整打包debianarm64根文件系统debian-arm64宿主机系统安装基础软件基础工具安装docker安装ubuntu20.04-X86上制作arm64-docker镜
  • Linux笔记之Docker安装，基于Debian 11（bullseye） 名字太长真的很奇怪꒰⑅•ᴗ•⑅꒱ Linuxlinuxdebiandocker
    前置条件Debian平台版本为Debian11（bullseye）安装的是DockerCommunityEdition（docker-ce）安装步骤1.重新安装卸载旧版，初次安装请跳过sudoapt-getremovedockerdocker-enginedocker.iocontainerdrunc2.初次安装时，安装依赖sudoapt-getinstallapt-transport-https
  • 怎么样才能成为专业的程序员？ cocos2d-x小菜 编程PHP
      如何要想成为一名专业的程序员？仅仅会写代码是不够的。从团队合作去解决问题到版本控制，你还得具备其他关键技能的工具包。当我们询问相关的专业开发人员，那些必备的关键技能都是什么的时候，下面是我们了解到的情况。   关于如何学习代码，各种声音很多，然后很多人就被误导为成为专业开发人员懂得一门编程语言就够了？！呵呵，就像其他工作一样，光会一个技能那是远远不够的。如果你想要成为
  • java web开发 高并发处理 BreakingBad javaWeb并发开发处理高
    java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据） 一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。 一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（
  • mysql批量更新 ekian mysql
    mysql更新优化： 一版的更新的话都是采用update set的方式，但是如果需要批量更新的话，只能for循环的执行更新。或者采用executeBatch的方式，执行更新。无论哪种方式，性能都不见得多好。 三千多条的更新，需要3分多钟。 查询了批量更新的优化，有说replace into的方式，即： replace into tableName(id,status) values
  • 微软BI（3） 18289753290 微软BI SSIS
    1) Q：该列违反了完整性约束错误；已获得 OLE DB 记录。源:“Microsoft SQL Server Native Client 11.0” Hresult: 0x80004005 说明:“不能将值 NULL 插入列 'FZCHID'，表 'JRB_EnterpriseCredit.dbo.QYFZCH'；列不允许有 Null 值。INSERT 失败。”。 A：一般这类问题的存在是
  • Java中的List g21121 java
            List是一个有序的 collection（也称为序列）。此接口的用户可以对列表中每个元素的插入位置进行精确地控制。用户可以根据元素的整数索引（在列表中的位置）访问元素，并搜索列表中的元素。         与 set 不同，列表通常允许重复
  • 读书笔记 永夜-极光 读书笔记
       1.  K是一家加工厂,需要采购原材料,有A,B,C,D 4家供应商,其中A给出的价格最低,性价比最高,那么假如你是这家企业的采购经理,你会如何决策?          传统决策: A:100%订单  B,C,D:0%     &nbs
  • centos 安装 Codeblocks 随便小屋 codeblocks
    1.安装gcc,需要c和c++两部分,默认安装下,CentOS不安装编译器的,在终端输入以下命令即可yum install gccyum install gcc-c++   2.安装gtk2-devel,因为默认已经安装了正式产品需要的支持库,但是没有安装开发所需要的文档.yum install gtk2* 3. 安装wxGTK    yum search w
  • 23种设计模式的形象比喻 aijuans 设计模式
    1、ABSTRACT FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory 　　工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：
  • 开发管理 CheckLists aoyouzi 开发管理 CheckLists
    开发管理 CheckLists(23) -使项目组度过完整的生命周期 开发管理 CheckLists(22) -组织项目资源 开发管理 CheckLists(21) -控制项目的范围开发管理 CheckLists(20) -项目利益相关者责任开发管理 CheckLists(19) -选择合适的团队成员开发管理 CheckLists(18) -敏捷开发 Scrum Master 工作开发管理 C
  • js实现切换 百合不是茶 JavaScript栏目切换
    js主要功能之一就是实现页面的特效,窗体的切换可以减少页面的大小,被门户网站大量应用思路: 1,先将要显示的设置为display:bisible 否则设为none 2,设置栏目的id ,js获取栏目的id,如果id为Null就设置为显示 3,判断js获取的id名字;再设置是否显示   代码实现:   html代码: <di
  • 周鸿祎在360新员工入职培训上的讲话 bijian1013 感悟项目管理人生职场
            这篇文章也是最近偶尔看到的，考虑到原博客发布者可能将其删除等原因，也更方便个人查找，特将原文拷贝再发布的。“学东西是为自己的，不要整天以混的姿态来跟公司博弈，就算是混，我觉得你要是能在混的时间里，收获一些别的有利于人生发展的东西，也是不错的，看你怎么把握了”，看了之后，对这句话记忆犹新。  &
  • 前端Web开发的页面效果 Bill_chen htmlWebMicrosoft
    1.IE6下png图片的透明显示： <img src="图片地址" border="0" style="Filter.Alpha(Opacity)=数值(100),style=数值(3)"/> 或在<head></head>间加一段JS代码让透明png图片正常显示。 2.<li>标
  • 【JVM五】老年代垃圾回收：并发标记清理GC(CMS GC) bit1129 垃圾回收
      CMS概述 并发标记清理垃圾回收(Concurrent Mark and Sweep GC）算法的主要目标是在GC过程中，减少暂停用户线程的次数以及在不得不暂停用户线程的请夸功能，尽可能短的暂停用户线程的时间。这对于交互式应用，比如web应用来说，是非常重要的。   CMS垃圾回收针对新生代和老年代采用不同的策略。相比同吞吐量垃圾回收，它要复杂的多。吞吐量垃圾回收在执
  • Struts2技术总结 白糖_ struts2
      必备jar文件 早在struts2.0.*的时候，struts2的必备jar包需要如下几个： commons-logging-*.jar   Apache旗下commons项目的log日志包 freemarker-*.jar          
  • Jquery easyui layout应用注意事项 bozch jquery浏览器easyuilayout
    在jquery easyui中提供了easyui-layout布局，他的布局比较局限，类似java中GUI的border布局。下面对其使用注意事项作简要介绍：      如果在现有的工程中前台界面均应用了jquery easyui，那么在布局的时候最好应用jquery eaysui的layout布局，否则在表单页面（编辑、查看、添加等等）在不同的浏览器会出
  • java-拷贝特殊链表：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ bylijinnan java
    public class CopySpecialLinkedList { /** * 题目：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ 拷贝pNext指针非常容易，所以题目的难点是如何拷贝pRand指针。 假设原来链表为A1 -> A2 ->... -> An，新拷贝
  • color Chen.H JavaScripthtmlcss
    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"  "http://www.w3.org/TR/html4/loose.dtd">    <HTML>    <HEAD>&nbs
  • [信息与战争]移动通讯与网络 comsci 网络
          两个坚持:手机的电池必须可以取下来                光纤不能够入户,只能够到楼宇       建议大家找这本书看看:<&
  • oracle flashback query(闪回查询) daizj oracleflashback queryflashback table
    在Oracle 10g中，Flash back家族分为以下成员： Flashback Database Flashback Drop Flashback Table Flashback Query(分Flashback Query,Flashback Version Query，Flashback Transaction Query) 下面介绍一下Flashback Drop 和Flas
  • zeus持久层DAO单元测试 deng520159 单元测试
    zeus代码测试正紧张进行中,但由于工作比较忙,但速度比较慢.现在已经完成读写分离单元测试了,现在把几种情况单元测试的例子发出来,希望有人能进出意见,让它走下去. 本文是zeus的dao单元测试: 1.单元测试直接上代码   package com.dengliang.zeus.webdemo.test; import org.junit.Test; import o
  • C语言学习三printf函数和scanf函数学习 dcj3sjt126com cprintfscanflanguage
    printf函数 /* 2013年3月10日20:42:32 地点：北京潘家园 功能： 目的： 测试%x %X %#x %#X的用法 */ # include <stdio.h> int main(void) { printf("哈哈！\n"); // \n表示换行 int i = 10; printf
  • 那你为什么小时候不好好读书? dcj3sjt126com life
    dady, 我今天捡到了十块钱, 不过我还给那个人了 good girl! 那个人有没有和你讲thank you啊 没有啦....他拉我的耳朵我才把钱还给他的, 他哪里会和我讲thank you   爸爸, 如果地上有一张5块一张10块你拿哪一张呢.... 当然是拿十块的咯... 爸爸你很笨的, 你不会两张都拿   爸爸为什么上个月那个人来跟你讨钱, 你告诉他没
  • iptables开放端口 Fanyucai linuxiptables端口
    1，找到配置文件 vi /etc/sysconfig/iptables   2，添加端口开放，增加一行，开放18081端口 -A INPUT -m state --state NEW -m tcp -p tcp --dport 18081 -j ACCEPT   3，保存 ESC :wq!   4，重启服务 service iptables
  • Ehcache（05）——缓存的查询 234390216 排序ehcache统计query
    缓存的查询 目录 1.    使Cache可查询 1.1     基于Xml配置 1.2     基于代码的配置 2     指定可搜索的属性 2.1     可查询属性类型 2.2 &
  • 通过hashset找到数组中重复的元素 jackyrong hashset
      如何在hashset中快速找到重复的元素呢?方法很多，下面是其中一个办法： int[] array = {1,1,2,3,4,5,6,7,8,8}; Set<Integer> set = new HashSet<Integer>(); for(int i = 0
  • 使用ajax和window.history.pushState无刷新改变页面内容和地址栏URL lanrikey history
    后退时关闭当前页面 <script type="text/javascript"> jQuery(document).ready(function ($) {         if (window.history && window.history.pushState) {
  • 应用程序的通信成本 netkiller.github.com 虚拟机应用服务器陈景峰netkillerneo
    应用程序的通信成本 什么是通信 一个程序中两个以上功能相互传递信号或数据叫做通信。 什么是成本 这是是指时间成本与空间成本。 时间就是传递数据所花费的时间。空间是指传递过程耗费容量大小。 都有哪些通信方式 全局变量 线程间通信 共享内存 共享文件 管道 Socket 硬件（串口，USB） 等等 全局变量 全局变量是成本最低通信方法，通过设置
  • 一维数组与二维数组的声明与定义 恋洁e生 二维数组一维数组定义声明初始化
    /**  *  */ package test20111005; /**  * @author FlyingFire  * @date:2011-11-18 上午04:33:36  * @author ：代码整理  * @introduce :一维数组与二维数组的初始化  *summary：  */ public c
  • Spring Mybatis独立事务配置 toknowme mybatis
    在项目中有很多地方会使用到独立事务，下面以获取主键为例   （1）修改配置文件spring-mybatis.xml  <!-- 开启事务支持 -->  <tx:annotation-driven transaction-manager="transactionManager" />   &n
  • 更新Anadroid SDK Tooks之后，Eclipse提示No update were found xp9802 eclipse
    使用Android SDK Manager 更新了Anadroid SDK Tooks 之后， 打开eclipse提示 This Android SDK requires Android Developer Toolkit version 23.0.0 or above, 点击Check for Updates  检测一会后提示 No update were found 
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他