张文斌_2020
张文斌_2020

好玩的大数据之10：Hadoop Shell

一、Hadoop Shell简介

改编自：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

Hadoop Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

二、Hadoop Shell命令列表

Hadoop FS Shell命令列表

                        为方便文本复制，再来一遍文本版本得

                            cat    chgrp    chmod    chown    copyFromLocal

                            copyToLocal    cp    du    dus    expunge

                            get    getmerge    ls    lsr    mkdir

                            movefromLocal    mv    put    rm    rmr

                            setrep    stat    tail    test    ext

                            touchz

三、实验数据准备

        为了对这些命令进行试验，先做一些准备工作,由于terminal对中文显示支持的不好，所以建议使用英文文本作为例子，可以到http://www.chinadaily.com.cn/摘取几段英文文本，做几个英文的文本文件。

    目录创建

                hadoop fs -mkdir -p /fs-test/news

                hadoop fs -mkdir -p /fs-test/words

    文件准备

                news01.txt

                news02.txt

                news03.txt

                words01.txt

                words02.txt

                words03.txt

         将这几个文件放入到hdfs中

                hadoop fs -put news*.txt /fs-test/news

                hadoop fs -put news*.txt /fs-test/words

         展示/fs-test及其子目录

                hadoop fs -ls -R /fs-test

四、Hadoop FS Shell例子

1 cat

        使用方法：hadoop fs -cat URI [URI …]

        将路径指定文件的内容输出到stdout。

        示例：

                hadoop fs -cat hdfs://master:9000/fs-test/news/news01.txt hdfs://master:9000/fs-test/words/words01.txt

                hadoop fs -cat /fs-test/news/news01.txt /fs-test/words/words01.txt

                hadoop fs -cat file:///home/hadoop/share/news/news01.txt

2 chgrp

        使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]

        改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

3 chmod

        使用方法：hadoop fs -chmod [-R] URI [URI …]

        改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

        示例：

                hadoop fs -chmod  -R 777 hdfs://master:9000/fs-test/news/news01.txt

chmod

4 chown

        使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

        改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

5 copyFromLocal

        使用方法：hadoop fs -copyFromLocal URI

        除了限定源路径是一个本地文件外，和put命令相似。

        示例：

        hadoop fs -ls /fs-test/news

        hadoop fs -rm hdfs://master:9000/fs-test/news/news01.txt

        hadoop fs -ls /fs-test/news

        hadoop fs -copyFromLocal file:///home/hadoop/share/news/news01.txt hdfs://master:9000/fs-test/news

        hadoop fs -ls /fs-test/news

copyFromLocal

6 cp

        使用方法：hadoop fs -cp URI [URI …]

        将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

        示例：

            hadoop fs -ls /fs-test/news

            hadoop fs -rm hdfs://master:9000/fs-test/news/*

            hadoop fs -ls /fs-test/news

            hadoop fs -cp file:///home/hadoop/share/news/news01.txt hdfs://master:9000/fs-test/news

            hadoop fs -cp file:///home/hadoop/share/news/news01.txt  file:///home/hadoop/share/news/news02.txt file:///home/hadoop/share/news/news03.txt hdfs://master:9000/fs-test/news

            hadoop fs -ls /fs-test/news

cp

7 du

        使用方法：hadoop fs -du URI [URI …]

        显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。

        示例：

                hadoop fs -du file:///home/hadoop/share hdfs://master:9000/fs-test

du

8 dus（ 废弃，推荐使用-du -s ）

        使用方法：hadoop fs -dus  

        显示文件的大小。

        示例：

                hadoop fs -dus file:///home/hadoop/share hdfs://master:9000/fs-test

                hadoop fs -du -s file:///home/hadoop/share hdfs://master:9000/fs-test

dus

9 expunge

        使用方法：hadoop fs -expunge

        清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。

10 get

        使用方法：hadoop fs -get [-ignorecrc] [-crc]

        复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

        示例：

                mkdir /home/hadoop/share/tmp

                hadoop fs -get hdfs://master:9000/user/hadoop/fs-test/news/*  /home/hadoop/share/tmp

                ls /home/hadoop/share/tmp

get

11 getmerge

        使用方法：hadoop fs -getmerge [addnl]

        接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。

        示例：

12 ls

        使用方法：hadoop fs -ls

        如果是文件，则按照如下格式返回文件信息：

                文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

        如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：

                目录名

修改日期 修改时间 权限 用户ID 组ID

        示例：

                hadoop fs -ls hdfs://master:9000/fs-test/news

                hadoop fs -ls -R hdfs://master:9000/fs-test

ls

13 lsr( 废弃，推荐使用ls -R)

        使用方法：hadoop fs -lsr

        ls命令的递归版本。类似于Unix中的ls -R。

        示例：

                hadoop fs -lsr hdfs://master:9000/fs-test

                hadoop fs -ls -R hdfs://master:9000/fs-test

lsr

14 mkdir

        使用方法：hadoop fs -mkdir

        接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

        示例：

                hadoop fs -mkdir hdfs://master:9000/fs-test/t1 hdfs://master:9000/fs-test/t2

mkdir

15 movefromLocal

        使用方法：dfs -moveFromLocal

16 mv

        使用方法：hadoop fs -mv URI [URI …]

        将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

        示例：

                hadoop fs -ls hdfs://master:9000/fs-test/t1

                hadoop fs -mv hdfs://master:9000/fs-test/news/news01.txt hdfs://master:9000/fs-test/t1

                hadoop fs -mv /fs-test/news/news02.txt /fs-test/news/news03.txt /fs-test/t1

                hadoop fs -ls hdfs://master:9000/fs-test/t1

                hadoop fs -ls hdfs://master:9000/fs-test/news

                hadoop fs -mv /fs-test/t1/* /fs-test/news

                hadoop fs -ls hdfs://master:9000/fs-test/t1

                hadoop fs -ls hdfs://master:9000/fs-test/news

mv

17 put

        使用方法：hadoop fs -put ...

        从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

        示例：

                 hadoop fs -rm hdfs://master:9000/fs-test/t1/*

                hadoop fs -put  /home/hadoop/share/news/* hdfs://master:9000/fs-test/t1

                hadoop fs -ls hdfs://master:9000/fs-test/t1

                hadoop fs -put - hdfs://master:9000/fs-test/t1/stdio.txt

                            从标准输入中读取输入。CTRL+D结束输入

                hadoop fs -ls hdfs://master:9000/fs-test/t1

                hadoop fs -cat hdfs://master:9000/fs-test/t1/stdio.txt


18 rm

        使用方法：hadoop fs -rm URI [URI …]

        删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。

        示例：

                hadoop fs -rm hdfs://master:9000/fs-test/t1/*

19 rmr（已废弃，推荐使用-rm -r）

        使用方法：hadoop fs -rmr URI [URI …]

        delete的递归版本。

        示例：

                hadoop fs -rm hdfs://master:9000/fs-test/t1

                hadoop fs -rm -r hdfs://master:9000/fs-test/t1

20 setrep

        使用方法：hadoop fs -setrep [-R]

        改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

        示例：

                hadoop fs -setrep -w 3 -R hdfs://master:9000/fs-test/news/news01.txt

21 stat

        使用方法：hadoop fs -stat URI [URI …]

        返回指定路径的统计信息。

        示例：

            hadoop fs -stat hdfs://master:9000/fs-test/news/news01.txt

22 tail

        使用方法：hadoop fs -tail [-f] URI

        将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

        示例：

                hadoop fs -tail hdfs://master:9000/fs-test/news/news01.txt

23 test

        使用方法：hadoop fs -test -[ezd] URI

        选项：

                -e 检查文件是否存在。如果存在则返回0。

                -z 检查文件是否是0字节。如果是则返回0。

                -d 如果路径是个目录，则返回1，否则返回0。

        示例：

                hadoop fs -test -e hdfs://master:9000/fs-test/news/news01.txt

24 text

        使用方法：hadoop fs -text

        将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

25 touchz

        使用方法：hadoop fs -touchz URI [URI …]

        创建一个0字节的空文件。

            hadoop fs -touchz hdfs://master:9000/fs-test/t2/zero.txt

            hadoop fs -ls hdfs://master:9000/fs-test/t2/zero.txt

你可能感兴趣的:(好玩的大数据之10：Hadoop Shell)

  • RDD 算子全面解析：从基础到进阶与面试要点 天冬忘忧 Sparkspark大数据
    Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交：本地与集群模式全解析-CSDN博客SparkonYARN：Spark集群模式之Yarn模式的原理、搭建与实践-CSDN博客Spark中RDD的诞生：原理、操作与分区规则-CSDN博客Spar
  • Java虚拟机组成 全干攻城狮12138 jvmjava开发语言jvm
    1.组成部分字节码文件类加载器ClassLoader运行时数据区域（JVM管理的内存）执行引擎（即时编译器、解释器、垃圾回收器等）本地接口（调用本地已经编译的方法，比如虚拟机中提供的c/c++方法）2.字节码文件组成基础信息：魔数、字节码文件对应的Java版本号、访问标识（publicfinal等）、父类和接口魔数：由于文件后缀名可以改，因此无法通过后缀名判断文件类型，所以通过文件头(前几个字节)
  • 系统架构设计师-系统架构设计基础知识 全干攻城狮12138 系统架构设计师系统架构
    目录软件架构概念软件架构设计与生命周期1.需求分析阶段2.设计阶段3.实现阶段4.构件组装阶段5.部署阶段6.后开发阶段一.软件架构概念软件架构是系统的结构化表述，它定义了系统构件、它们的外部属性及相互关系。它是软件开发的高层设计蓝图，用于指导软件的详细设计与构建，同时帮助评估和优化系统的功能与非功能需求。软件架构和软件体系结构（下文提到）是同一个意思，只是翻译上的区别而已二.软件架构设计与生命周
  • 嵌入式知识点总结 Linux驱动 (四)-中断-软硬中断-上下半部-中断响应 7yewh 【嵌入式知识点总结】linuxmcustm32物联网嵌入式硬件驱动开发硬件工程
    针对于嵌入式软件杂乱的知识点总结起来，提供给读者学习复习对下述内容的强化。目录1.硬中断，软中断是什么？有什么区别？2.中断为什么要区分上半部和下半部？3.中断下半部一般如何实现？4.linux中断的响应执行流程？中断的申请何时执行（何时执行中断处理函数）？1.硬中断，软中断是什么？有什么区别？硬中断：由硬件设备触发，响应时间要求非常快，通常用于紧急事件的处理。软中断：由软件（操作系统）触发，通常
  • 【数论】Acwing质数与约数 九年义务漏网鲨鱼 算法python算法数论质数约数
    质数质数的判定（试除法）除了开方的数，其他因数都是成对出现的defis_prime(x):if(x<2)returnFalseforiinrange(2,int(x/i)+1):if(x%iW==0):returnFalsereturnTrue分解质因数defdivide(x):foriinrange(2,int(x/i)+1):if(x%i==0):s=0while(x%i==0):x//=is
  • 数论（三）——约数（约数个数，约数和，公约数） DearLife丶 #数学知识算法gcd约数欧几里德算法
    目录试除法求约数求约数个数约数之和欧几里得算法试除法求约数试除法求一个数的所有约数，思路与判断质数的思路一样，优化的方法也是一样的，这里就不再赘述，没有看过我之前关于质数的博客可以点这里。从小到大枚举所有约数，但是我们只需要枚举每一对儿中较小的一个就可以了。时间复杂度：O(sqrt(n))vectorget_divisors(intn){vectorres;//vector数组存储一个数的所有约数
  • blackbox_exporter部署 XMYX-0 prometheus监控linuxweb安全系统安全
    文章目录简单介绍环境软件包下载CSDN官网部署解压blackbox.yml启动配置为系统服务blackbox_exporter.service启动Grafana监控配置prometheus.yml修改prometheus监控&插件方案总结简单介绍BlackboxExporter是一个用于监控外部服务和网络端点可达性的开源工具，它是由Prometheus社区维护的一个官方Exporter。Black
  • 计算机系统基础答案第四章,计算机系统基础 -- 第四章 (程序的链接) 马福报 计算机系统基础答案第四章
    计算机系统基础--第四章(程序的链接)什么是程序的链接?将gcc生成的若干个.0文件为后缀的,vc输出为.obj为后缀的可重定位目标文件组合起来,生成一个可执行目标文件程序链接的好处:1,模块化(可分成不同模块全部编译成.o文件后链接即可运行.而不仅仅是只有一个.c文件,对于大工程来说清晰划分)2,效率高(由于可以使多个文件同时编写,多个模块同时修改,因此这样提升了效率)在链接先进行编译和汇编,在
  • python制作日历_Python如何绘制日历图和热力图 weixin_39692847 python制作日历
    本文以2019年全国各城市的空气质量观测数据为例，利用matplotlib、calmap、pyecharts绘制日历图和热力图。在绘图之前先利用pandas对空气质量数据进行处理。数据处理从网站下载的数据为逐小时数据，每天一个文件。如果要绘制全年的日历图或者热图，首先要将所有的数据进行合并处理。下载好数据之后，将数据解压到当前目录的2019文件夹内，然后处理数据：importglobfromdat
  • 解决Docker国内网络问题 小Hier docker容器运维
    6月后以来，大量Docker镜像网站停服，Docker无法下载安装本仓库致力于解决国内网络原因无法使用Docker的问题。特点：使用GithubAction将官网的安装脚本/安装包定时下载到本项目Release，供国内使用官方安装包，安全可靠每天自动定时同步，保证最新github链接还有一个是转存docker镜像DockerTarBuilder一个视频解决Docker安装,Pull,找镜像等难题D
  • 公司的税收日期的确定(OBCK) SAP小V S4HANAFinanceSAPS4HANAFinanceFICO财务
    本文主要介绍在S4HANAOP中S4HANA公司的税收日期的确定(OBCK)相关设置。具体请参照如下内容：如果税率是基于日期的，那么以上配置点用来确定基于什么日期来确定最终使用的税率。如果勾选，则代表以“凭证日期”作为税率确定的日期如果不勾选，则代表以“过账日期”为税率确定的日期
  • SAP关于成本的概念-差异的计算方法-实际成本计算方法 saplakes #SAP_FICOSAP实际成本FICOCO管理会计生产订单
    一、成本的概念标准成本=标准价格*标准数量+作业价格*标准数量计划成本=计划价格*计划数量+作业价格*计划数量实际成本=实际价格*实际数量+作业价格*实际数量目标成本=标准价格*实际数量+作业价格*实际数量注意在SAP中目标成本，是根据生产订单中产品成本评估时的价格，乘以生产订单完工入库量，乘以BOM用量的结果。计划成本，为生产订单计划生产量，乘BOM用量，乘计划生产变式中定义的价格。计划成本，即
  • Python 中的 `selectors`：构建高效的 I/O 复用程序 蜗牛沐雨 pythonjava开发语言
    在现代编程中，高效地处理I/O操作是构建高性能应用程序的关键。无论是网络服务器、多任务文件处理还是实时数据流处理，都需要一种机制来同时监控多个I/O源，并在它们准备好时高效地处理数据。Python的selectors模块正是为了解决这一问题而设计的。它提供了一种高级的I/O复用接口，使得开发者可以轻松地实现高效的并发程序。一、什么是I/O复用？在多任务程序中，我们经常需要同时处理多个I/O操作，例
  • 异或哈希. 我爱游戏啊啊啊啊啊啊 算法哈希算法算法数据结构
    异或哈希的底层原理是两个相同的东西哈希值一定相等Description:小B是一个辛勤的农民，他家里种了一棵很大的苹果树。这棵苹果树可以看作一张n个点n-1条边的无向连通图，小B觉得这颗苹果树很脆弱，因为只要剪断任意一条边，苹果树就不连通了，于是他给苹果树新加了m条边。现在这颗苹果树就不像是一棵树了，成了一张n个点n+m-1条边的无向连通图，小Q是小B的好朋友，他觉得这棵树依然很脆弱，他告诉小B，
  • 深入理解 Python 中的 `@classmethod` 和 `@staticmethod` 装饰器 蜗牛沐雨 Pythonpython开发语言
    在Python的面向对象编程中，装饰器为我们提供了灵活的函数和方法定义方式。其中，@classmethod和@staticmethod是两个常用的装饰器，它们的主要作用是改变方法的调用方式，使方法能够在类的层面上使用，而不是依赖具体的实例。什么是@classmethod？@classmethod是Python的内置装饰器，用于将一个方法标记为类方法。类方法的第一个参数通常命名为cls，代表类本身。
  • 深入理解 `mmap`：高效的文件访问机制 蜗牛沐雨 c++python
    在现代编程中，文件操作是不可或缺的一部分。随着数据量的增加，如何高效地读取和写入文件变得尤为重要。mmap（Memory-MappedFile）是一种高效的文件访问机制，它允许将文件或设备映射到进程的地址空间中，使得文件操作就像操作内存一样简单和高效。本文将详细介绍mmap的工作原理、使用方法及其在Python和C语言中的实现。1.mmap的用途mmap的主要用途包括：高效文件访问：通过将文件映射
  • 基于粒子群算法的电力系统无功优化研究(IEEE14节点)（Matlab代码实现） 科研_G.E.M. 算法matlab开发语言
    欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录⛳️赠与读者1概述一、引言二、粒子群算法简介三、无功优化数学模型四、IEEE14节点系统简介五、基于粒子群算法的无功优化实现六、仿真结果与分析七、结论与展望2运行结果3参考文献4Matlab代码实现⛳️赠与读者‍做科研，涉及到一个深在的思想系统，需要科研者逻辑缜密，踏
  • linux-centos安装Mysql5.7 就一个码农 linuxcentosadb
    文章目录一、下载包和前期配置1.下载外部商店wget2.下载mysql的yum仓库文件包3.用来检查依赖关系；并不是真正的安装4.测试是否有MySQL包5.配置MySQLGPG密钥6.安装MySql二、MySql服务相关1.开机自启动mysql2.开启mysql服务3.关闭mysql服务4.查看mysql服务状态5.重启mysql服务三.密码配置1.默认密码2.进行登录3.密码修改注意1.开启33
  • 每日一道算法题-零钱兑换 qq_43191817 大数据
    给你一个整数数组coins，表示不同面额的硬币；以及一个整数amount，表示总金额。计算并返回可以凑成总金额所需的最少的硬币个数。如果没有任何一种硬币组合能组成总金额，返回-1。你可以认为每种硬币的数量是无限的。示例1：输入：coins=[1,2,5],amount=11输出：3解释：11=5+5+1示例2：输入：coins=[2],amount=3输出：-1示例3：输入：coins=[1],a
  • linux线程池的实现-线程的单例模式(懒汉饿汉模式) Chen chen chen
    线程池:一个或多个线程+任务队列;为什么要有线程池:一个程序起来以后立即启动了很多线程然后取处理任务,如果每来一个请求都创建一个线程线程占资源,如果一瞬间来了很多请求会把资源耗尽程序奔溃了应用场景:(1)启动线程处理任务请求,若同一时间因为大量请求创建大量线程有可能导致资源耗尽程序奔溃(需要限制上限)(2)创建线程(t1)+t2(处理任务时间)+t3销毁线程=总花费时间tt1+t3/t线程创建销毁
  • Prometheus 监控服务端口、网站状态等（黑盒监测） 寰宇001 监控/自动化工具
    1、blackbox_exporter介绍blackbox_exporter是Prometheus官方提供的exporter之一，可以提供http、dns、tcp、icmp的监控数据采集。blackbox_exporter应用场景：HTTP测试：定义RequestHeader信息，判断Httpstatus/HttpResponesHeader/HttpBody内容TCP测试：业务组件端口状态监听，
  • 展锐平台的camera sensor驱动代码设计解析（2） 悲伤的小强 展锐android
    展锐平台的camerasensor驱动代码设计解析（1）展锐平台的camerasensor驱动代码设计解析（2）展锐平台的camerasensor驱动代码设计解析（3）Camera驱动的基本配置及文件路径说明驱动的配置在路径：\device\sprd\platform\board\camera\sensor_config.xml驱动代码的路径在：\vendor\sprd\modules\libca
  • 展锐平台的camera sensor驱动代码设计解析（3） 悲伤的小强 展锐android
    展锐平台的camerasensor驱动代码设计解析（1）展锐平台的camerasensor驱动代码设计解析（2）展锐平台的camerasensor驱动代码设计解析（3）Camera驱动的基本配置及文件路径说明驱动的配置在路径：\device\sprd\platform\board\camera\sensor_config.xml驱动代码的路径在：\vendor\sprd\modules\libca
  • 掌握 Python 网络爬虫技术：从基础入门到高级实践（附带爬虫案例） 一ge科研小菜鸡 Python编程语言python
    个人主页：一ge科研小菜鸡-CSDN博客期待您的关注网络爬虫是自动访问网站并抓取网页数据的程序。Python凭借其丰富的库和易于使用的特性，成为开发网络爬虫的首选语言。本文将详细介绍如何使用Python进行网络爬虫开发，包括基本概念、主要工具、数据解析和高级爬取技术，并提供一个完整的实践案例。1.网络爬虫概述1.1什么是网络爬虫？网络爬虫（WebCrawler）是指用于访问和抓取网页内容的自动化脚
  • 【数据库初阶】表的查询语句和聚合函数 有趣的中国人 数据库初阶数据库聚合函数增删改查
    博主首页：有趣的中国人专栏首页：数据库初阶其它专栏：C++初阶|C++进阶|初阶数据结构亲爱的小伙伴们，大家好！在这篇文章中，我们将深入浅出地为大家讲解表的查询语句和聚合函数帮助您轻松入门，快速掌握核心概念。如果文章对您有所启发或帮助，请别忘了点赞、收藏、留言支持！您的每一份鼓励，都是我持续创作的源动力。让我们携手前行，共同进步！文章目录@[toc]1.SELECT基本用法‍1.1基础语法‍‍1.
  • 利用MATLAB实现多重分形维数计算：理论解析与实战指南 m0_57781768 matlab人工智能算法
    利用MATLAB实现多重分形维数计算：理论解析与实战指南引言多重分形（Multifractal）理论作为现代复杂系统分析的重要工具，广泛应用于物理学、地球科学、生物医学、金融工程等多个领域。其通过分析数据的多重分形维数，可以揭示出系统内在的复杂性和不均匀性。本文将详细介绍多重分形的基础理论，并结合MATLAB实现多重分形维数的计算，提供详尽的代码示例和数据处理指南，以便于读者在实际工作中应用。多重
  • 笔记（二）——vector容器基础理论知识 眉挑烟火 C++STL学习笔记c++STLC
    vector容器优点：可以随机存取元素。可以在尾部高效添加和移除元素。一、vector容器的对象构造方法vector采用模板类实现默认构造例如vectorvecT；#include#includeusingnamespacestd;intmain(){intarr[]={0,1,2,3,4};vectorvecInt;//建立一个存放int的vector容器vectorvecFloat;//建立一
  • 深度神经网络（DNN）详解 古龙飞扬 dnn人工智能神经网络
    深度神经网络（DNN，DeepNeuralNetwork）是人工智能领域中的一种重要模型，它通过模拟人脑神经网络的结构和工作原理，实现了对复杂数据的处理和决策。以下是对深度神经网络（DNN）的超详细解析：一、DNN的基本概念DNN是一种具有多个隐藏层的神经网络模型，其核心在于其深度，即包含多个隐藏层。这些隐藏层通过非线性变换，使得模型能够捕捉到数据中的复杂关系和模式。DNN通常由输入层、隐藏层和输
  • Azure AI-102 认证全攻略: (三十四)基本提示工程与 API 指南 海棠AI实验室 AI-102认证考试全攻略深度学习azuremicrosoftAI-102
    基本提示工程与API指南（修订版）本指南将详细介绍如何在AzureAIStudio中配置和使用AzureOpenAI服务，从创建和管理AIHub，到部署GPT-3.5Turbo及其他大语言模型（LLM），再到通过PromptEngineering优化交互体验。此外，我们将探讨API调用的最佳实践、安全合规要点，以及如何进行成本管理与常见问题排查。通过这些步骤，您可以在实际业务场景中快速上手并发挥模
  • 基于架构的软件开发方法 light900 架构
    （1）基于体系结构的设计方法(absd）：是由体系结构驱动的，即指由构成体系结构的商业、质量和功能需求的组合驱动的。absd方法有3个基础：第1基础是功能的分解，第2基础是通过选择体系结构风格来实现质量和商业需求。第3基础是软件模板的使用。ABSD模型把整个软件过程划分为：架构需求、设计、文档化、复审、实现、演化架构需求：需求是指用户对目标软件系统在功能、行为、性能、设计约束等方面的期望。架构需求
  • apache ftpserver-CentOS config gengzg apache
    <server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
  • 优化MySQL数据库性能的八种方法 AILIKES sqlmysql
    1、选取最适用的字段属性 　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的 性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
  • JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
    JeeSite 企业信息化快速开发平台 平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
  • 通过Spring Mail Api发送邮件 120153216 邮件main
    原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。 【Spring Mail API】 Spring Mail API都在org.spri
  • Pysvn 程序员使用指南 2002wmj SVN
    源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
  • 在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
    SELECT  R.session_id AS BlockedSessionID ,          S.session_id AS BlockingSessionID ,          Q1.text AS Block
  • Intent 常用的用法备忘 7454103 .netandroidGoogleBlogF#
    Intent     应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料 。都指定好后，只要调用startActivity()，Android系统 会自动寻找最符合你指定要求的应用 程序，并执行该程序。 下面列出几种Intent 的用法 显示网页:
  • Spring定时器时间配置 adminjun spring时间配置定时器
    红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
  • POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
    来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。 思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。 代码： #include <iostream> #include <cstdio>
  • 重构笔记——提取方法（Extract Method） ayaoxinchao java重构提炼函数局部变量提取方法
    提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。   下面是我学习这个重构手法的笔记：   提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
  • 为UILabel添加点击事件 bewithme UILabel
        默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。   UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
  • NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis数据库NoSQL
    一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
  • SecureCRT使用备注 bingyingao secureCRT每页行数
    SecureCRT日志和卷屏行数设置 一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
  • 【Scala九】Scala核心三：泛型 bit1129 scala
    泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
  • 素数与音乐 bookjovi 素数数学haskell
        由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。     闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
  • Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
            这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。         简单的说，IdentityHashMap和HashM
  • 读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
  • PS人像润饰&调色教程集锦 cherishLC PS
      1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/   新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。   所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
  • 更新多个字段的UPDATE语句 crabdave update
    更新多个字段的UPDATE语句                    update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
  • hive实例讲解实现in和not in子句 daizj hivenot inin
    本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
  • 一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
    这是人类算24点的方法？！！！ 事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态 朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。 然后么。。。我就在深夜很得瑟的问室友求室友算 刚出完题，文哥的暴走之旅开始了 5秒后
  • 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yiiframework
    在使用 YIi的路径管理工具时，发现了一个问题。                    <?php         
  • 对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
    概述   “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。   “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
  • 学习编程那点事 gcq511120594 编程互联网
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • Reverse Linked List II hcx2013 list
    Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return 
  • Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Hadoop集群工具distcp liyonghui160com
        1. 环境描述 两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
  • 一个备份MySQL数据库的简单Shell脚本 pda158 mysql脚本
    　　主脚本（用于备份mysql数据库）： 　　该Shell脚本可以自动备份 数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。 　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
  • 300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
    A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
  • thrift总结 - 跨语言服务开发 uule thrift
    官网 官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍   RPC    POM： <dependency> <groupId>org.apache.thrift</groupId>
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他