LannisterWF
LannisterWF

ARM平台搭建Hadoop集群

/*

Hadoop是Apache旗下主流的大数据计算和存储框架之一，在近年来应用的越来越广泛。常规意义上的Hadoop集群都是搭建在商业服务器上的，利用大规模柜式服务器的强劲硬件资源进行大数据分布式计算。同时Hadoop是由Java编写的，运行在JVM之上。而Java是跨平台的，可以“run everywhere”，这就给在ARM平台上搭建Hadoop集群带来了希望。事实上，已经有多家大厂和个人爱好者做出了此类尝试，Cubieboard制作出了一个相当漂亮的8节点Hadoop集群（http://cubieboard.org/2013/08/01/hadoophigh-availability-distributed-object-oriented-platform-on-cubieboard/）。由于实际项目需求，我在64位ARM平台上搭建出了一个三节点的Hadoop集群。比算力当然比不过商业服务器，只作为一次有趣的尝试。

*/

0. 硬件资源和软件版本介绍

此案例中选用的嵌入式开发板型号是Firefly-RK3399，官网的产品介绍可点击http://www.t-firefly.com/product/rk3399.html。

硬件资源：

– Firefly-RK3399×3，6 核，2GHz主频，4GB DDR3 RAM，120G eMMC

– 散热风扇×3，用来超频后的散热

– HDMI 线×1，显示屏x1

– 4口路由器，修改设置当成交换机用，用来给3块开发板联网

– 网线×3

软件版本：

– 操作系统：Ubuntu16.04

– Java 环境：jdk for ARM 8u172

– Hadoop 2.7.6


1. 准备工作

1.1 配置本地hosts

规定集群一共有三台设备，一台主机和两台从机。主节点的主机名改成Master，两个从节点分别改成Slave1和Slave2。IP地址从192.168.1.50依次往后排到192.168.1.52（IP地址可以自定义）。若再增加一个从机，则继续添加slave节点。注意在每个设备上都要进行以下操作。

#进入hosts文件

sudo gedit /etc/hosts

#将以下内容添加到文本中：

192.168.1.50    Master

192.168.1.51    Slave1

192.168.1.52    Slave2

1.2 更改本机IP地址

在主机上执行以下操作，这里的网关和dns都是192.168.1.1，因为我最终连入互联网的那个路由器是192.168.1.1。若实际情况不同可作出相应修改。

#修改配置文件

sudo gedit /etc/network/interfaces

#在文本末尾添加以下内容：

auto eth0             

iface eth0 inet static     

address 192.168.1.50     

netmask 255.255.255.0    

gateway 192.168.1.1   

dns-nameservers 192.168.1.1

#重启网络，使配置生效

sudo /etc/init.d/networkin restart

然后在各个从机上也按规定更改为对应的ip地址

使用ping指令在Master主机中进行测试，使用类似指令在Slave上测试，确保两两之间一定可以ping通。

ping -c4 Slave1

ping -c4 Slave2

1.3 更改主机名

为更直观的区分每个节点，修改每个设备的主机名。进入以下文件中

sudo gedit /etc/hostname

把原来的主机名删除

然后添加各自的主机名

Master 或者Slave1或者Slave2


2. 设置ssh免密码登录

因为Hadoop各个节点之间的管理通信使用的是ssh，所以要求主节点必须能够ssh免密登录到所有从节点。下面配置root用户下的ssh免密登录，所有操作都是在root权限下。

2.1 修改sshd_config配置

gedit/etc/ssh/sshd_config

#在文件中添加：

RSAAuthentication yes

PubkeyAuthentication yes

#然后把PermitRootLogin prohibit改成

PermitRootLogin yes

#重启ssh服务：

sudo /etc/init.d/ssh restart

2.2 生成key

ssh-keygen -t rsa

一直回车，/root就会生成.ssh文件夹。

2.3 合并公钥到authorized_keys文件

cd /root/.ssh

cat id_rsa.pub >> authorized_keys

这时就能在本机免密码登录。

ssh localhost

2.4 在从机上进行1、2、3步实现本机免密码登录

2.5 拷贝key

#把Master的authorized_keys、known_hosts、id_rsa.pub通过ssh复制到Slave1和Slave2的/root/.ssh目录。

scp authorized_keys known_hosts id_rsa.pub root@Slave1:/root/.ssh

scp authorized_keys known_hosts id_rsa.pub root@Slave2:/root/.ssh

2.6 完成之后在主机上重启ssh服务后即可免密码登录

service ssh restart

2.7 检证免密登陆

ssh Slave1

ssh Slave2

至此，免密登录的工作已经完成


3. 安装Hadoop

3.1 将安装包下载到Master上，/usr/local/目录下，解压

tar -zxvf hadoop-2.7.6.tar.gz

3.2 将解压出来的文件夹改名为hadoop

       mv hadoop-2.7.6 hadoop

3.3 在/usr/local/hadoop目录下创建数据存放的文件夹tmp

mkdir tmp

3.4 配置core-site.xml

此文件是Hadoop的核心文件

gedit/usr/local/hadoop/etc/hadoop/core-site.xml


ARM平台搭建Hadoop集群_第1张图片

3.5 配置hdfs-site.xml

此配置文件设置hdfs的一些属性。dfs.namenode.secondary.http-address是主节点的IP地址和端口号；dfs.replication是备份系数，指每个block在hadoop集群中有几份，系数越高，冗余性越好，但是占用存储也越多，默认为3，可以设置为和从节点数相同；dfs.namenode.name.dir和dfs.datanode.data.dir规定了主节点保存整个文件系统的文件目录树的目录。dfs.socket.timeout是hdfs的读写超时时间限制。

gedit/usr/local/hadoop/etc/hadoop/hdfs-site.xml


ARM平台搭建Hadoop集群_第2张图片

3.6 配置mapred-site.xml

这是规定MapReduce计算属性的文件。mapreduce.framework.name规定采用yarn资源管理器进行分布式计算时的资源调度；下面两个属性与历史任务查看有关。

gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml


ARM平台搭建Hadoop集群_第3张图片

3.7 配置yarn-site.xml

gedit/usr/local/hadoop/etc/hadoop/yarn-site.xml


ARM平台搭建Hadoop集群_第4张图片

此文件规定了yarn调度器的一些参数。yarn.resourcemanager.hostname写主节点（namenode）的主机名；yarn.nodemanager.resource.memory-mb是分布式集群分配给yarn的最大内存空间，单位是MB，此参数要按照集群的具体情况设置，本集群三个设备内存均是4GB，酌情分配2/3左右，此值必须大于1024，否则影响进程。

3.8 配置Hadoop环境属性

修改/usr/local/hadoop/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了：

export JAVA_HOME=/usr/local/java

3.9 配置slaves

    gedit /usr/local/hadoop/etc/hadoop/slaves

删除默认的localhost，增加从节点:

Slave1

Slave2

注意：若再增加一个从机，再继续添加slave主机名

3.10 配置环境变量：

gedit~/.bashrc

添加：

#HADOOP

exportHADOOP_HOME=/usr/local/Hadoop

exportPATH=$PATH: /usr/local/hadoop/bin:/usr/local/hadoop/sbin

使配置生效：

source~/.bashrc

3.11 传送Hadoop至其它节点

(从机不需下载安装包，由主机传送过去即可，环境变量从机要配置)

将配置好的Hadoop复制到各个节点对应位置上，通过scp传送：

scp -r/usr/local/hadoop root@Slave1:/usr/local/

scp -r/usr/local/hadoop root@Slave2:/usr/local/

3.12 启动Hadoop

在Master服务器启动hadoop，从节点会自动启动。

进入/usr/local/hadoop目录，初始化，输入命令：

（格式化只能在搭hadoop的时候在主机初始化一次，后来添加的从节点只能在slave上自己启动，不能进行格式化）：

bin/hdfsnamenode -format

（1）在主机上全部启动：

sbin/start-all.sh

（2）添加从节点的时候在从机上自己启动：

/usr/local/hadoop/sbin/hadoop-daemon.shstart datanode

/usr/local/hadoop/sbin/yarn-daemon.shstart nodemanager

3.13 验证Hadoop

1.jps运行成功结果：


ARM平台搭建Hadoop集群_第5张图片

2.测试Web访问：

http://Master:50070/


致谢

安装过程中参考了

https://yq.aliyun.com/ziliao/60550

https://blog.csdn.net/laohuang1122/article/details/9953083

等多篇文章，以及来自项目组小伙伴的指导，感谢他们的付出！


Hear me roar!

你可能感兴趣的:(ARM平台搭建Hadoop集群)

  • 【分布式日志篇】从工具选型到实战部署：全面解析日志采集与管理路径 网罗开发 人工智能实战java集springboot人工智能分布式
    网罗开发（小红书、快手、视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
  • Microchip 系列：SAM D 系列 (基于 ARM Cortex-M0+)_5.SAM D系列外设功能详解 kkchenkx 单片机开发arm开发单片机嵌入式硬件
    5.1通用输入输出(GPIO)功能详解5.1.1GPIO基本概念通用输入输出(GPIO)是单片机中非常基础且重要的外设功能之一。GPIO通常用于控制外部设备或从外部设备读取数据。在SAMD系列中，GPIO通过特定的寄存器和配置来实现。每个GPIO引脚都可以配置为输入或输出模式，并且可以设置不同的中断和触发条件。5.1.2GPIO寄存器和配置SAMD系列的GPIO控制主要通过以下寄存器实现：DIRS
  • 鸿蒙操作系统的安全架构 荔枝寄 harmonyos安全架构华为
    在当今数字化时代，数据安全与隐私保护成为人们日益关注的焦点。随着智能设备的普及和互联网技术的发展，个人数据泄露的风险也在不断增加。作为中国自主研发的操作系统，鸿蒙（HarmonyOS）从设计之初就将数据安全与隐私保护置于核心地位。鸿蒙操作系统不仅为用户提供了一个高效、流畅的用户体验，还通过一系列的安全机制来确保用户的数据安全与隐私。鸿蒙操作系统的安全架构鸿蒙操作系统采用了分层式安全架构，其安全模型
  • Flask --（2）Flask 框架的诞生 feiyy404 flask
    Flask诞生于2010年，是Arminronacher（人名）用Python语言基于Werkzeug工具箱编写的轻量级Web开发框架。Flask本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask-Login），都需要用第三方的扩展来实现。比如可以用Flask-extension加入ORM、窗体验证工具，文件上传、身份验证等。Flask没有默认使用
  • 嵌入式基础篇--了解和搭建开发环境 雯宝 microsoft
    文章目录1.开发环境搭建2.LinuxC编程入门3.ARMV7和ARMV8架构4.ARM汇编5.BSP工程管理1.开发环境搭建1.虚拟机Vmware的安装：在PC主机下安装Linux系统，方便切换windows和Linux系统2.在虚拟机Vmware中安装Ubuntu操作系统：便于基于Linux系统的开发3.Ubuntu交叉编译工具链安装4.SourceInsight安装：用于在Windows下代
  • 完整版 Cortex-M3与Cortex-M4权威指南 管彩嫒Zachary
    完整版Cortex-M3与Cortex-M4权威指南【下载地址】完整版Cortex-M3与Cortex-M4权威指南本资源文件提供了关于ARMCortex-M3与Cortex-M4处理器的完整指南，内容涵盖了从基础知识到高级应用的各个方面。无论你是嵌入式系统开发的新手，还是有经验的工程师，这份指南都能为你提供宝贵的参考和指导项目地址:https://gitcode.com/open-source-
  • ARM Cortex-M3与Cortex-M4权威指南 胡妃意
    ARMCortex-M3与Cortex-M4权威指南【下载地址】ARMCortex-M3与Cortex-M4权威指南ARMCortex-M3与Cortex-M4权威指南欢迎阅读《ARMCortex-M3与Cortex-M4权威指南（第3版）》，这是一本针对嵌入式系统开发者量身打造的深度学习手册项目地址:https://gitcode.com/Open-source-documentation-tu
  • 【AI日志分析】基于机器学习的异常检测：告别传统规则的智能进阶 网罗开发 AI大模型人工智能机器学习
    网罗开发（小红书、快手、视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
  • python打印对角线相连的菱形 米酒馆 PYTHONpython开发语言
    【开发该软件的操作系统】：windows10【软件开发环境/开发工具】：PyCharm【编程语言】：Python【开发目的】：这是老师布置的作业啦~供初学者参考学习【开发者】：江西农业大学2020级大二学生代码实现：输入菱形边长，打印对角线相连的菱形。代码如下：#打印对角线相连的菱形n=int(input('请输入菱形每边星星个数，n='))m=t=2*n-1#双重赋值,m和t为行数whilem>
  • 主流IDE大横评：总有一款适合你 陳沉辰陈 资源分享ide
    写给每一位在IDE选择上犯难的开发者：新手和老鸟都值得一看！还记得我刚开始学编程时，面对众多IDE的选择真是头疼不已。VSCode？IDEA？Eclipse？PyCharm？选择太多反而让人无从下手。如果你也有同样的困扰，那么这篇文章正是为你准备的！咱们一起来看看这些"神兵利器"各有什么独到之处吧！文中只列举了部分主流的IDE，一定会有疏漏。此外，科技发展日新月异，更多更好的编译器正在路上，欢迎补
  • android+ffmpeg库使用教程,适用于Android的ffmpeg（使用教程：“ ffmpeg和Android.mk”）... OF COURSE想当然
    我正在尝试为Android编译ffmpeg。我已经找到了关于该主题的几篇文章，但似乎都没有。如果尝试构建ffmpeg，它会发布在[1]上。是否有人使用这些教程成功编译了ffmpeg？我不确定如何实现步骤4到5。STEP4：配置...步骤5：CD到您的NDK根目录，键入makeTARGET_ARCH=armAPP=ffmpeg-org在我看来，按照第5步的教程中的说明构建类似的应用程序需要一些先前的
  • 鸿蒙UI主线程任务调度原理介绍及最佳实践 harmonyos
    课程简介本课程是【HarmonyOSTechTalk】的第18课。本次交流重点围绕鸿蒙UI展开。其中，主线程在整个应用的任务处理中占据关键地位，其任务调度机制更是核心要点。开发者可通过子线程向主线程抛任务的方式，有效避免主线程阻塞，提升整体性能。而状态驱动UI更新则是一种推荐的高效模式，它依据应用状态的变化精准触发UI刷新，避免不必要的更新操作。深入理解并运用鸿蒙UI主线程任务调度机制，开发者能够
  • ArkUI原生页面滑动性能分析优化实践 harmonyos
    课程简介本课程是【HarmonyOSTechTalk】的第20课。本次交流核心为ArkUI原生页面的滑动性能相关内容。从HarmonyOS渲染原理切入，这是理解页面呈现与滑动效果的根基。深入剖析应用滑动性能问题的分析思路，为开发者提供排查问题的有效方法。详细阐述针对典型性能问题的优化手段，涵盖代码优化、资源管理等多方面。开发者通过此次交流，能够精准把握ArkUI原生页面滑动性能的关键要点，提升性能
  • HarmonyOS Next Developer Beta5 8月尝鲜版版本说明 harmonyos
    课程简介本课程是【HarmonyOSTechTalk】的第13课。本次主要围绕HarmonyOSNEXT的DeveloperBeta5-8月尝鲜版展开介绍。HarmonyOSNEXT代表着鸿蒙系统的未来发展方向，此次的DeveloperBeta5版本尤为值得关注。版本配套涵盖了一系列的开发工具和文档，为开发者提供全面支持。新增特性方面，可能会有新的功能模块或技术优化，为系统带来新的活力。变更特性则
  • DevEcoStudio性能工具集介绍 harmonyos
    课程简介本课程是【HarmonyOSTechTalk】的第15课。本次交流聚焦于IDE性能工具集这一关键开发辅助资源。该工具集涵盖多方面重要功能，性能检测可精准定位应用运行中可能存在的效率瓶颈与问题所在；性能分析则深入挖掘问题根源，剖析各类性能数据背后的关联与原因；而性能指导依据专业知识与经验提供最佳解决方案。开发者借助这一强大的IDE性能工具集，能在鸿蒙应用开发过程中显著提升性能优化分析效率，有
  • 问题调试定位法宝箱及动态启停/采样抓栈方案 harmonyos
    课程简介本课程是【HarmonyOSTechTalk】的第16课。本次围绕HarmonyOS应用开发展开。着重介绍其关键的调试工具及高效定位问题的方法。其中，调试工具涵盖堆栈异常解析，可依据常见异常格式深入剖析问题根源。通用日志与离线日志过滤能力有助于精准筛选有用信息，配合应用沙箱访问与智能检测功能，全方位辅助开发。DFX维测领域的抓栈和trace能力同样重要，明确其启用方式、规格以及解读方法，能
  • 帮助应用实现免密身份认证的移动端能力 harmonyos
    课程简介本课程是【HarmonyOS主题课：HarmonyOSSDK开放能力】的第17课。本课程致力于帮助应用实现免密身份认证的移动端能力。深入探讨FIDO、IIFAA、SOTER等核心技术标准，详细解析FIDO免密身份认证的原理与流程，让开发者理解其强大的安全与便捷性。全面剖析IIFAA免密身份认证的特色优势与应用场景，以及SOTER所提供的独特保障机制。通过理论讲解、案例分析与实践操作指导，开
  • 帮助应用打造场景化语音服务 harmonyos
    课程简介本课程是【HarmonyOS主题课：HarmonyOSSDK开放能力】的第18课。本课程专注于助力应用构建场景化语音服务。深入介绍SpeechKit及其重要组件，如朗读控件可将文本转化为自然流畅的语音输出，为用户提供有声阅读体验；AI字幕控件（AICaption）能精准识别语音并生成实时字幕，在视频播放、直播等场景大显身手。详细阐述其广泛的适用场景，包括教育学习辅助、无障碍信息传播等领域。
  • 帮助应用实现更好的推广下载能力 harmonyos
    课程简介本课程是【HarmonyOS主题课：HarmonyOSSDK开放能力】的第14课。本课程旨在助力应用实现卓越的推广下载能力。全面深入讲解应用市场相关要点，包括应用市场推荐机制与更新功能的深度解析，让开发者了解如何提升应用曝光与更新效率。详细阐述展示应用详情页以促进下载安装目标应用的有效策略，以及查询广告验签版本的关键步骤。同时教授获取模块安装信息与添加按需加载模块的实用技术，使开发者能够优
  • 帮助应用实现实时语音与文本的相互转换 harmonyos
    课程简介本课程是【HarmonyOS主题课：HarmonyOSSDK开放能力】的第10课。本课程专为助力应用实现实时语音与文本相互转换而设。课程将深入讲解CoreSpeechKit这一基础语音服务，详细阐述其语音识别（SpeechRecognizer）能力，使开发者能精准掌握语音转文本的技术要点与应用方式。同时全面剖析文本转语音（TextToSpeech）功能，包括其原理、参数设置及优化策略。通过
  • 构建灵活高效的消息推送能力 harmonyos
    课程简介本课程是【HarmonyOS主题课：HarmonyOSSDK开放能力】的第3课。本课程聚焦于构建灵活高效的消息推送能力。首先引导开发者认识并开通推送服务，为后续推送工作奠定基础。深入讲解推送通知消息，让开发者掌握其有效应用。详细解析推送卡片刷新消息与推送通知扩展消息，助力拓展推送功能的多样性与深度。同时，对推送实况窗消息进行剖析，使开发者能充分利用这一形式增强信息传递效果。通过本课程学习，
  • 让您的应用快速拥有账号能力 harmonyos
    课程简介本课程是【HarmonyOS主题课：HarmonyOSSDK开放能力】的第21课。本课程旨在帮助开发者快速集成账号功能到应用中，通过使用华为的AccountKit（华为账号服务）。AccountKit提供了一键登录功能，允许用户通过华为账号快速登录，简化了登录流程，提升了用户体验。课程主要内容和亮点：登录功能、获取用户信息、未成年人模式、样本代码和实践。通过本课程的学习，开发者将能够为应用
  • 组件嵌套的基本原则 荔枝寄 harmonyos
    鸿蒙操作系统（HarmonyOS）是由华为技术有限公司开发的分布式操作系统，旨在为各种设备提供统一的操作平台。鸿蒙系统引入了ArkUI框架，它是一种用于构建用户界面的声明式UI语言。在鸿蒙应用开发中，掌握ArkUI组件嵌套是开发者必须具备的一项技能，因为它直接影响到应用程序的布局设计和用户体验。鸿蒙与ArkUI鸿蒙操作系统的诞生是为了应对日益增长的物联网需求，它支持多种终端设备，如智能手机、平板电
  • ArkTS（Ark TypeScript） 荔枝寄 typescriptjavascript前端
    在现代编程语言的丰富生态系统中，循环结构是构建复杂逻辑和处理重复任务不可或缺的一部分。鸿蒙操作系统（HarmonyOS），作为一款面向未来的分布式操作系统，引入了ArkTS（ArkTypeScript）作为其主要的开发语言之一。ArkTS是一种基于TypeScript的静态类型语言，它不仅继承了TypeScript的所有特性，还特别针对HarmonyOS进行了优化，以满足高性能和跨设备开发的需求。
  • 驱动程序的优化与调试 荔枝寄 harmonyos
    鸿蒙操作系统（HarmonyOS）是由华为公司自主开发的一款面向全场景的分布式操作系统。鸿蒙驱动开发作为系统级开发的一部分，其目标是为硬件设备提供与Linux内核兼容的驱动程序，确保设备能够高效地与操作系统进行交互。本文将深入探讨鸿蒙驱动开发的核心概念、开发流程以及实际应用中的代码示例，旨在为读者提供一个全面的技术指南。鸿蒙操作系统的背景鸿蒙操作系统的设计初衷是为了应对未来物联网时代的挑战，它不仅
  • 鸿蒙系统用什么开发应用？ 109702008 编程harmonyos华为人工智能
    鸿蒙系统（HarmonyOS）是华为技术有限公司开发的一款分布式操作系统，旨在实现跨设备的无缝协同和高效运行。在应用开发方面，鸿蒙系统提供了多种编程语言的支持，以满足不同开发者的需求。以下是一些常用的鸿蒙系统应用开发语言：Java：Java是一种广泛使用的编程语言，特别在移动应用开发领域。鸿蒙系统支持Java开发，这使得安卓开发者可以快速上手。Java拥有优秀的跨平台能力和丰富的API库，涵盖了网
  • pycharm无法创建python file_pycharm无法导入本地模块的解决方式 weixin_39873356 file
    最近学习python的django，需要导入本地的view模块，参考一些别人导入包的方法importsyssys.path.append('C:\\Users\\hhua\\Desktop')#括号中的内容为A所在的目录importA.Demo1#不能加.py否则会报错(错误为没有这个文件A.Demo1.py)但是不论用相对路径导入还是绝对路径导入，运行都会出错，但是我又用命令行试了一遍，发现命令
  • PyCharm 2024 终端打开失败问题 DawnDongZ Windowspycharmpython
    PyCharm2024终端打开失败问题PyCharm2024终端问题问题解决方法PyCharm2024终端问题问题在PyCharm2024版本，打开本地命令行终端时异常提示CannotopenCommandPrompt，参考其他类似情况文章处理，切换软件终端为PowerShell再次启动打开同样报错解决方法调整PyCharm终端仿真配置在菜单栏目点击帮助-->查找操作在弹出窗口中输入注册表，进入注
  • python字符串函数 忠言睿长 Python地信GISpython
    对于月份不足两位补零操作如下：strYearMonth=str(year)+str(month).zfill(2)#不足两位补充0生成字符串变量str='pythonStringfunction'字符串长度获取：len(str)例：print'%slength=%d'%(str,len(str))连接字符串sStr1='strcat'sStr2='append'sStr1+=sStr2prints
  • ARM Cortex-M4 CPU指令大全：作用、原理与实例 TheJustice_ ARM微机原理arm开发
    引言在计算机系统中，CPU（中央处理器）是执行各种指令的核心部件。ARMCortex-M4是广泛应用于嵌入式系统中的一款处理器，其指令集架构（ISA）基于ARMv7-M。本文将介绍ARMCortex-M4处理器中的常见指令，包括它们的作用、工作原理，并通过具体例子帮助理解。1.数据传输指令1.1MOV作用：将数据从一个位置传输到另一个位置。原理：MOV指令复制数据，不改变数据源，只是在目标位置存储
  • web报表工具FineReport常见的数据集报错错误代码和解释 老A不折腾 web报表finereport代码可视化工具
    在使用finereport制作报表，若预览发生错误，很多朋友便手忙脚乱不知所措了，其实没什么，只要看懂报错代码和含义，可以很快的排除错误，这里我就分享一下finereport的数据集报错错误代码和解释，如果有说的不准确的地方，也请各位小伙伴纠正一下。   NS-war-remote=错误代码\:1117 压缩部署不支持远程设计 NS_LayerReport_MultiDs=错误代码
  • Java的WeakReference与WeakHashMap bylijinnan java弱引用
    首先看看 WeakReference wiki 上 Weak reference 的一个例子： public class ReferenceTest { public static void main(String[] args) throws InterruptedException { WeakReference r = new Wea
  • Linux——（hostname）主机名与ip的映射 eksliang linuxhostname
    一、 什么是主机名 无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。但IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。域名类型 linuxsir.org 这样的； 主机名是用于什么的呢？ 答：在一个局域网中，每台机器都有一个主
  • oracle 常用技巧 18289753290
    oracle常用技巧 ①复制表结构和数据   create table  temp_clientloginUser as   select distinct userid from tbusrtloginlog ②仅复制数据 如果表结构一样 insert into  mytable  select  * &nb
  • 使用c3p0数据库连接池时出现com.mchange.v2.resourcepool.TimeoutException 酷的飞上天空 exception
    有一个线上环境使用的是c3p0数据库，为外部提供接口服务。最近访问压力增大后台tomcat的日志里面频繁出现 com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.v2.resourcepool.BasicResou
  • IT系统分析师如何学习大数据 蓝儿唯美 大数据
    我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢？学习大数据的最佳方法就是先从了解信息系统是如何工作着手，尤其是数据库和基础设施。同样在开始前还需要了解大数据工具，如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。系 统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能
  • spring学习——简介 a-john spring
    Spring是一个开源框架，是为了解决企业应用开发的复杂性而创建的。Spring使用基本的JavaBean来完成以前只能由EJB完成的事情。然而Spring的用途不仅限于服务器端的开发，从简单性，可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。其主要特征是依赖注入、AOP、持久化、事务、SpringMVC以及Acegi Security 为了降低Java开发的复杂性，
  • 自定义颜色的xml文件 aijuans xml
    <?xml version="1.0" encoding="utf-8"?> <resources> <color name="white">#FFFFFF</color> <color name="black">#000000</color> &
  • 运营到底是做什么的？ aoyouzi 运营到底是做什么的？
    文章来源：夏叔叔（微信号：woshixiashushu），欢迎大家关注！很久没有动笔写点东西，近些日子，由于爱狗团产品上线，不断面试，经常会被问道一个问题。问：爱狗团的运营主要做什么？答：带着用户一起嗨。为什么是带着用户玩起来呢？究竟什么是运营？运营到底是做什么的？那么，我们先来回答一个更简单的问题——互联网公司对运营考核什么？以爱狗团为例，绝大部分的移动互联网公司，对运营部门的考核分为三块——用
  • js面向对象类和对象 百合不是茶 js面向对象函数创建类和对象
    接触js已经有几个月了,但是对js的面向对象的一些概念根本就是模糊的,js是一种面向对象的语言 但又不像java一样有class,js不是严格的面向对象语言 ,js在java web开发的地位和java不相上下  ,其中web的数据的反馈现在主流的使用json,json的语法和js的类和属性的创建相似   下面介绍一些js的类和对象的创建的技术   一:类和对
  • web.xml之资源管理对象配置 resource-env-ref bijian1013 javaweb.xmlservlet
    resource-env-ref元素来指定对管理对象的servlet引用的声明，该对象与servlet环境中的资源相关联 <resource-env-ref> <resource-env-ref-name>资源名</resource-env-ref-name> <resource-env-ref-type>查找资源时返回的资源类
  • Create a composite component with a custom namespace sunjing
    https://weblogs.java.net/blog/mriem/archive/2013/11/22/jsf-tip-45-create-composite-component-custom-namespace   When you developed a composite component the namespace you would be seeing would
  • 【MongoDB学习笔记十二】Mongo副本集服务器角色之Arbiter bit1129 mongodb
     一、复本集为什么要加入Arbiter这个角色 回答这个问题，要从复本集的存活条件和Aribter服务器的特性两方面来说。 什么是Artiber？ An arbiter does not have a copy of data set and cannot become a primary. Replica sets may have arbiters to add a
  • Javascript开发笔记 白糖_ JavaScript
    获取iframe内的元素 通常我们使用window.frames["frameId"].document.getElementById("divId").innerHTML这样的形式来获取iframe内的元素，这种写法在IE、safari、chrome下都是通过的，唯独在fireforx下不通过。其实jquery的contents方法提供了对if
  • Web浏览器Chrome打开一段时间后，运行alert无效 bozch Webchormealert无效
    今天在开发的时候，突然间发现alert在chrome浏览器就没法弹出了，很是怪异。 试了试其他浏览器，发现都是没有问题的。 开始想以为是chorme浏览器有啥机制导致的，就开始尝试各种代码让alert出来。尝试结果是仍然没有显示出来。 这样开发的结果，如果客户在使用的时候没有提示，那会带来致命的体验。哎，没啥办法了 就关闭浏览器重启。   结果就好了，这也太怪异了。难道是cho
  • 编程之美-高效地安排会议 图着色问题 贪心算法 bylijinnan 编程之美
    import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Random; public class GraphColoringProblem { /**编程之美 高效地安排会议 图着色问题 贪心算法 * 假设要用很多个教室对一组
  • 机器学习相关概念和开发工具 chenbowen00 算法matlab机器学习
    基本概念： 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 开发工具 M
  • [宇宙经济学]关于在太空建立永久定居点的可能性 comsci 经济
           大家都知道,地球上的房地产都比较昂贵,而且土地证经常会因为新的政府的意志而变幻文本格式........        所以,在地球议会尚不具有在太空行使法律和权力的力量之前,我们外太阳系统的友好联盟可以考虑在地月系的某些引力平衡点上面,修建规模较大的定居点
  • oracle 11g database control 证书错误 daizj oracle证书错误oracle 11G 安装
    oracle 11g database control 证书错误  win7 安装完oracle11后打开 Database control 后，会打开em管理页面，提示证书错误，点“继续浏览此网站”，还是会继续停留在证书错误页面 解决办法： 是 KB2661254 这个更新补丁引起的，它限制了 RSA 密钥位长度少于 1024 位的证书的使用。具体可以看微软官方公告：
  • Java I/O之用FilenameFilter实现根据文件扩展名删除文件 游其是你 FilenameFilter
    在Java中，你可以通过实现FilenameFilter类并重写accept(File dir, String name) 方法实现文件过滤功能。 在这个例子中，我们向你展示在“c:\\folder”路径下列出所有“.txt”格式的文件并删除。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
  • C语言数组的简单以及一维数组的简单排序算法示例，二维数组简单示例 dcj3sjt126com carray
    # include <stdio.h> int main(void) { int a[5] = {1, 2, 3, 4, 5}; //a 是数组的名字 5是表示数组元素的个数，并且这五个元素分别用a[0], a[1]...a[4] int i; for (i=0; i<5; ++i) printf("%d\n",
  • PRIMARY, INDEX, UNIQUE 这3种是一类 PRIMARY 主键。 就是 唯一 且 不能为空。 INDEX 索引，普通的 UNIQUE 唯一索引 dcj3sjt126com primary
    PRIMARY, INDEX, UNIQUE 这3种是一类PRIMARY 主键。 就是 唯一 且 不能为空。INDEX 索引，普通的UNIQUE 唯一索引。 不允许有重复。FULLTEXT 是全文索引，用于在一篇文章中，检索文本信息的。举个例子来说，比如你在为某商场做一个会员卡的系统。这个系统有一个会员表有下列字段：会员编号   INT会员姓名  
  • java集合辅助类 Collections、Arrays shuizhaosi888 CollectionsArraysHashCode
      Arrays、Collections   1 ）数组集合之间转换 public static <T> List<T> asList(T... a) { return new ArrayList<>(a); }      a）Arrays.asL
  • Spring Security（10）——退出登录logout 234390216 logoutSpring Security退出登录logout-urlLogoutFilter
           要实现退出登录的功能我们需要在http元素下定义logout元素，这样Spring Security将自动为我们添加用于处理退出登录的过滤器LogoutFilter到FilterChain。当我们指定了http元素的auto-config属性为true时logout定义是会自动配置的，此时我们默认退出登录的URL为“/j_spring_secu
  • 透过源码学前端 之 Backbone 三 Model 逐行分析JS源代码 backbone源码分析js学习
    Backbone 分析第三部分  Model 概述： Model 提供了数据存储，将数据以JSON的形式保存在 Model的 attributes里， 但重点功能在于其提供了一套功能强大，使用简单的存、取、删、改数据方法，并在不同的操作里加了相应的监听事件， 如每次修改添加里都会触发 change，这在据模型变动来修改视图时很常用，并且与collection建立了关联。
  • SpringMVC源码总结（七）mvc:annotation-driven中的HttpMessageConverter 乒乓狂魔 springMVC
    这一篇文章主要介绍下HttpMessageConverter整个注册过程包含自定义的HttpMessageConverter，然后对一些HttpMessageConverter进行具体介绍。 HttpMessageConverter接口介绍： public interface HttpMessageConverter<T> { /** * Indicate
  • 分布式基础知识和算法理论 bluky999 算法zookeeper分布式一致性哈希paxos
      分布式基础知识和算法理论 BY [email protected] 本文永久链接：http://nodex.iteye.com/blog/2103218   在大数据的背景下，不管是做存储，做搜索，做数据分析，或者做产品或服务本身，面向互联网和移动互联网用户，已经不可避免地要面对分布式环境。笔者在此收录一些分布式相关的基础知识和算法理论介绍，在完善自我知识体系的同
  • Android Studio的.gitignore以及gitignore无效的解决 bell0901 androidgitignore
    　　github上.gitignore模板合集，里面有各种.gitignore ： https://github.com/github/gitignore 　　自己用的Android Studio下项目的.gitignore文件，对github上的android.gitignore添加了 　　　　　　# OSX files　　　　　　//mac os下　　　　　　.DS_Store
  • 成为高级程序员的10个步骤 tomcat_oracle 编程
    What 软件工程师的职业生涯要历经以下几个阶段：初级、中级，最后才是高级。这篇文章主要是讲如何通过 10 个步骤助你成为一名高级软件工程师。   Why 得到更多的报酬！因为你的薪水会随着你水平的提高而增加 提升你的职业生涯。成为了高级软件工程师之后，就可以朝着架构师、团队负责人、CTO 等职位前进 历经更大的挑战。随着你的成长，各种影响力也会提高。
  • mongdb在linux下的安装 xtuhcy mongodblinux
    一、查询linux版本号： lsb_release -a  LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noa
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他