- 【计算机网络知识 之 OSI七层模型及tcp/ip模型】
皮卡丘的blue
计算机网络知识tcp/ip网络网络协议
文章目录前言OSI七层模型TCP/IP协议族数据封装、解封装过程每一层的数据格式设备与层的对应关系各层间的通信总结前言环境准备:linux操作系统VMwareWorkstation16.xCentos7OSI七层模型国际标准化组织(InternationalStandardOrganization,ISO),于1984年颁布了开放系统互联(OpenSystemInterconnection,OSI
- Linux(Centos 7.6)命令详解:tac
豆是浪个
linuxcentos运维
1.命令作用将每个文件写入标准输出,最后一行先写(WriteeachFILEtostandardoutput,lastlinefirst);以相反的顺序显示文件内容,逐行输出,与cat命令功能相反,tac是反向读取文件。2.命令语法Usage:tac[OPTION]...[FILE]...3.参数详解OPTION:-b,--befores,将分隔符附加在之前而不是之后-r,--regex,将分隔符
- spark任务运行
冰火同学
Sparkspark大数据分布式
运行环境在这里插入代码片[root@hadoop000conf]#java-versionjavaversion"1.8.0_144"Java(TM)SERuntimeEnvironment(build1.8.0_144-b01)[root@hadoop000conf]#echo$JAVA_HOME/home/hadoop/app/jdk1.8.0_144[root@hadoop000conf]#
- no matching cipher found问题一次解决经历
一张假钞
linux
- Hadoop 的分布式缓存机制是如何实现的?如何在大规模集群中优化缓存性能?
晚夜微雨问海棠呀
分布式hadoop缓存
Hadoop的分布式缓存机制是一种用于在MapReduce任务中高效分发和访问文件的机制。通过分布式缓存,用户可以将小文件(如配置文件、字典文件等)分发到各个计算节点,从而提高任务的执行效率。分布式缓存的工作原理文件上传:用户将需要缓存的文件上传到HDFS(HadoopDistributedFileSystem)。文件路径可以在作业配置中指定。作业提交:在提交MapReduce作业时,用户可以通过
- 集群与分片:深入理解及应用实践
一休哥助手
架构系统架构
目录引言什么是集群?集群的定义集群的类型什么是分片?分片的定义分片的类型集群与分片的关系集群的应用场景负载均衡高可用性分片的应用场景大数据处理数据库分片集群与分片的架构设计系统架构设计数据存储设计案例分析Hadoop集群Elasticsearch分片性能优化策略集群性能优化分片性能优化挑战和解决方案总结参考资料引言在现代计算系统中,处理大规模数据和提高系统的可靠性已经成为了基础需求。集群和分片是两
- pg数据库客户端linux,Linux CentOS 7安装PostgreSQL9.3图文教程
晗小呆
pg数据库客户端linux
如题,本篇blog记录一下在LinuxCentOS7中安装PostgresSQL的整个过程以及数据库配置等,在Linux系统中,PostgreSQL的安装方式分两种,分别是:1、二进制安装包安装2、源码编译安装由于我们没有什么特殊需求所在在此选择较为简单的方式——二进制安装包安装,二进制包安装的方法一般都是通过不同发行版本的Linux下的包管理器进行的,例如Debian和Ubuntu下是使用apt
- hive spark读取hive hbase外表报错分析和解决
spring208208
hivehivesparkhbase
问题现象使用Sparkshell操作hive关联Hbase的外表导致报错;hive使用tez引擎操作关联Hbase的外表时报错。问题1:使用tez或spark引擎,在hive查询时只要关联hbase的hive表就会有问题其他表正常。“org.apache.hadoop.hbase.client.RetriesExhaustedException:Can’tgetthelocations”问题2:s
- CentOS7防火墙的配置及使用
love6a6
linux
首先介绍一下centos系统的网卡配置:sudovim/etc/sysconfig/network-scripts/ifcfg-eth0网卡获得ip地址的方式:Static(静态ip地址)dhcp(通过dhcp协议获取ip)bootip通过bootp协议获得的ip地址BROADCAST=192.168.0.255子网广播地址HWADDR=00:50:56:8E:47:EE网卡物理地址IPADDR=
- Centos7将/dev/mapper/centos-home磁盘空间转移到/dev/mapper/centos-root
AnnyYoung
笔记FAQcentoslinux运维
1、查看存储df-h文件系统容量已用可用已用%挂载点devtmpfs126G0126G0%/devtmpfs126G0126G0%/dev/shmtmpfs126G19M126G1%/runtmpfs126G0126G0%/sys/fs/cgroup/dev/mapper/centos-root50G45G5.4G90%//dev/sda21014M187M828M19%/boot/dev/sda
- 如何在Linux下安装screen
木凡007
当你使用SSH登录VPS下载大的文件,比如下载10G的文件,你总不能坐在电脑旁或者开机让它下载吧。当你编译源文件的时候,网络突然断开了,那是很糟的一件事情,因为有可能你重新编译的时候会失败,于是你只有重装系统的选择了。但Linux的screen命令能避免这些灾难。下面以Centos6.564位系统为例manscreen查看系统介绍Linuxscreen能做什么screen为多重视窗管理程序。此处所
- python版本升级
HiSiri~
pythonpython开发语言
python版本升级背景在对centos机器升级Python版本从3.6到3.10后,pip安装出现了一些问题[解决pipisconfiguredwithlocationsthatrequireTLS/SSL问题]操作下载在官方主站找到合适的版本,并下载https://www.python.org/ftp/python/wgethttps://www.python.org/ftp/python/3
- 最新 CentOS7 上使用 yum 安装 MySQL8 超详细教程
zp8126
linuxlinuxmysqljavapython
CentOS7使用yum安装MySQL8CentOS9上源码方式安装mysql8教程需要本文pdf文档,可以直接下载:链接:https://pan.quark.cn/s/df2ff3e10adf「Linux版本mysql8源码安装包」,点击链接即可保存。链接:https://pan.quark.cn/s/0941a31f719a「Linux教程详细笔记」,点击链接即可保存。链接:https://p
- Ubuntu下配置安装Hadoop 2.2
weixin_30501857
大数据java运维
---恢复内容开始---这两天玩Hadoop,之前在我的Mac上配置了好长时间都没成功的Hadoop环境,今天想在win7虚拟机下的Ubuntu12.0464位机下配置,然后再建一个组群看一看。参考资料:1.InstallingsinglenodeHadoop2.2.0onUbuntu:http://bigdatahandler.com/hadoop-hdfs/installing-single-
- CentOS服务器部署Redis远程访问问题
yinriyang
Redis服务器centosredis
CentOS服务器上部署Redis,无法远程访问该Redis。检查redis.conf:##################################NETWORK######################################Bydefault,ifno"bind"configurationdirectiveisspecified,Redislistens#forconnect
- Centos7安装Clickhouse单节点部署
lcz-2000
clickhouselinux服务器
部署流程1、关闭防火墙&沙盒关闭防火墙并关闭开机自启动systemctlstopfirewalld&&systemctldisablefirewalld查看selinux状态是否为disabled,否则修改[root@localhost~]#getenforceEnforcing修改为disabledvim/etc/selinux/config#修改SELINUX=disabled#重启生效reb
- centos报错:无法访问/mnt: 传输端点尚未连接
AnnyYoung
FAQ笔记centoslinux运维
背景执行ls报错:无法访问/mnt:传输端点尚未连接执行mount/dev/sdc1/mnt报错:FUSEexfat1.2.7WARN:volumewasnotunmountedcleanly.解决sudoumount-l/mnt重新挂载:mount/dev/sdc1/mnt
- centos 下nginx 单ip多站点多域名配置 二级域名
@明明不知道
linuxnginx多站点nginx多域名nginx二级域名centosnginxnginxconfig
假如有三个站点,site1.com,site2.com,site3.cn,需要二级域名配置在你的yourwwwsite目录下建立目录cn/site3/www(对应www.site3.cn\site3.cn)com/site1/bbs(对应bbs.site1.com)nginx.conf配置如下server{listen80;server_name*.site1.comsite1.com*.site
- Centos7.9更换yum源
daokunn
linux
centos系统的官方yum源太慢了,我们需要更换成国内的源,建议先备份手动更换查看当前已有的yum源ls/etc/yum.repos.d备份yum源cd/etc/yum.repos.dcpCentOS-Base.repoCentOS-Base.repo.bak更换新源wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/
- 2014 6月,比较老了
金金2019
AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php,awesome-python,awesome-ruby,hadoopecosystemtable&big-data.Yourcontributionsarealwayswelcome!Awes
- Hive服务启动 之 metastore配置 和 hiveserver2
龍浮影
hive
Hive服务启动之metastore服务配置和hiveserver2 配置hive的时候都需要配置hive-site.xml,配置过程中可以选择hive直连或者使用metastore服务间接连接,那么他们之间有什么区别呢? 首先贴直连配置代码:javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102:3306/metastore?useSSL=fal
- centos7 安装单机 ClickHouse
小码农叔叔
大数据clickhouse安装clickhouse单机安装clickhouse单节点安装安装单机clickhouse
前言ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告本篇首先介绍下如何基于centos7环境安装单机版的clickhouse官网:https://clickhouse.com/环境准备centos7环境(虚拟机或者云服务器)clickhouse基础安装包安装前置步
- centos7安装部署clickhouse数据库 小白详细教程
这是个错觉
clickhouse数据库
目录1.系统概述...21.1服务器环境概述...31.2操作系统...31.3数据库软件...32.数据库账户说明...32.1数据库账户...33.ClickHouse运行环境安装部署...43.1上传数据库软件包到服务器...43.2解压数据库软件包安装...53.3解压软件包并运行安装...53.4更改数据库数据目录...93.5修改日志文件位置...154.ClickHouse日常...
- ClickHouse集群搭建(CENTOS7环境)
huaxia2002
大数据常用框架入门
ClickHouse集群搭建(CENTOS7环境)1.rpm包下载下载的rpm包版本-rw-r--r--1rootroot1342545月2817:07clickhouse-client-20.3.9.70-2.noarch.rpm-rw-r--r--1rootroot1169243615月2817:07clickhouse-common-static-20.3.9.70-2.x86_64.rpm
- CentOS7 部署安装ClickHouse
zhua.er
ClickHouse数据库ClickHouse
一、什么是ClickHouseClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。OLAP场景需要在大型数据集上对具有以下特征的复杂分析查询进行实时响应:数据集可以是巨大的——数十亿或数万亿行数据组织在包含多列的表中只选择少数几列来回答任何特定的查询必须以毫秒或秒为
- 5. clickhouse 单节点多实例部署
Toroidals
大数据组件安装部署教程clickhouse单节点多实例伪分布安装部署
环境说明:主机名:cmc01为例操作系统:centos7安装部署软件版本部署方式centos7zookeeperzookeeper-3.4.10伪分布式hadoophadoop-3.1.3伪分布式hivehive-3.1.3-bin伪分布式clickhouse21.11.10.1-2单节点多实例dolphinscheduler3.0.0单节点kettlepdi-ce-9.3.0.0单节点sqoop
- 蓝易云 - HBase基础知识
蓝易云
hbase数据库大数据phppython人工智能
HBase是一个分布式、可伸缩、列式存储的NoSQL数据库,它建立在Hadoop的HDFS之上,提供高可靠性、高性能的数据存储和访问。以下是HBase的基础知识:数据模型:HBase以表的形式存储数据,每个表由行和列组成,可以动态添加列族。每行由唯一的行键标识,列族和列限定符(Qualifier)用于唯一标识列。架构:HBase采用分布式架构,数据被分散存储在多个RegionServer上,每个R
- Linux 下aria2 下载神器使用详解
我是唐青枫
Linuxlinux运维服务器
简介aria2是一个轻量级的多协议命令行下载实用工具。它支持各种协议,如HTTP,HTTPS,FTP,SFTP,BitTorrent和Metalink。它以使用多个连接同时从多个来源下载文件的能力而闻名,从而提高了下载速度。安装Debian/Ubuntusudoaptupdatesudoaptinstallaria2CentOS/RHELsudoyuminstallaria2Fedorasudod
- win10中mstsc远程Centos-Stream 9图形化界面
DA0221
linuxcentoslinux运维
文章目录1前置状态2安装配置XRDP3关闭SELinux3.1查看selinux状态3.2关闭selinux4启动XRDP5Win10远程连接测试1前置状态已安装CentOS9桌面版;Windows10。2安装配置XRDPsudoyuminstallepel-releasesudoyuminstallxrdpsudoyuminstalltigervnc-servervncpasswdroot#为r
- CentOS 7上安装Python 3的步骤如下
Sundayday47
pythoncentospythonlinux
CentOS7上安装Python3的步骤如下上传或下载Python3安装包#下载wgethttps://www.python.org/ftp/python/3.13.2/Python-3.13.2.tgz#安装tarzxvfPython-3.13.2.tgz安装依赖#安装依赖包yuminstall-yzlib-develbzip2-develncurses-develsqlite-develrea
- [黑洞与暗粒子]没有光的世界
comsci
无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算
但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界....
那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的
&nbs
- jQuery Lazy Load 图片延迟加载
aijuans
jquery
基于 jQuery 的图片延迟加载插件,在用户滚动页面到图片之后才进行加载。
对于有较多的图片的网页,使用图片延迟加载,能有效的提高页面加载速度。
版本:
jQuery v1.4.4+
jQuery Lazy Load v1.7.2
注意事项:
需要真正实现图片延迟加载,必须将真实图片地址写在 data-original 属性中。若 src
- 使用Jodd的优点
Kai_Ge
jodd
1. 简化和统一 controller ,抛弃 extends SimpleFormController ,统一使用 implements Controller 的方式。
2. 简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。
3. 对 bean 没有任何要求,可以使用任意的 bean 做为 formBean。
使用方法简介
- jpa Query转hibernate Query
120153216
Hibernate
public List<Map> getMapList(String hql,
Map map) {
org.hibernate.Query jpaQuery = entityManager.createQuery(hql);
if (null != map) {
for (String parameter : map.keySet()) {
jp
- Django_Python3添加MySQL/MariaDB支持
2002wmj
mariaDB
现状
首先,
[email protected] 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话,会发现 django.db.backends.mysql 依赖 MySQLdb[5] ,而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案
首先据MySQL文档[3]说,自从MySQL
- 在SQLSERVER中查找消耗IO最多的SQL
357029540
SQL Server
返回做IO数目最多的50条语句以及它们的执行计划。
select top 50
(total_logical_reads/execution_count) as avg_logical_reads,
(total_logical_writes/execution_count) as avg_logical_writes,
(tot
- spring UnChecked 异常 官方定义!
7454103
spring
如果你接触过spring的 事物管理!那么你必须明白 spring的 非捕获异常! 即 unchecked 异常! 因为 spring 默认这类异常事物自动回滚!!
public static boolean isCheckedException(Throwable ex)
{
return !(ex instanceof RuntimeExcep
- mongoDB 入门指南、示例
adminjun
javamongodb操作
一、准备工作
1、 下载mongoDB
下载地址:http://www.mongodb.org/downloads
选择合适你的版本
相关文档:http://www.mongodb.org/display/DOCS/Tutorial
2、 安装mongoDB
A、 不解压模式:
将下载下来的mongoDB-xxx.zip打开,找到bin目录,运行mongod.exe就可以启动服务,默
- CUDA 5 Release Candidate Now Available
aijuans
CUDA
The CUDA 5 Release Candidate is now available at http://developer.nvidia.com/<wbr></wbr>cuda/cuda-pre-production. Now applicable to a broader set of algorithms, CUDA 5 has advanced fe
- Essential Studio for WinRT网格控件测评
Axiba
JavaScripthtml5
Essential Studio for WinRT界面控件包含了商业平板应用程序开发中所需的所有控件,如市场上运行速度最快的grid 和chart、地图、RDL报表查看器、丰富的文本查看器及图表等等。同时,该控件还包含了一组独特的库,用于从WinRT应用程序中生成Excel、Word以及PDF格式的文件。此文将对其另外一个强大的控件——网格控件进行专门的测评详述。
网格控件功能
1、
- java 获取windows系统安装的证书或证书链
bewithme
windows
有时需要获取windows系统安装的证书或证书链,比如说你要通过证书来创建java的密钥库 。
有关证书链的解释可以查看此处 。
public static void main(String[] args) {
SunMSCAPI providerMSCAPI = new SunMSCAPI();
S
- NoSQL数据库之Redis数据库管理(set类型和zset类型)
bijian1013
redis数据库NoSQL
4.sets类型
Set是集合,它是string类型的无序集合。set是通过hash table实现的,添加、删除和查找的复杂度都是O(1)。对集合我们可以取并集、交集、差集。通过这些操作我们可以实现sns中的好友推荐和blog的tag功能。
sadd:向名称为key的set中添加元
- 异常捕获何时用Exception,何时用Throwable
bingyingao
用Exception的情况
try {
//可能发生空指针、数组溢出等异常
} catch (Exception e) {
 
- 【Kafka四】Kakfa伪分布式安装
bit1129
kafka
在http://bit1129.iteye.com/blog/2174791一文中,实现了单Kafka服务器的安装,在Kafka中,每个Kafka服务器称为一个broker。本文简单介绍下,在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤
Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样,不过比Zookeeper稍微简单些(不
- Project Euler
bookjovi
haskell
Project Euler是个数学问题求解网站,网站设计的很有意思,有很多problem,在未提交正确答案前不能查看problem的overview,也不能查看关于problem的discussion thread,只能看到现在problem已经被多少人解决了,人数越多往往代表问题越容易。
看看problem 1吧:
Add all the natural num
- Java-Collections Framework学习与总结-ArrayDeque
BrokenDreams
Collections
表、栈和队列是三种基本的数据结构,前面总结的ArrayList和LinkedList可以作为任意一种数据结构来使用,当然由于实现方式的不同,操作的效率也会不同。
这篇要看一下java.util.ArrayDeque。从命名上看
- 读《研磨设计模式》-代码笔记-装饰模式-Decorator
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
import java.io.BufferedOutputStream;
import java.io.DataOutputStream;
import java.io.FileOutputStream;
import java.io.Fi
- Maven学习(一)
chenyu19891124
Maven私服
学习一门技术和工具总得花费一段时间,5月底6月初自己学习了一些工具,maven+Hudson+nexus的搭建,对于maven以前只是听说,顺便再自己的电脑上搭建了一个maven环境,但是完全不了解maven这一强大的构建工具,还有ant也是一个构建工具,但ant就没有maven那么的简单方便,其实简单点说maven是一个运用命令行就能完成构建,测试,打包,发布一系列功
- [原创]JWFD工作流引擎设计----节点匹配搜索算法(用于初步解决条件异步汇聚问题) 补充
comsci
算法工作PHP搜索引擎嵌入式
本文主要介绍在JWFD工作流引擎设计中遇到的一个实际问题的解决方案,请参考我的博文"带条件选择的并行汇聚路由问题"中图例A2描述的情况(http://comsci.iteye.com/blog/339756),我现在把我对图例A2的一个解决方案公布出来,请大家多指点
节点匹配搜索算法(用于解决标准对称流程图条件汇聚点运行控制参数的算法)
需要解决的问题:已知分支
- Linux中用shell获取昨天、明天或多天前的日期
daizj
linuxshell上几年昨天获取上几个月
在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年
# 获取昨天
date -d 'yesterday' # 或 date -d 'last day'
# 获取明天
date -d 'tomorrow' # 或 date -d 'next day'
# 获取上个月
date -d 'last month'
#
- 我所理解的云计算
dongwei_6688
云计算
在刚开始接触到一个概念时,人们往往都会去探寻这个概念的含义,以达到对其有一个感性的认知,在Wikipedia上关于“云计算”是这么定义的,它说:
Cloud computing is a phrase used to describe a variety of computing co
- YII CMenu配置
dcj3sjt126com
yii
Adding id and class names to CMenu
We use the id and htmlOptions to accomplish this. Watch.
//in your view
$this->widget('zii.widgets.CMenu', array(
'id'=>'myMenu',
'items'=>$this-&g
- 设计模式之静态代理与动态代理
come_for_dream
设计模式
静态代理与动态代理
代理模式是java开发中用到的相对比较多的设计模式,其中的思想就是主业务和相关业务分离。所谓的代理设计就是指由一个代理主题来操作真实主题,真实主题执行具体的业务操作,而代理主题负责其他相关业务的处理。比如我们在进行删除操作的时候需要检验一下用户是否登陆,我们可以删除看成主业务,而把检验用户是否登陆看成其相关业务
- 【转】理解Javascript 系列
gcc2ge
JavaScript
理解Javascript_13_执行模型详解
摘要: 在《理解Javascript_12_执行模型浅析》一文中,我们初步的了解了执行上下文与作用域的概念,那么这一篇将深入分析执行上下文的构建过程,了解执行上下文、函数对象、作用域三者之间的关系。函数执行环境简单的代码:当调用say方法时,第一步是创建其执行环境,在创建执行环境的过程中,会按照定义的先后顺序完成一系列操作:1.首先会创建一个
- Subsets II
hcx2013
set
Given a collection of integers that might contain duplicates, nums, return all possible subsets.
Note:
Elements in a subset must be in non-descending order.
The solution set must not conta
- Spring4.1新特性——Spring缓存框架增强
jinnianshilongnian
spring4
目录
Spring4.1新特性——综述
Spring4.1新特性——Spring核心部分及其他
Spring4.1新特性——Spring缓存框架增强
Spring4.1新特性——异步调用和事件机制的异常处理
Spring4.1新特性——数据库集成测试脚本初始化
Spring4.1新特性——Spring MVC增强
Spring4.1新特性——页面自动化测试框架Spring MVC T
- shell嵌套expect执行命令
liyonghui160com
一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧.
系统:centos 5.x
1.先安装expect
yum -y install expect
2.脚本内容:
cat auto_svn.sh
#!/bin/bash
- Linux实用命令整理
pda158
linux
0. 基本命令 linux 基本命令整理
1. 压缩 解压 tar -zcvf a.tar.gz a #把a压缩成a.tar.gz tar -zxvf a.tar.gz #把a.tar.gz解压成a
2. vim小结 2.1 vim替换 :m,ns/word_1/word_2/gc  
- 独立开发人员通向成功的29个小贴士
shoothao
独立开发
概述:本文收集了关于独立开发人员通向成功需要注意的一些东西,对于具体的每个贴士的注解有兴趣的朋友可以查看下面标注的原文地址。
明白你从事独立开发的原因和目的。
保持坚持制定计划的好习惯。
万事开头难,第一份订单是关键。
培养多元化业务技能。
提供卓越的服务和品质。
谨小慎微。
营销是必备技能。
学会组织,有条理的工作才是最有效率的。
“独立
- JAVA中堆栈和内存分配原理
uule
java
1、栈、堆
1.寄存器:最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈:存放基本类型的变量数据和对象的引用,但对象本身不存放在栈中,而是存放在堆(new 出来的对象)或者常量池中(字符串常量对象存放在常量池中。)3. 堆:存放所有new出来的对象。4. 静态域:存放静态成员(static定义的)5. 常量池:存放字符串常量和基本类型常量(public static f