- 大数据笔记--Spark(第五篇)
是小先生
大数据08-Sparkspark
目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景,用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量2、计数器三、VSM算法1、什么是倒排索引表?2、什么是相似度的概念?3、什么是TF-IDF算法4、VSM算法Ⅰ、概念Ⅱ、算法原理Ⅲ、举例一、Spark的调优1、更改序列化为kryoSpark
- 大数据笔记(待续)
yangzex
笔记
mysql缓存技术数据库和缓存双写数据一致性问题常见的解决方案常见方案通常情况下,我们使用缓存的主要目的是为了提升查询的性能。大多数情况下,我们是这样使用缓存的:用户请求过来之后,先查缓存有没有数据,如果有则直接返回。如果缓存没数据,再继续查数据库。如果数据库有数据,则将查询出来的数据,放入缓存中,然后返回该数据。如果数据库也没数据,则直接返回空。这是缓存非常常见的用法。一眼看上去,好像没有啥问题
- 【Python大数据笔记_day11_Hadoop进阶之MR和YARN&ZooKeeper】
LKL1026
Python大数据学习笔记hadoop大数据笔记
MR单词统计流程已知文件内容: hadoophivehadoopsparkhive flinkhivelinuxhivemysqlinput结果: k1(行偏移量) v1(每行文本内容) 0 hadoophivehadoopsparkhive 30 flinkhivelinuxhivemysqlmap结果: k2(split切割后的单词)v2(拼接1) hadoop1
- 【Python大数据笔记_day10_Hive调优及Hadoop进阶】
LKL1026
Python大数据学习笔记大数据hadoophive笔记
hive调优hive官方配置url:ConfigurationProperties-ApacheHive-ApacheSoftwareFoundationhive命令和参数配置hive参数配置的意义:开发Hive应用/调优时,不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率,或帮助定位问题。然而实践中经常遇到的一个问题是,为什么我设定的参数没有起作用?这是对hive
- 【Python大数据笔记_day08_hive查询】
LKL1026
Python大数据学习笔记数据库hive笔记
hive查询语法结构:SELECT[ALL|DISTINCT]字段名,字段名,...FROM表名[inner|leftouter|rightouter|fullouter|leftsemiJOIN表名ON关联条件][WHERE非聚合条件][GROUPBY分组字段名][HAVING聚合条件][ORDERBY排序字段名asc|desc][CLUSTERBY字段名|[DISTRIBUTEBY字段名SOR
- 【Python大数据笔记_day09_hive函数和调优】
LKL1026
Python大数据学习笔记大数据笔记hive
hive函数函数分类标准[重点]原生分类标准:内置函数和用户定义函数(UDF,UDAF,UDTF)分类标准扩大化:本来,UDF、UDAF、UDTF这3个标准是针对用户自定义函数分类的;但是,现在可以将这个分类标准扩大到hive中所有的函数,包括内置函数和自定义函数;目前hive三大标准UDF:(User-Defined-Function)普通函数:特点是一进一出(输入一行数据输出一行数据)
- 河工阿晖大数据笔记脚本截图
喧嚣小风
大数据bigdata大数据
#!/bin/bashbeg_date=`date-d"${1}"+%s`end_date=`date-d"${2}"+%s`if((beg_date>${end_date}));thenecho"beg_date/root/sh/date手动添加的date=`cat/root/sh/date`#第二步:获取json文件日期的后一天日期afterday_timestamp=$[`date-d"${
- 大数据笔记29—Hadoop基础篇12(Hive特殊使用与函数)
了不起的我阿
hadoophive数据库数据仓库大数据pythonhive
Hive特殊使用与函数知识点01:Hive回顾知识点02:本篇目标知识点03:Hive表结构:普通表结构知识点04:Hive表结构:分区表设计知识点05:Hive表结构:分区表实现知识点06:Hive表结构:分桶表设计及实现知识点07:Hive中的Join:Join逻辑知识点08:Hive中的Join:Join实现知识点09:Select语法:orderby与sortby知识点10:Select语
- 【Python大数据笔记_day07_hive中的分区表、分桶表以及一些特殊类型】
LKL1026
Python大数据学习笔记大数据笔记hive
分区表分区表的特点/好处:需要产生分区目录,查询的时候使用分区字段筛选数据,避免全表扫描从而提升查询效率效率上注意:如果分区表在查询的时候呀没有使用分区字段去筛选数据,效率不变分区字段名注意:分区字段名不能和原有的字段名重复,因为分区字段名要作为字段拼接到表后一级分区创建分区表:create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)par
- 大数据笔记--Zookeeper(第二篇)
是小先生
大数据02-Zookeeperbigdatazookeeper大数据
目录一、Zookeeper1、概述2、安装3、伪分布式安装4、特点5、命令6、节点信息7、节点类型8、zookeeper-APIi、普通API无观察者ii、观察者API二、完全分布式安装1、三台服务器准备2、安装Zookeeper3、完成效果一、Zookeeper1、概述①、Zookeeper是Yahoo(雅虎)开发后来贡献给了Apache的一套用于分布式管理和协调的框架②、Zookeeper本身
- 【Python大数据笔记_day06_Hive】
LKL1026
Python大数据学习笔记大数据hive笔记
hive内外表操作建表语法create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)[partitionedby(分区字段名分区字段类型)]#分区表固定格式[clusteredby(分桶字段名)into桶个数buckets]#分桶表固定格式注意:可以排序[sortedby(排序字段名asc|desc)][rowformatdelimitedf
- 【Python大数据笔记_day05_Hive基础操作】
LKL1026
Python大数据学习笔记大数据笔记hive
一.SQL,Hive和MapReduce的关系用户在hive上编写sql语句,hive把sql语句转化为MapReduce程序去执行二.Hive架构映射流程用户接口:包括CLI、JDBC/ODBC、WebGUI,CLI(commandlineinterface)为shell命令行;Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于JDBC或ODBC协议。WebGUI是通
- 大数据笔记--Zookeeper(第三篇)
是小先生
大数据02-Zookeeperzookeeperbigdata分布式
目录一、选举机制1、概述2、细节二、ZAB协议1、概述2、原子广播3、原子广播的过程4、查看日志的方式5、崩溃恢复三、Zookeeper-其他1、observer-观察者2、特征3、zookeeper集群操作四、PAXOS算法1、概述五、AVRO1、概述2、序列化3、AVRO序列化举例4、RPC一、选举机制1、概述当一个zookeeper集群刚启动的时候,会自动的进入选举状态,此时所有的服务器都会
- 【Python大数据笔记_day04_Hadoop】
LKL1026
Python大数据学习笔记大数据笔记hadoop分布式
分布式和集群分布式:多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)集群:多台服务器联合起来独立做相同的任务(多个服务器分担客户发来的请求)注意:集群如果客户端请求量(任务量)多,多个服务器同时处理不同请求(不同任务),如果请求量少,一台服务器干活,其他服务器备份使用Hadoop框架概述Hadoop简介:是Apache旗下的一个用Java语言实现的存储个计算大
- 大数据笔记-关于Cassandra的删除问题
鬓戈
大数据大数据笔记
Cassandra是Facebook开源的一个NoSQL数据库,它除了具备一般的NoSQL分布式数据库特点以外,最大的一个特点是去中心化架构设计,这和HadoopHDFS/HBase等不一样,比如HDFS分为NameNode和DataNode,而Cassandra集群中所有节点都是数据节点,每一个节点都在集群中承担相同的角色。我们开始在2013年做大数据存储系统选型过程中,也考虑过Cassandr
- 大数据笔记--SparkStreaming
是小先生
大数据08-SparksparkSparkSreaming
目录一、实时计算1、离线和批量、实时和流式Ⅰ、批量计算和流式计算:Ⅱ、批量和流式的区别二、SparkStreaming介绍1、概述2、架构设计二、SparkStreaming基础1、WordCount案例①、监听本地文件数据源②、通过SparkStreaming实时过滤2、基本概念Ⅰ、StreamingContextⅡ、DStream抽象Ⅲ、案例一、实时计算1、离线和批量、实时和流式大数据的计算模
- 大数据笔记--Spark(第四篇)
是小先生
大数据08-SparkSaprkGC
目录一、RDD的容错机制二、RDD持久化机制1、RDD持久化(缓存)2、使用缓存3、缓存数据的清除4、持久化理解三、CheckPoint机制1、概述2、示例代码:3、总结4、Saprk懒执行的意义四、GC回收机制及算法1、概述2、哪些内存数据需要被回收?Ⅰ、引用计数法判定Ⅱ、可达性分析法3、常见的垃圾回收算法Ⅰ、标记-清除算法Ⅱ、复制算法Ⅲ、标记-整理算法Ⅳ、分代收集算法五、GC收集器1、概述2、
- 大数据笔记--Flume(第一篇)
是小先生
大数据04-Flumebigdataflume大数据
目录一、Flume的简介1、概述2、基本概念3、流动模型/拓扑结构①、单级流动②、多级流动③、扇入流动④、扇出流动⑤、复杂流动二、执行流程三、安装Flume四、Source1、AVROSource①、概述②、配置属性③、案例2、ExecSource①、概述②、配置属性③、案例3、SpoolingDirectorySource①、概述②、配置属性③、案例4、NetcatSource①、概述②、配置属
- 大数据笔记--Spark(第一篇)
是小先生
大数据08-Sparksparkscala
目录一、Spark介绍1、概述2、来源二、Spark的生态系统模块三、Spark的使用模式1、Spark单机模式安装2、Spark集群模式安装四、RDD介绍1、概述2、创建RDD两种方式3、分区概念五、RDD的操作1、Transformation变化2、Action执行3、Controller控制一、Spark介绍1、概述Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验
- 大数据笔记--Hadoop(第一篇)
是小先生
大数据03-Hadoopbigdata大数据hadoop
目录一、大数据简介1、简介2、特点3、应用场景4、组织结构二、Hadoop简介1、概述2、版本3、模块4、安装模式5、web访问端口三、Hadoop发展1、创始人2、发展历程四、Hadoop伪分布式安装五、hadoop完全分布式安装一、大数据简介1、简介①、美国调研机构Gartner给出了定义:大数据是一种新的处理模式,针对海量数据能够提供更强的决策力、洞察发现力和流程优化能力②、维基百科给出了定
- 大数据笔记--Hive(第一篇)
是小先生
大数据05-Hivehivebigdatahadoop
目录一、Hive1、概述2、Hive和数据库的比较3、特点①、优点②、缺点二、Hive的安装1、概述2、安装步骤3、Hive运行日志4、参数配置一、Hive1、概述Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制Hive提供了类SQL(HQL,HiveQL)语句来管理HDFS上的大量数据,底层会将SQL转化为MapReduce来交给HadoopYAR
- 大数据笔记-大数据处理流程
鬓戈
大数据大数据笔记架构
大家对大数据处理流程大体上认识差不多,具体做起来可能细节各不相同,一幅简单的大数据处理流程图如下:1)数据采集:数据采集是大数据处理的第一步。数据采集面对的数据来源是多种多样的,包括各种传感器、社交媒体、电子邮件、数据库、程序运行日志等。数据采集面对的数据类型是多种多样的,有文本数据、结构化数据、图片数据、语音数据、视频数据等。数据采集使用的各种开源工具也是多种多样的,如采用FileBeat对日志
- 【大数据笔记】SQL Optimizer 解析
唐浮
大数据学习笔记大数据sql
前言大数据课程相关笔记一、大数据体系下的SQL一、大数据体系大数据体系自上而下分为七层,分别是:1.业务应用业务应用层次,主要业务应用包括BI报表、数据挖掘、营销分析、精准推荐等,主要工作是管控运维。2.数据开发数据开发层次,主要技术包括Airflow、DAG等,主要工作是集群创建。3.权限管控权限管控层次,主要技术包括ApacheRanger、GDPR等,主要工作是集群创建。4.分析引擎(SQL
- 大数据笔记--HBase(第二篇)
是小先生
大数据06-HBasehbasehadoop
目录一、Hbase的基本架构1、HRegion2、Zookeeper的作用3、HMaster4、HRegionServer5、Compaction机制二、Hbase的架构读写流程1、概念2、写流程3、读流程三、Hbase的设计优化1、设计原则①、行键设计②、列族设计2、优化一、Hbase的基本架构1、HRegion①、在Hbase中,会将一个表从行键方向上进行切分,切分成1个或者多个HRegion
- 大数据笔记-NIFI(第一篇)
是小先生
大数据平台CDH大数据java开发语言NiFi
目录一、NIFI简介1、NIFi的相关概念及特点1.1、什么是ApacheNiFi?1.2、NiFi的核心概念1.3、NiFi架构1.4、NiFi的性能预期和特点1.5、关键NiFi功能的高级概述二、NiFi的安装(无证书集群内)1、NiFi下载2、安装NiFi2.1、上传解压2.2、修改配置文件三、启动1、we页面简介1.1、NIFI登陆后界面1.2、NIFI登陆界面解读编辑2、全局菜单3、NI
- 大数据笔记之Hadoop(HDFS)
小炫锋
Bigdatahadoophadoop大数据
HDFS概述定义:HDFS是一个分布式文件管理系统,用来存储文件,通过目录树来定位文件;由多个服务器联合起来实现其功能,集群中的服务器由各自的角色。应用场景:适合一次写入多次读写的场景,支持追加、不支持修改。适合用来做数据分析,不适合做网盘使用HDFS优缺点优点高容错性:通过增加副本的形式提高容错性,数据自动保存多个副本;某个副本丢失后,可自动恢复。适合处理大数据:数据规模(TB、PB级别以上);
- 【大数据】第二章:搭建Hadoop集群(送尚硅谷大数据笔记)
DragonZhuCn
Hadoop大数据hadoop大数据
尚硅谷Hadoop3.x官方文档大全免费下载搭建集群没什么好讲的,跟着视频和笔记出不了什么问题。唯一遇到的问题就是安装好VmWare后打不开,发现是老师给的VmWare版本不适配本机的WIN11。解决办法就是下载最新版本的VmWare。新版已经修复了与WIN11的兼容性问题。两个常见面试题:1,Hadoop集群中常见的端口Hadoop2.xNameNode内部端口:8020/9000NameNod
- 《大数据时代》
天天向上的小朋友
大数据笔记维克托最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。本书前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大
- 大数据笔记--SparkSQL(第一篇)
是小先生
大数据08-SparkSaprkSparkSql
目录一、SparkSql1、概述2、由来3、SparkSQL特点4、为什么SparkSQL的性能会的得到这么大的提升?Ⅰ、内存列存储二、SparkSql入门1、概述2、创建DataFrame对象三、SparkSql基础语法上1、通过方法来使用四、SparkSql基础语法下1、通过sql语句来调用五、SparkSqlAPI一、SparkSql1、概述Spark为了结构化数据处理引入了一个称为Spar
- 【大数据笔记】- Spark-SQL读写MySQL
菜鸟老胡~
技术学习sparkmysqlbigdata大数据数据仓库
Spark-SQL很强大,可以读写各种JDBC的库,先来一弹MySQL的,超简单:1.MySQL库建测试表和数据:CREATETABLEt_realtime.test_spark2mysql(idbigint(11)NOTNULLAUTO_INCREMENT,namevarchar(30)DEFAULTNULL,ageintDEFAULTNULL,PRIMARYKEY(id))ENGINE=Inn
- jQuery 跨域访问的三种方式 No 'Access-Control-Allow-Origin' header is present on the reque
qiaolevip
每天进步一点点学习永无止境跨域众观千象
XMLHttpRequest cannot load http://v.xxx.com. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://localhost:63342' is therefore not allowed access. test.html:1
- mysql 分区查询优化
annan211
java分区优化mysql
分区查询优化
引入分区可以给查询带来一定的优势,但同时也会引入一些bug.
分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区,通过分区过滤可以让查询扫描更少的数据。
所以,对于访问分区表来说,很重要的一点是要在where 条件中带入分区,让优化器过滤掉无需访问的分区。
可以通过查看explain执行计划,是否携带 partitions
- MYSQL存储过程中使用游标
chicony
Mysql存储过程
DELIMITER $$
DROP PROCEDURE IF EXISTS getUserInfo $$
CREATE PROCEDURE getUserInfo(in date_day datetime)-- -- 实例-- 存储过程名为:getUserInfo-- 参数为:date_day日期格式:2008-03-08-- BEGINdecla
- mysql 和 sqlite 区别
Array_06
sqlite
转载:
http://www.cnblogs.com/ygm900/p/3460663.html
mysql 和 sqlite 区别
SQLITE是单机数据库。功能简约,小型化,追求最大磁盘效率
MYSQL是完善的服务器数据库。功能全面,综合化,追求最大并发效率
MYSQL、Sybase、Oracle等这些都是试用于服务器数据量大功能多需要安装,例如网站访问量比较大的。而sq
- pinyin4j使用
oloz
pinyin4j
首先需要pinyin4j的jar包支持;jar包已上传至附件内
方法一:把汉字转换为拼音;例如:编程转换后则为biancheng
/**
* 将汉字转换为全拼
* @param src 你的需要转换的汉字
* @param isUPPERCASE 是否转换为大写的拼音; true:转换为大写;fal
- 微博发送私信
随意而生
微博
在前面文章中说了如和获取登陆时候所需要的cookie,现在只要拿到最后登陆所需要的cookie,然后抓包分析一下微博私信发送界面
http://weibo.com/message/history?uid=****&name=****
可以发现其发送提交的Post请求和其中的数据,
让后用程序模拟发送POST请求中的数据,带着cookie发送到私信的接入口,就可以实现发私信的功能了。
- jsp
香水浓
jsp
JSP初始化
容器载入JSP文件后,它会在为请求提供任何服务前调用jspInit()方法。如果您需要执行自定义的JSP初始化任务,复写jspInit()方法就行了
JSP执行
这一阶段描述了JSP生命周期中一切与请求相关的交互行为,直到被销毁。
当JSP网页完成初始化后
- 在 Windows 上安装 SVN Subversion 服务端
AdyZhang
SVN
在 Windows 上安装 SVN Subversion 服务端2009-09-16高宏伟哈尔滨市道里区通达街291号
最佳阅读效果请访问原地址:http://blog.donews.com/dukejoe/archive/2009/09/16/1560917.aspx
现在的Subversion已经足够稳定,而且已经进入了它的黄金时段。我们看到大量的项目都在使
- android开发中如何使用 alertDialog从listView中删除数据?
aijuans
android
我现在使用listView展示了很多的配置信息,我现在想在点击其中一条的时候填出 alertDialog,点击确认后就删除该条数据,( ArrayAdapter ,ArrayList,listView 全部删除),我知道在 下面的onItemLongClick 方法中 参数 arg2 是选中的序号,但是我不知道如何继续处理下去 1 2 3
- jdk-6u26-linux-x64.bin 安装
baalwolf
linux
1.上传安装文件(jdk-6u26-linux-x64.bin)
2.修改权限
[root@localhost ~]# ls -l /usr/local/jdk-6u26-linux-x64.bin
3.执行安装文件
[root@localhost ~]# cd /usr/local
[root@localhost local]# ./jdk-6u26-linux-x64.bin&nbs
- MongoDB经典面试题集锦
BigBird2012
mongodb
1.什么是NoSQL数据库?NoSQL和RDBMS有什么区别?在哪些情况下使用和不使用NoSQL数据库?
NoSQL是非关系型数据库,NoSQL = Not Only SQL。
关系型数据库采用的结构化的数据,NoSQL采用的是键值对的方式存储数据。
在处理非结构化/半结构化的大数据时;在水平方向上进行扩展时;随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。
在考虑数据库的成熟
- JavaScript异步编程Promise模式的6个特性
bijian1013
JavaScriptPromise
Promise是一个非常有价值的构造器,能够帮助你避免使用镶套匿名方法,而使用更具有可读性的方式组装异步代码。这里我们将介绍6个最简单的特性。
在我们开始正式介绍之前,我们想看看Javascript Promise的样子:
var p = new Promise(function(r
- [Zookeeper学习笔记之八]Zookeeper源代码分析之Zookeeper.ZKWatchManager
bit1129
zookeeper
ClientWatchManager接口
//接口的唯一方法materialize用于确定那些Watcher需要被通知
//确定Watcher需要三方面的因素1.事件状态 2.事件类型 3.znode的path
public interface ClientWatchManager {
/**
* Return a set of watchers that should
- 【Scala十五】Scala核心九:隐式转换之二
bit1129
scala
隐式转换存在的必要性,
在Java Swing中,按钮点击事件的处理,转换为Scala的的写法如下:
val button = new JButton
button.addActionListener(
new ActionListener {
def actionPerformed(event: ActionEvent) {
- Android JSON数据的解析与封装小Demo
ronin47
转自:http://www.open-open.com/lib/view/open1420529336406.html
package com.example.jsondemo;
import org.json.JSONArray;
import org.json.JSONException;
import org.json.JSONObject;
impor
- [设计]字体创意设计方法谈
brotherlamp
UIui自学ui视频ui教程ui资料
从古至今,文字在我们的生活中是必不可少的事物,我们不能想象没有文字的世界将会是怎样。在平面设计中,UI设计师在文字上所花的心思和功夫最多,因为文字能直观地表达UI设计师所的意念。在文字上的创造设计,直接反映出平面作品的主题。
如设计一幅戴尔笔记本电脑的广告海报,假设海报上没有出现“戴尔”两个文字,即使放上所有戴尔笔记本电脑的图片都不能让人们得知这些电脑是什么品牌。只要写上“戴尔笔
- 单调队列-用一个长度为k的窗在整数数列上移动,求窗里面所包含的数的最大值
bylijinnan
java算法面试题
import java.util.LinkedList;
/*
单调队列 滑动窗口
单调队列是这样的一个队列:队列里面的元素是有序的,是递增或者递减
题目:给定一个长度为N的整数数列a(i),i=0,1,...,N-1和窗长度k.
要求:f(i) = max{a(i-k+1),a(i-k+2),..., a(i)},i = 0,1,...,N-1
问题的另一种描述就
- struts2处理一个form多个submit
chiangfai
struts2
web应用中,为完成不同工作,一个jsp的form标签可能有多个submit。如下代码:
<s:form action="submit" method="post" namespace="/my">
<s:textfield name="msg" label="叙述:">
- shell查找上个月,陷阱及野路子
chenchao051
shell
date -d "-1 month" +%F
以上这段代码,假如在2012/10/31执行,结果并不会出现你预计的9月份,而是会出现八月份,原因是10月份有31天,9月份30天,所以-1 month在10月份看来要减去31天,所以直接到了8月31日这天,这不靠谱。
野路子解决:假设当天日期大于15号
- mysql导出数据中文乱码问题
daizj
mysql中文乱码导数据
解决mysql导入导出数据乱码问题方法:
1、进入mysql,通过如下命令查看数据库编码方式:
mysql> show variables like 'character_set_%';
+--------------------------+----------------------------------------+
| Variable_name&nbs
- SAE部署Smarty出现:Uncaught exception 'SmartyException' with message 'unable to write
dcj3sjt126com
PHPsmartysae
对于SAE出现的问题:Uncaught exception 'SmartyException' with message 'unable to write file...。
官方给出了详细的FAQ:http://sae.sina.com.cn/?m=faqs&catId=11#show_213
解决方案为:
01
$path
- 《教父》系列台词
dcj3sjt126com
Your love is also your weak point.
你的所爱同时也是你的弱点。
If anything in this life is certain, if history has taught us anything, it is
that you can kill anyone.
不顾家的人永远不可能成为一个真正的男人。 &
- mongodb安装与使用
dyy_gusi
mongo
一.MongoDB安装和启动,widndows和linux基本相同
1.下载数据库,
linux:mongodb-linux-x86_64-ubuntu1404-3.0.3.tgz
2.解压文件,并且放置到合适的位置
tar -vxf mongodb-linux-x86_64-ubun
- Git排除目录
geeksun
git
在Git的版本控制中,可能有些文件是不需要加入控制的,那我们在提交代码时就需要忽略这些文件,下面讲讲应该怎么给Git配置一些忽略规则。
有三种方法可以忽略掉这些文件,这三种方法都能达到目的,只不过适用情景不一样。
1. 针对单一工程排除文件
这种方式会让这个工程的所有修改者在克隆代码的同时,也能克隆到过滤规则,而不用自己再写一份,这就能保证所有修改者应用的都是同一
- Ubuntu 创建开机自启动脚本的方法
hongtoushizi
ubuntu
转载自: http://rongjih.blog.163.com/blog/static/33574461201111504843245/
Ubuntu 创建开机自启动脚本的步骤如下:
1) 将你的启动脚本复制到 /etc/init.d目录下 以下假设你的脚本文件名为 test。
2) 设置脚本文件的权限 $ sudo chmod 755
- 第八章 流量复制/AB测试/协程
jinnianshilongnian
nginxluacoroutine
流量复制
在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线。这其实就需要进行流量复制,把流量复制到其他服务器上,一种方式是使用如tcpcopy引流;另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发
- 电商系统商品表设计
lkl
DROP TABLE IF EXISTS `category`; -- 类目表
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `category` (
`id` int(11) NOT NUL
- 修改phpMyAdmin导入SQL文件的大小限制
pda158
sqlmysql
用phpMyAdmin导入mysql数据库时,我的10M的
数据库不能导入,提示mysql数据库最大只能导入2M。
phpMyAdmin数据库导入出错: You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.
- Tomcat性能调优方案
Sobfist
apachejvmtomcat应用服务器
一、操作系统调优
对于操作系统优化来说,是尽可能的增大可使用的内存容量、提高CPU的频率,保证文件系统的读写速率等。经过压力测试验证,在并发连接很多的情况下,CPU的处理能力越强,系统运行速度越快。。
【适用场景】 任何项目。
二、Java虚拟机调优
应该选择SUN的JVM,在满足项目需要的前提下,尽量选用版本较高的JVM,一般来说高版本产品在速度和效率上比低版本会有改进。
J
- SQLServer学习笔记
vipbooks
数据结构xml
1、create database school 创建数据库school
2、drop database school 删除数据库school
3、use school 连接到school数据库,使其成为当前数据库
4、create table class(classID int primary key identity not null)
创建一个名为class的表,其有一