- Spark Livy 指南及livy部署访问实践
house.zhang
大数据-Spark大数据
背景:ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中,它提供了两种方式进行数据处理,一是交互式处理:比如用户使用spark-shell,编写交互式代码编译成spark作业提交到集群上去执行;二是批处理,通过spark-submit提交打包好的spark应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息,并打通集群网
- 【Python进阶】Python中的操作系统接口:使用os模块进行系统调用
m 哆哆.ღ
pythonpython开发语言
1、操作系统接口的重要性1.1操作系统接口概览操作系统接口就像一座桥梁,连接着用户程序与底层操作系统服务。它是软件开发中不可或缺的一部分,让程序员能够借助标准化的方式与操作系统进行对话,执行诸如文件管理、进程控制、系统资源分配等各种关键任务。操作系统接口可分为以下几类:●命令行接口:通过shell或命令行工具直接与系统交互。●图形用户接口:如WindowsExplorer或MacOS的Finder
- 【赵渝强老师】MongoDB逻辑存储结构
数据库nosqlmongodb
MongoDB的逻辑存储结构是一种层次结构,主要包括了三个部分,即:数据库(Database)、集合(Collection,也可以叫做表)和文档(Document,也可以叫做记录)。MongoDB的逻辑存储结构是面向用户使用的,使用mongoshell或者应用程序操作MongoDB时,主要就是操作的MongoDB逻辑存储结构。视频讲解如下:https://www.bilibili.com/vide
- sed学习笔记1
我要精通C++
shell脚本与linux命令sed
0.引用《Linux命令行与shell脚本编程大全.第3版by布鲁姆,布雷斯纳汉》第19章,第21章1.今晚回家学习总结
- Matplotlib教程
weixin_30905133
pythonc/c++人工智能
Matplotlib是用于数据可视化的最流行的Python包之一。它是一个跨平台库,用于根据数组中的数据制作2D图。它提供了一个面向对象的API,有助于使用PythonGUI工具包(如PyQt,WxPythonotTkinter)在应用程序中嵌入绘图。它也可以用于Python和IPythonshell,Jupyter笔记本和Web应用程序服务器。面向读者本教程专为希望获得数据可视化基础知识的学员而
- Linux stdin、stdout和stderr详解
linux
一、标准流介绍在计算机编程中,标准流是计算机程序开始执行时与其环境之间预连接的输入和输出通信通道。这三种输入/输出(I/O)连接称为标准输入(stdin)、标准输出(stdout)和标准错误(stderr)。最初I/O是通过物理连接的系统控制台(通过键盘输入,通过监视器输出)发生的,但是标准流抽象了这一点。当通过交互式shell执行命令时,流通常连接到shell运行的文本终端,但可以通过重定向或管
- Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序
XK&RM
Hivehivehiveserver2udfjava
目录1Hive--HiveServer2命令行代码连接1.1配置HiveServer2WEB参数1.2开启HiveServer21.3使用Beeline连接HiveServer21.4使用代码查询HiveServer21.5使用DBeaver连接Hive2Hive--Hive常用命令2.1Hive命令2.2HiveShell命令3Hive--自定义UDF函数(User-DefinedFunctio
- Java常用软件安装包分享
兜兜儿~
java开发语言
关于Java常用软件的安装包分享,大家记得收藏!包括IDEA、IDEA、Vmware、FinalShell、CentOS、MongoDB、MySQL、Notepad++、Postman、PowerDesigner、Redis、Tomcat,以及前端相关软件
- 避免SSH超时自动断开
@comefly
SSHssh运维测试工具
文章目录前言前言平时我们通过终端连接服务器时,当鼠标和键盘长时间不操作,服务器就会自动断开连接,也就是SSH超时断开。下面有几种方法可以避免超时断开连接:方法一1、依赖ssh客户端定时发送心跳。putty、SecureCRT、XShell都有这个功能,但是并不保险。配置服务器,修改/etc/ssh/ssh_config配置文件,修改或添加ClientAliveCountMax(单位为分钟)Serv
- Windows 命令提示符提升到管理员模式全攻略
阿贾克斯的黎明
网络安全windows
目录Windows命令提示符提升到管理员模式全攻略一、以管理员身份运行命令提示符二、使用快捷键三、通过任务管理器四、使用runas命令五、使用powershell命令启动管理员权限的cmd六、在批处理脚本中以管理员权限运行自身七、注意事项在Windows系统中,有时我们需要以管理员权限运行命令提示符(cmd)来执行一些关键任务,如安装软件、修改系统设置等。本文将汇总多种在Windows命令提示符中
- Kali之环境变量技巧(Kali‘s Environmental Variable Skills)
Linux运维老纪
坚定自我迈向网络安全新征程云计算服务器运维开发linux安全
Kali之环境变量技巧1.环境变量基础概念1.1什么是变量?变量在计算机中是绕不开的话题,它就像是一个购物袋:可以往里面放东西(赋值)可以拿出来看看里面有什么(读取)可以把里面的东西换成别的(修改)用完可以扔掉(删除)变量本质上是一组键值对,格式为KEY=value。1.2变量类型从技术角度,变量主要分为两类:shell变量以小写字母形式列出仅在当前shell中有效环境变量系统内置的全局变量控制系
- ubuntu创建普通用户,删除用户,修改用户密码,修改用户名
温柔如酒
linuxubuntuubuntulinux运维
创建用户名为user的用户1.进入root权限账号su2.添加普通用户名useradduser3.设置普通用户密码passwduser4.修改用户登入后所使用的shellusermod-s/bin/bashuser5.设置家目录usermod-d/home/useruser6.创建家目录目录mkdir/home/user7.改变目录拥有者和组,(将/home/user下的所有文件的用户组改成use
- Java 数组排序
赔罪
Java系统学习java排序算法算法java-ee数组排序
目录1.Java冒泡排序(BubbleSort)1.冒泡排序2.冒泡排序的算法原理3.冒泡排序的复杂度和性能4.形成代码2.Java快速排序(QuickSort)3.Java归并排序(MergeSort)4.Java选择排序(SelectionSort)5.Java直接插入排序6.Java希尔排序(ShellSort)1.Java冒泡排序(BubbleSort)1.冒泡排序冒泡排序(BubbleS
- 使用vnstat监控网络流量和带宽占用
handsomestWei
运维运维网络
使用vnstat监控网络流量和带宽占用简介vnstat是个Linux下基于shell终端的网络流量监控工具,可帮助用户在不同时间段内监视,记录和查看网络统计信息。它提供了各种网络接口的汇总,允许用户以详细表或命令行统计视图的形式查看小时,每日,每月统计。安装sudoaptupdatesudoaptinstallvnstatsudosystemctlstartvnstatsudosystemctle
- hive表级权限控制_Hive权限管理
weixin_39769091
hive表级权限控制
最近遇到一个hive权限的问题,先简单记录一下,目前自己的理解不一定对,后续根据自己的理解程度更新一、hive用户的概念hive本身没有创建用户的命令,hive的用户就是Linux用户,若当前是用mr用户输入hive,进入hive的shell,则当前hive的用户为mr。hive本身不提供用户和用户的管理,只做权限控制。所以在实际的生产中,容易造成创表和使用表的用户不统一的情况,针对该情况可以使用
- hive批量修复分区
青云游子
Hivehive数据库hadoop
#!/bin/bashset-x#定义Hive数据库的名称database_name="edu"#定义要排除的表名exclude_table="tab_name"#使用Hive的shell命令获取所有的表名tables=$(hive-e"USE$database_name;SHOWTABLES;")#初始化一个字符串,用于存储所有的MSCKREPAIRTABLE命令commands="USE$da
- 蓝易云 - Linux系统中常见的远程管理协议!
蓝易云
linux运维服务器httpnginxhttpsflutter
Linux系统中常见的远程管理协议有以下几种:1.SSH(SecureShell):SSH是一种安全的远程登录协议,用于在网络上安全地远程登录到Linux服务器。它提供了加密的传输和身份验证机制,可以防止数据在传输过程中被拦截和篡改。SSH使用用户名和密码或公钥认证来验证用户身份,并允许用户在远程终端上执行命令。2.Telnet:Telnet是一种不安全的远程登录协议,用于在网络上远程登录到Lin
- pyspark 中删除hdfs的文件夹
TDengine (老段)
大数据sparkhadoophdfsmapreduce
在pyspark中保存rdd的内存到文件的时候,会遇到文件夹已经存在而失败,所以如果文件夹已经存在,需要先删除。搜索了下资料,发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法,是通过调用shell命令hadoopfs-rm-f来删除,这个方法感觉不怎么好,所以继续找。后来通过查找hadoophdfs的源代码发现hdfs是通过java的包org.appache.had
- 【Vim Masterclass 笔记16】S07L32 + L33:同步练习09 —— 掌握 Vim 宏操作的六个典型案例(含点评课内容)
安冬的码畜日常
VimMasterclassvim笔记vim宏同步练习自学笔记
文章目录S07L32Exercise09-Macros1训练目标2操作指令2.1.打开macros-practice.txt文件2.2.练习1:将旧版Python代码转换为新版写法2.3.练习2:根据列表内容批量创建Shell脚本2.4.练习3:对电话号码作格式化处理2.5.练习4:从日志文件中提取重要数据2.6.练习5:将多行数据压缩为一行2.7.练习6:从HTML中提取数据3退出VimS07L
- 2018年关于包、方法和接口、常量的命名规则 单行注释(能够嵌套)和多行注释(不能嵌套)
青木川崎
java
2018年关于包、方法和接口、常量的命名规则单行注释(能够嵌套)和多行注释(不能嵌套)classHello//这是一个类的声明,类名是Hello//单行注释可以嵌套的{publicstaticvoidmain(String[]args)//这是主方法,是程序的入口{System.out.println(“HelloWorld!”);//这是输出语句,会在控制台输出一句话。}}/*故人西辞黄鹤楼,烟
- shell基础语法总结
咖啡不加冰和糖
笔记bashlinux开发语言
文中各个命令可以拿来直接进行测试,可直接在在线测试shell命令进行测试。1.变量一般用法a=1echo"a="${a}#使用变量时用${}echo"a="$a#$a在遇到$ab时,会出错,因此第一种较好除了显式地直接赋值,还可以用语句给变量赋值lsb=`ls/box`#直接将命令执行结果赋值给变量echo"b="${b}b=$(ls/box)#直接将命令执行结果赋值给变量echo"b="${b}
- shell脚本练习
肥咩咩的大兔子
linux服务器运维
1、shell脚本写出检测/tmp/size.log文件如果存在显示它的内容,不存在则创建一个文件将创建时间写入。 if[-f/tmp/size.log];then cat/tmp/size.log else statexist.sh|awk-F:"NR==5">/tmp/size.log fi 2、写一个shel1脚本,实现批量添加20个用户,用户名为user01-20,密码为user后面跟5
- 采用海豚调度器+Doris开发数仓保姆级教程(满满是踩坑干货细节,持续更新)
大模型大数据攻城狮
海豚调度器从入门到精通doris海豚调度器离线数仓实时数仓国产代替信创大数据flink数仓
目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在doris进行开发调试开发海豚调度器脚本解决shell脚本使用MySQL命令行给
- 【纯血鸿蒙】hdc常用命令汇总
新时代农民工007
HarmonyOSNEXTharmonyos华为
1.查看工具版本hdc-v输出版本号,证明可以用了2.查看当前连接设备查看当前连接所有设备,-v显示详情hdclisttargetshdclisttargets-vhdc-t设备shellhdc-t7001005458323933328a250f004e3900shell3.安装指定的应用package文件hdcinstall[happath]交互命令hdcinstallpackageFileWi
- 【纯干货,无废话】shell脚本,判断语句报错[: too many arguments
新时代农民工007
shelllinuxbash
脚本作用是传入两个参数,第一个参数为yum的包名,第二个参数为版本号,判断系统中是否已经安装了包,如果没有安装,则进行安装操作,如果已经安装,但是版本与当前版本不一致,那么先卸载旧包再安装指定版本的包,如果已经安装并且版本相同,则什么也不做。代码如下:if[$#-ne2]thenecho"usageinstallpackageversion\n"exitfipackage=$1version=$2
- android AccessibilityService合法合规采集大众点评app商店商品详情(2024-09-02)
byc6352
androidjava前端数据采集点评app
免责任声明:任何可操作性的内容与本人无关,文章内容仅供参考学习,如有侵权损害贵公司利益,请联系作者,会立刻马上进行删除。一、原理介绍1、打开大众点评app商店publicvoidopen_shop(Contextcontext,Stringshop_id){Stringurl="dianping://gcshopshell?shopuuid="+shop_id;scroll_count=0;Uri
- 如何从一个 Shell 脚本调用另一个 Shell 脚本 ?
bash
在Unix和Linux的世界中,shell脚本是一种强大的工具,可用于任务自动化和系统管理等。通常,我们需要从一个shell脚本中调用另一个shell脚本。这不仅有助于将复杂的脚本组织成可管理的模块,而且有助于脚本的可重用性和可维护性。BasicMethod最直接的方法是在父脚本中使用它的路径。假设您有两个脚本:script1.sh和script2.shscript1.sh:#!/bin/bash
- shell中实现浮点数运算
自不量力的A同学
shellLinux开发相关shell
linux下的浮点数运算shell实现浮点数运算awk实现浮点数运算bc实现浮点数运算awk实现浮点数运算AWK是一种处理文本文件的语言,是一个强大的文本分析工具。主要部分awk‘{printf“%0.8f\n”,$1/$2}’使用printf实现小数点后数值的保留。0.8f保留小数点后8位。$1/$2表示传入的当前行的第一个数据除以第二个数据。例如相除v=$(echo$a$b|awk'{prin
- iTerm2与远程服务器进行文件传输
Empty-Filled
Linux测试bash
目录一、背景介绍二、步骤三、rz、sz的使用四、QA&Reference一、背景介绍Windows可以用Xshell进行远程服务器文件传输,Mac上没有Xshell,可以通过iTerm2实现rz/sz功能。二、步骤安装lrzszbrewinstalllrzsz下载iterm2-zmodemgitclonehttps://github.com/aikuyun/iterm2-zmodem.git复制i
- solidworks安装教程 - 解决安装后服务不能自动启动问题
Daniel的万事通杂货铺
服务器linux运维
Solidworks安装教程,有些同学的电脑过于复杂,产生了正常的服务不能启动。前面的有个重要的操作操作界面有,大家应该是执行了:那么我们有变通的方法可以让这个服务启动:1.cmd用管理员启动2.测试下如下命令是否能正常启动netstart"SolidWorksFlexnerServer"3.然后关闭服务netstop"SolidWorksFlexnerServer"4.在命令行运行shell:s
- 辗转相处求最大公约数
沐刃青蛟
C++漏洞
无言面对”江东父老“了,接触编程一年了,今天发现还不会辗转相除法求最大公约数。惭愧惭愧!
为此,总结一下以方便日后忘了好查找。
1.输入要比较的两个数a,b
忽略:2.比较大小(因为后面要的是大的数对小的数做%操作)
3.辗转相除(用循环不停的取余,如a%b,直至b=0)
4.最后的a为两数的最大公约数
&
- F5负载均衡会话保持技术及原理技术白皮书
bijian1013
F5负载均衡
一.什么是会话保持? 在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中,一个客户与服务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互过程是密切相关的,服务器在进行这些交互过程的某一个交互步骤时,往往需要了解上一次交互过程的处理结果,或者上几步的交互过程结果,服务器进行下
- Object.equals方法:重载还是覆盖
Cwind
javagenericsoverrideoverload
本文译自StackOverflow上对此问题的讨论。
原问题链接
在阅读Joshua Bloch的《Effective Java(第二版)》第8条“覆盖equals时请遵守通用约定”时对如下论述有疑问:
“不要将equals声明中的Object对象替换为其他的类型。程序员编写出下面这样的equals方法并不鲜见,这会使程序员花上数个小时都搞不清它为什么不能正常工作:”
pu
- 初始线程
15700786134
暑假学习的第一课是讲线程,任务是是界面上的一条线运动起来。
既然是在界面上,那必定得先有一个界面,所以第一步就是,自己的类继承JAVA中的JFrame,在新建的类中写一个界面,代码如下:
public class ShapeFr
- Linux的tcpdump
被触发
tcpdump
用简单的话来定义tcpdump,就是:dump the traffic on a network,根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支 持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息。
实用命令实例
默认启动
tcpdump
普通情况下,直
- 安卓程序listview优化后还是卡顿
肆无忌惮_
ListView
最近用eclipse开发一个安卓app,listview使用baseadapter,里面有一个ImageView和两个TextView。使用了Holder内部类进行优化了还是很卡顿。后来发现是图片资源的问题。把一张分辨率高的图片放在了drawable-mdpi文件夹下,当我在每个item中显示,他都要进行缩放,导致很卡顿。解决办法是把这个高分辨率图片放到drawable-xxhdpi下。
&nb
- 扩展easyUI tab控件,添加加载遮罩效果
知了ing
jquery
(function () {
$.extend($.fn.tabs.methods, {
//显示遮罩
loading: function (jq, msg) {
return jq.each(function () {
var panel = $(this).tabs(&
- gradle上传jar到nexus
矮蛋蛋
gradle
原文地址:
https://docs.gradle.org/current/userguide/maven_plugin.html
configurations {
deployerJars
}
dependencies {
deployerJars "org.apache.maven.wagon
- 千万条数据外网导入数据库的解决方案。
alleni123
sqlmysql
从某网上爬了数千万的数据,存在文本中。
然后要导入mysql数据库。
悲剧的是数据库和我存数据的服务器不在一个内网里面。。
ping了一下, 19ms的延迟。
于是下面的代码是没用的。
ps = con.prepareStatement(sql);
ps.setString(1, info.getYear())............;
ps.exec
- JAVA IO InputStreamReader和OutputStreamReader
百合不是茶
JAVA.io操作 字符流
这是第三篇关于java.io的文章了,从开始对io的不了解-->熟悉--->模糊,是这几天来对文件操作中最大的感受,本来自己认为的熟悉了的,刚刚在回想起前面学的好像又不是很清晰了,模糊对我现在或许是最好的鼓励 我会更加的去学 加油!:
JAVA的API提供了另外一种数据保存途径,使用字符流来保存的,字符流只能保存字符形式的流
字节流和字符的难点:a,怎么将读到的数据
- MO、MT解读
bijian1013
GSM
MO= Mobile originate,上行,即用户上发给SP的信息。MT= Mobile Terminate,下行,即SP端下发给用户的信息;
上行:mo提交短信到短信中心下行:mt短信中心向特定的用户转发短信,你的短信是这样的,你所提交的短信,投递的地址是短信中心。短信中心收到你的短信后,存储转发,转发的时候就会根据你填写的接收方号码寻找路由,下发。在彩信领域是一样的道理。下行业务:由SP
- 五个JavaScript基础问题
bijian1013
JavaScriptcallapplythisHoisting
下面是五个关于前端相关的基础问题,但却很能体现JavaScript的基本功底。
问题1:Scope作用范围
考虑下面的代码:
(function() {
var a = b = 5;
})();
console.log(b);
什么会被打印在控制台上?
回答:
上面的代码会打印 5。
&nbs
- 【Thrift二】Thrift Hello World
bit1129
Hello world
本篇,不考虑细节问题和为什么,先照葫芦画瓢写一个Thrift版本的Hello World,了解Thrift RPC服务开发的基本流程
1. 在Intellij中创建一个Maven模块,加入对Thrift的依赖,同时还要加上slf4j依赖,如果不加slf4j依赖,在后面启动Thrift Server时会报错
<dependency>
- 【Avro一】Avro入门
bit1129
入门
本文的目的主要是总结下基于Avro Schema代码生成,然后进行序列化和反序列化开发的基本流程。需要指出的是,Avro并不要求一定得根据Schema文件生成代码,这对于动态类型语言很有用。
1. 添加Maven依赖
<?xml version="1.0" encoding="UTF-8"?>
<proj
- 安装nginx+ngx_lua支持WAF防护功能
ronin47
需要的软件:LuaJIT-2.0.0.tar.gz nginx-1.4.4.tar.gz &nb
- java-5.查找最小的K个元素-使用最大堆
bylijinnan
java
import java.util.Arrays;
import java.util.Random;
public class MinKElement {
/**
* 5.最小的K个元素
* I would like to use MaxHeap.
* using QuickSort is also OK
*/
public static void
- TCP的TIME-WAIT
bylijinnan
socket
原文连接:
http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux.html
以下为对原文的阅读笔记
说明:
主动关闭的一方称为local end,被动关闭的一方称为remote end
本地IP、本地端口、远端IP、远端端口这一“四元组”称为quadruplet,也称为socket
1、TIME_WA
- jquery ajax 序列化表单
coder_xpf
Jquery ajax 序列化
checkbox 如果不设定值,默认选中值为on;设定值之后,选中则为设定的值
<input type="checkbox" name="favor" id="favor" checked="checked"/>
$("#favor&quo
- Apache集群乱码和最高并发控制
cuisuqiang
apachetomcat并发集群乱码
都知道如果使用Http访问,那么在Connector中增加URIEncoding即可,其实使用AJP时也一样,增加useBodyEncodingForURI和URIEncoding即可。
最大连接数也是一样的,增加maxThreads属性即可,如下,配置如下:
<Connector maxThreads="300" port="8019" prot
- websocket
dalan_123
websocket
一、低延迟的客户端-服务器 和 服务器-客户端的连接
很多时候所谓的http的请求、响应的模式,都是客户端加载一个网页,直到用户在进行下一次点击的时候,什么都不会发生。并且所有的http的通信都是客户端控制的,这时候就需要用户的互动或定期轮训的,以便从服务器端加载新的数据。
通常采用的技术比如推送和comet(使用http长连接、无需安装浏览器安装插件的两种方式:基于ajax的长
- 菜鸟分析网络执法官
dcj3sjt126com
网络
最近在论坛上看到很多贴子在讨论网络执法官的问题。菜鸟我正好知道这回事情.人道"人之患好为人师" 手里忍不住,就写点东西吧. 我也很忙.又没有MM,又没有MONEY....晕倒有点跑题.
OK,闲话少说,切如正题. 要了解网络执法官的原理. 就要先了解局域网的通信的原理.
前面我们看到了.在以太网上传输的都是具有以太网头的数据包. 
- Android相对布局属性全集
dcj3sjt126com
android
RelativeLayout布局android:layout_marginTop="25dip" //顶部距离android:gravity="left" //空间布局位置android:layout_marginLeft="15dip //距离左边距
// 相对于给定ID控件android:layout_above 将该控件的底部置于给定ID的
- Tomcat内存设置详解
eksliang
jvmtomcattomcat内存设置
Java内存溢出详解
一、常见的Java内存溢出有以下三种:
1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap(堆)溢出JVM在启动的时候会自动设置JVM Heap的值,其初始空间(即-Xms)是物理内存的1/64,最大空间(-Xmx)不可超过物理内存。
可以利用JVM提
- Java6 JVM参数选项
greatwqs
javaHotSpotjvmjvm参数JVM Options
Java 6 JVM参数选项大全(中文版)
作者:Ken Wu
Email:
[email protected]
转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm!
本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Opt
- weblogic创建JMC
i5land
weblogicjms
进入 weblogic控制太
1.创建持久化存储
--Services--Persistant Stores--new--Create FileStores--name随便起--target默认--Directory写入在本机建立的文件夹的路径--ok
2.创建JMS服务器
--Services--Messaging--JMS Servers--new--name随便起--Pers
- 基于 DHT 网络的磁力链接和BT种子的搜索引擎架构
justjavac
DHT
上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent},本文简单介绍一下主要的系统功能和用到的技术。
系统包括几个独立的部分:
使用 Python 的 Scrapy 框架开发的网络爬虫,用来爬取磁力链接和种子;
使用 PHP CI 框架开发的简易网站;
搜索引擎目前直接使用的 MySQL,将来可以考虑使
- sql添加、删除表中的列
macroli
sql
添加没有默认值:alter table Test add BazaarType char(1)
有默认值的添加列:alter table Test add BazaarType char(1) default(0)
删除没有默认值的列:alter table Test drop COLUMN BazaarType
删除有默认值的列:先删除约束(默认值)alter table Test DRO
- PHP中二维数组的排序方法
abc123456789cba
排序二维数组PHP
<?php/*** @package BugFree* @version $Id: FunctionsMain.inc.php,v 1.32 2005/09/24 11:38:37 wwccss Exp $*** Sort an two-dimension array by some level
- hive优化之------控制hive任务中的map数和reduce数
superlxw1234
hivehive优化
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 
- Spring Boot 1.2.4 发布
wiselyman
spring boot
Spring Boot 1.2.4已于6.4日发布,repo.spring.io and Maven Central可以下载(推荐使用maven或者gradle构建下载)。
这是一个维护版本,包含了一些修复small number of fixes,建议所有的用户升级。
Spring Boot 1.3的第一个里程碑版本将在几天后发布,包含许多