谢厂节_编程圈
谢厂节_编程圈

OSF SDN在云计算网络虚拟化中的应用

感谢张卫峰老师辛勤付出。

今天讲的这些我基本不懂，需要多学习。

SDN对云计算网络很重要

当前OpenStack Neutron的问题

  • SDN网络虚拟化方案一览
  • OVS的子项目OVN介绍
  • 盛科DVNP架构和应用场景

SDN不是一种具体的技术，而是一种思想，一种理念，一种体系框架。

核心诉求，让软件参与网络控制中，不是让路由协议参与网络控制，让应用参与网络控制。

为了满足这种核心诉求，就需要一种新的架构。

OSF SDN在云计算网络虚拟化中的应用_第1张图片

SDN的本质属性：

  • 控制与转发分离 
  • 开放的编程接口
  • 集中化的网络控制

SDN的核心价值：

  • 不在于能够解决传统网络解决不了的问题，而在于比传统网络做得更快捷、更可靠、更省力
    如开通虚拟主机，让用户自主控制，不需要客服人员去操作；
  • 不是让控制控制一切，而是让控制器去控制用户想控制的部分
    如有些设备是数据转发设备，没必要控制器去控制；而有价值的部分才需要控制器控制。在云计算上控制器控制的是最边缘的控制交换机，不需要控制中间的物理交换机。

IaaS云计算网络将SDN的优势发挥到极致

IaaS云计算平台是标准的SDN架构

控制（云计算控制平台）与转发（虚拟或者物理交换机）

开放的编程接口（南向和北向都是开放的接口）
集中化控制（云集中控制所有设备）
可编程API

集中化控制

云平台获取全局信息

OpenStack网络架构
OSF SDN在云计算网络虚拟化中的应用_第2张图片

两种组网方式的比较


VLan

优势 ：

简单稳定 高性能

缺点：

4KVlan限制
需要在所有物理交换机的所有端口上预配置所有Vlan
物理网络拓扑必须是大二层架构，难以处理更复杂的拓扑。

Tunnel组网

优点：

灵活性高，底层拓扑无关
租户数量可以达16M

缺点：

Encap/Decap带来的性能损耗
不方便将bare-metal server接入虚拟网络

Neutron当前的问题

J版本之前不支持DVR 分布式虚拟路由
J版本支持DVR，但不成熟、DVR用了大量name space，比较重量级，规模大了有压力。

Neutron自身对FwaaS、VPNaaS、Security Group等支持力度较弱
数据校验和错误处理不严谨，容易发生数据不一致
要基于VMwareESX/ESXi支持VPC，要么购买昂贵的NSX，要么用效率很低的方式来做。

SDN网络虚拟化方案一览

纯软件

Juniper Contrail
Vyatta(Brocade)
Nuage9ALU)
Midokura

硬件+软件

Cisco ACI
Centec

虚拟三层路由转发

集中式虚拟网关

OpenStack Juno之前版本

分布式虚拟网关

OpenStack Juno版本
NSX，Contrail，Centec等商业软件

半分布式虚拟网关

绝大多数宣称有VR的平台，如CloudStack，某些商业软件

分布式路由只管东西向三层，南北向还是要走集中网关

SDN网络虚拟化方案1：Neutron作为集中式控制器

Neutron拥有一切拓扑信息，通过plugin实时分发给相应计算节点Agent
Agent根据PACKET学习创建二层转发流表
Agent根据接收的拓扑信息操作kernel路由表，使用namespace做隔离
典型代理是OpenStackNeutron原生态网络

SDN网络虚拟化方案2：独立的集中式控制器

Neutron拥有一切拓扑信息，全部发送给独立控制器
控制器将转换后的信息发送给计算节点Agent
Agent根据控制器指令，proactive创建转发表
Mismatch的报文送到集中控制器去学习
典型代表是Juniper Contrail

SDN网络虚拟化方案3：分布式控制器

UTRON拥有一切拓扑信息，通过PLUGIN写到独立数据库
每个计算节点中的控制器向数据库服务器订阅本节点需要的数据
每个计算节点中的控制器reactive or proactivea创建转发表
Mismatch的报文在本地控制器学习
典型代表是盛科的DVNP（Distributed Virtualized Network Platform)
盛科的方案中，还可以支持硬件VTEP接入物理机

SDN网络虚拟化方案4：集中式控制器+硬件转发

Neutron拥有一切拓扑信息，通过plugin发给控制器
控制器将拓扑信息发到物理fabric网络（整个物理网络对外呈现为一个黑盒）
每台物理交换机里面的agent根据控制器发过来的信息，自行计算形成虚拟转发表，二层和三层
非虚拟化相关的物理转发表项由传统二三层协议形成
典型代表是思科的ACI

OVS 的子项目OVN介绍

OVN：Open Virtual Network
是OVS的开发团队新创建的一个subproject，
用来补充网络虚拟化环境中OVS缺失的功能
主要提供轻量级的控制面功能
不依赖于特定的OVS版本，以独立的进程运行

OVS提供什么：

原生态OVS仅仅提供：

Simple L2 protocol (NV不会使用)
OVSDB（NV 用它来配置resource）
OpenFlow（转发面功能，用来实现NV流表）
L2 Forwarding

现在的OpenStack Neutron仅仅用了OVS转发面功能
OVS需要由额外的agent来控制，参与网络虚拟化

OVS仅仅提供一个Virtual Switch，而OVN提供的是一个完整的Network，包括L2，L3，Security，QoS..
OVN工作原理：

提供一个OVN Plugin
提供一个轻量级的控制面
从Neutron plugin接受拓扑信息
配置OVS，直接在OVS kernel module实现，L2/L3/Security/QoS/Tunnel
支持NvGRE/VxLan/Geneve/STT
可以通过software VTEP接入物理机，也可以通过设备商的SDN交换机接入物理机。

OVN Architecture

OSF SDN在云计算网络虚拟化中的应用_第3张图片

OVN意味着什么

OVN还是初级阶段，但一旦成熟，所有商业化方案都会受到威胁

OpenStackDVR也可能被取代。

但网络虚拟化需要的东西远远超过OVN的work scope，

OVN缺少VPN，LB，运维管理等工具，仅仅提供了基础的网络二三层虚拟化功能

而且OVN可能不依赖于OpenStack

对比现有的OpenStackDVR

OSF SDN在云计算网络虚拟化中的应用_第4张图片

盛科DVNP架构和应用场景

DVNP:Distributed Virtual Network Platform
全分布式东西向二层Bridge和三层Route转发
全分布式控制器
严谨的数据一致性校验
高效的轻量级的kernel转发面设计
方便地支持虚拟机和物理机混合组网
不购买 NSX就可以支持VMware下的VPC
方便地支持多种hypervisor混合下的VPC
不依赖于任何云平台的任何版本

盛科DVNP架构：无硬件offload

OSF SDN在云计算网络虚拟化中的应用_第5张图片

DataFlow in Centec Agent(ingress)

OSF SDN在云计算网络虚拟化中的应用_第6张图片

DataFlow in Centec Agent (egress)

OSF SDN在云计算网络虚拟化中的应用_第7张图片

盛科DVNP架构：硬件Offload和硬件 VTEP

OSF SDN在云计算网络虚拟化中的应用_第8张图片


硬件Offload下的转发面流程

OSF SDN在云计算网络虚拟化中的应用_第9张图片

物理机和虚拟机混合组网

Centec cloud manager 提供Cloud Console 命令行和API

管理员通过Cloud Console命令行或者API动态增加、删除bare-metal server，分配local vlan，指定租户和network，并配置到SDN TOR Switch

SDN TOR Switch 将Vlan转换为相应的Tunnel VNI，反之亦然

SDN TOR 需要同时做Bridge/route to tunnel

一些别的实现方式：1虚1，安装OVS，使用docker，都不如使用SDN GW来得高效、简单、方便 。

使用VMware产品的用户面临的问题

市场有大量的存量VMWare产品，这些产品不支持VPC

VMWare 提供driver到OpenStack，但是仅限于legacy vDS支持（无法支持完整VPNC功能）


当前的一些解决方案：

要基于legacy VMWare产品支持VPC，必须能够控制它的vSwitch，但显然做不到。



OSF SDN在云计算网络虚拟化中的应用_第10张图片


基于SDN TOR 实现VMWare和VPC

整体架构参考DVNP：硬件Offload架构

云平台获取VM的主机、IP、Mac、local vlan，所属租户

云平台控制SDN TOR，将Local Vlan映射成tunnel，

可以使用OpenStack ， 也可以在vCenter之上再包装一个平面。



你可能感兴趣的:(运维,云计算,网络,sdn,云计算平台,openstack)

  • 无网络entos7报错ImportError: /lib64/libm.so.6: version `GLIBC_2.27‘ not found更新glibc 夏离 网络
    最近在尝试使用sklearn的升级版cuml，因为是一台没有连接互联网的gpu机器，所以构建cuml环境过程很坎坷，需要各种将各种whl包在线下载后上传到服务器中。当我终于解决完包的互相依赖问题后，在importcuml时候遇到一个错误：ImportError:/lib64/libm.so.6:version`GLIBC_2.27’notfound(requiredby/anaconda3/env
  • H5幸运刮刮乐抽奖源码 免公众号+直运营 破碎的天堂鸟 源码下载抽奖源码
    H5幸运刮刮乐抽奖源码免公众号+直运营环境nginx1.18mysql5.6php7.2php安装扩展fileinfo删除所有禁用函数操作完成后重启php创建一个站点点击根目录上传源码并解压源码解压完成回到网站设置伪静态laravel5运行目录public创建一个数据库并导入数据库源码下载：https://download.csdn.net/download/m0_61505785/9048437
  • 带隙基准电路设计仿真/自己备忘 Rinze！
    电路结构如图所示，放大器采用二级米勒补偿运算放大器https://blog.csdn.net/Czy1377004611/article/details/118551567?spm=1001.2014.3001.5501所用工艺为1830工艺基本原理是PTAT电流产生电路的PTAT电流在电阻R2上的压降与三极管Q3的BE结电压叠加形成VREF。1.确定工作电流和R1搭建如图仿真电路图，设置idc=
  • 输入URL到页面展示的核心逻辑链 賢843 软件测试理论基础python
    浏览器输入url到页面展示过程（https请求过程）DNS解析域名得到服务器ip地址TCP三次握手TCP三次握手-CSDN博客客户端发送http请求服务器响应请求客户端渲染页面TCP四次挥手​两个核心概念​FIN包：FIN=1，表示请求终止连接​（相当于说“我要挂电话了！”）。​ACK包：ACK=1，表示确认收到数据​（相当于说“我收到了！”）。​四次挥手流程第一次挥手：客户端发送FIN=1的包给
  • 神经网络完成训练的详细过程 每天五分钟玩转人工智能 神经网络人工智能深度学习pytorch机器学习优化算法包括梯度下降法
    神经网络完成训练的详细过程一、神经网络的基本概念神经网络是一种模拟人脑神经系统的计算模型，由大量的神经元（节点）和它们之间的连接（权重）组成。神经元接收输入信号，通过加权求和和激活函数的处理，产生输出信号。这些输出信号又可以作为其他神经元的输入，从而形成一个复杂的网络结构。神经网络的训练过程就是调整这些权重和偏置（每个神经元除了有权重外，还有一个偏置项，用于调整输出的阈值），使得网络的输出能够尽可
  • Java网络编程：TCP的socket编程 想作会飞的鱼 Java网络编程网络编程socketjavatcp
    一、Java中的网络编程协议相当于相互通信的程序间达成的一种约定，它规定了分组报文的结构、交换方式、包含的意义以及怎样对报文所包含的信息进行解析，TCP/IP协议族有IP协议、TCP协议和UDP协议。现在TCP/IP协议族中的主要socket类型为流套接字（使用TCP协议）和数据报套接字（使用UDP协议）。TCP协议提供面向连接的服务，通过它建立的是可靠地连接。Java为TCP协议提供了两个类：S
  • 【python】网络编程socket TCP UDP 草莓泰面包 python网络pythontcp/ip
    文章目录socket常用方法TCP客户端服务器UDP客户端服务器网络编程就是实现两台计算机的通信互联网协议族即通用标准协议，任何私有网络只要支持这个协议，就可以接入互联网。socketsocke模块的socket()函数importsocketsock=socket.socket(AddressFamily,type)参数说明：AddressFamily：指定套接字家族（AddressFamily
  • C语言Socket编程：实现TCP通信 ArqLoop tcp/ipc语言网络信息与通信
    Socket编程是一种在计算机网络中实现通信的常用方法。它提供了一种可靠的、面向连接的通信方式，可以用于在不同的计算机之间进行数据传输。本文将介绍如何使用C语言编写Socket程序，实现TCP通信。在开始编写Socket程序之前，我们需要了解一些基本的概念和术语。TCP（传输控制协议）是一种可靠的、面向连接的协议，它提供了端到端的数据传输。服务器和客户端通过建立连接来进行通信。服务器监听特定的端口
  • 密码学 网络安全 科普 网络安全密码技术 黑客-秋凌 密码学web安全安全
    网络加密包括密码技术和网络加密方法两个方面。一、密码技术密码技术一般分为常规密码和公钥密码。常规密码是指收信方和发信方使用相同的密钥，即加密密钥和解密密钥是相同或等价的。比较著名的常规密码算法有DES及其各种变形、IDEA、FEAL、Skipjack、RC4、RC5等。在众多的常规密码中影响最大的是DES密码。常规密码的优点是有很强的保密强度，且能经受住时间的检验和攻击，但其密钥必须通过安全的途径
  • 序列化和反序列化 南林yan Linux学习网络
    目录一、什么是序列化和反序列化？二、利用Jsoncpp实现序列化和反序列化1.序列化(1)使用Json::Value的toStyledString方法(2)使用Json::StreamWriterf方法(3)使用Json::FastWriterff方法2.反序列化(1)使用Json::Reader方法三、数据封装（消息定界）——解决TCP通信粘包问题一、什么是序列化和反序列化？我们之前进行网络编程
  • Threejs 实现 VR 看房完结 多喜乐 长安宁 threejsvuevrvue.jsthree
    效果：threejs3dVr看房gitee地址：threejs-3d-map:1、threejs实现3d地图效果链接：https://blog.csdn.net/qq_57952018/article/details/1430539902、threejs实现vr看房主要代码：src/views/PanoramicView/index.vueimport{computed,onMounted,onU
  • 知识库全链路交互逻辑 賢843 软件测试理论基础python
    阶段顺序URL输入→网络连接→前端请求→后端处理→数据库交互→数据返回→前端渲染→连接关闭阶段1：用户输入URL用户行为：在浏览器地址栏输入`https://knowledge.com/search?keyword=金融趋势`浏览器动作：“浏览器解析URL：​协议补全：若用户省略协议，浏览器自动添加https://（若网站支持HTTPS）​字符转义：对中文、空格等特殊字符编码（如金融趋势→%E9%
  • 【Devops】DevOps and CI/CD Pipelines 一袋米扛几楼98 Devopsdevopsci/cd运维
    1.什么是DevOps？DevOps是开发（Development）和运维（Operations）的结合，旨在缩短软件开发生命周期，同时交付高质量的软件。翻译：DevOps是一种结合开发和运维实践的方法，目标是缩短软件开发生命周期，同时确保软件的高质量交付。2.DevOps的关键原则协作：开发和运维团队之间的紧密合作。持续集成与持续交付（CI/CD）：自动化代码集成和交付流程。自动化：自动化构建、
  • 蓝易云 - kubernetes介绍,什么是k8s,kubernetes概念,组件介绍 蓝易云 kubernetes容器云原生驱动开发开发语言
    Kubernetes（常简称为K8s）是一个开源的容器编排和管理平台，用于自动化部署、扩展和管理容器化应用程序。Kubernetes的概念和组件包括：Pod：最小的可部署单位，可以包含一个或多个容器，共享网络和存储空间。ReplicaSet：用于维护指定数量的Pod副本，确保应用的可用性和弹性。Deployment：用于管理Pod的版本和更新，实现滚动升级和回滚等。Service：定义一组Pod的
  • janeczku / calibre-web忘记密码 命令行重置密码 慌雨 前端linux运维
    根据博客https://blog.csdn.net/gaoxiangfei/article/details/137070897但一直报错：Passworddoesn’tcomplywithpasswordvalidationrules进入容器：dockerexec-itcontainer_id/bin/bash直到我尝试这样的方式：root@782e4226f457:/#python3/app/c
  • PHP语言的学习路线 AI向前看 包罗万象golang开发语言后端
    PHP语言的学习路线PHP（HypertextPreprocessor）是一种广泛使用的开源服务器端脚本语言，尤其适用于Web开发。由于其易学易用、功能强大，PHP成为了许多动态网站和Web应用程序开发的首选语言。随着Web3.0和云计算的兴起，掌握PHP语言将为你的职业发展和技术提升提供重要助力。本文将为你提供一条系统化的PHP学习路线，帮助你从零基础逐步成为PHP开发高手。第一部分：基础知识1
  • 202年充电计划——自学手册 网络安全（黑客技术） 网安康sir web安全安全网络pythonlinux
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
  • element表格滚动错位问题，使用uniapp写的项目 院人冲冲冲 uni-app
    element表格设置滚动条滚动到底错位_element表格滚动条无法滚动到最后-CSDN博客参考上面的博主写的::v-deep::-webkit-scrollbar{display:block!important;width:8px!important;height:8px!important;background:rgb(241,241,241)!important;-webkit-appea
  • API调试工具隐藏隐患大揭秘：Apipost离线模式如何破解强制登录难题
    当你正在高铁隧道里调试API，突然弹出登录框提示，很多程序员不知道，离开网络环境的开发行为，有可能隐藏着两个隐患：强制登录：调试本机接口须云端授权网络依赖的调试困境：离线环境直接变成数字孤岛当你的账号数据在其他软件上"云端同步"时，Apipost早已通过“支持离线”、”不登陆即可用”的游客模式打破这一僵局。今天我们以国内API开发软件领域里最热门的两款工具Apifox和Apipost为例，通过三组
  • 无需登录&离线调试！API开发工具，我为什么选Apipost而不是Apifox？
    当你正在高铁隧道里调试API，突然弹出登录框提示，很多程序员不知道，离开网络环境的开发行为，有可能隐藏着两个隐患：强制登录：调试本机接口须云端授权网络依赖的调试困境：离线环境直接变成数字孤岛当你的账号数据在其他软件上"云端同步"时，Apipost早已通过“支持离线”、”不登陆即可用”的游客模式打破这一僵局。今天我们以国内API开发软件领域里最热门的两款工具Apifox和Apipost为例，通过三组
  • Python爬虫实战：从青铜到王者的数据采集进化论 Loving_enjoy 实用技巧爬虫python
    #开篇：当你打开浏览器时，爬虫程序在暗处露出了姨母笑某日凌晨3点，程序员老张盯着满屏的404错误，突然领悟了爬虫的真谛——这哪里是数据采集，分明是与网站运维人员斗智斗勇的谍战游戏！本文将带你体验从"HelloWorld"式爬虫到工业级采集系统的奇幻漂流，全程高能预警，请系好安全带。---###第一章青铜时代：初学者的三板斧####1.1环境搭建：你的第一把手术刀安装Python就像选择武器库：``
  • Python漂浮爱心代码 Want595 趣味编程python开发语言
    目录系列文章前言小海龟漂浮爱心完整代码尾声系列文章序号直达链接表白系列1Python无法拒绝的表白界面（完整代码）_python玫瑰花雨编程-CSDN博客2Python满屏飘字表白代码（完整代码）_抖音同款满屏飘字表白代码(python版)-CSDN博客3Python无限弹窗满屏表白代码（完整代码）_python弹窗满屏幕-CSDN博客4Python李峋同款跳动的爱心（完整代码）_python绘制
  • VSCode 2025最新后端开发必备插件汇总（必备插件合集，Python、Java、Go等语言） Code_流苏 实用软件与高效工具vscodepythonjava后端开发必备插件合集
    前言:作为微软推出的轻量级跨平台编辑器，VSCode凭借智能代码补全、远程开发、Git集成等核心功能，已成为后端开发者首选工具。其强大的插件生态更是覆盖了主流后端语言支持、代码质量优化、性能分析等全场景需求。名人说：博观而约取，厚积而薄发。——苏轼《稼说送张琥》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder）目录一、语言支持类插件二、代码质量和格式化工具三、数据库工具四、AP
  • C++中栈的用法 冬瓜生鲜 1大学学习的算法
    简单记忆，具体详细见：https://blog.csdn.net/qq_20366761/article/details/70053813c++栈的方法的基本用法：push():向栈内压入一个成员；pop():从栈顶弹出一个成员；empty():如果栈为空返回true，否则返回false；top():返回栈顶，但不删除成员；size():返回栈内元素的大小；#include#includeusin
  • Rust Web开发常用库 cci497 后端rust开发语言后端
    本集合中所有库都是在开源项目中广泛使用且在2024年积极维护的库，排名靠前的库是当前使用比较广泛的，不全面但够用Rust异步运行时tokio：异步运行时async_std：与标准库兼容性较强的运行时monoio：字节开源smol：一个小型快速的运行时RustWeb框架&网络通信其他Web框架见https://juejin.cn/post/7406997325715554315axum：注重人体工程
  • 数据挖掘技术介绍 柒柒钏 数据挖掘数据挖掘人工智能
    数据挖掘技术介绍分类聚类关联规则挖掘预测异常检测特征选择与降维文本挖掘序列模式挖掘深度学习集成学习数据挖掘（DataMining）是一种从大量数据中提取有用信息和模式的技术，旨在从数据中发现隐藏的规律、趋势或关系，从而为决策提供支持。分类定义：是一种监督学习方法，用于将数据分为不同的类别。功能：根据已标记的训练数据，学习一个模型，用于预测新数据的类别。方法：决策树、支持向量机、神经网络、逻辑回归、
  • LoRa无线技术解析 wmq163 物联网lora
    一、Lora技术基础与特点1、LoRa是一种低功耗广域网通信（LPWAN）技术中的一种，是Semtech公司采用和推广的一种基于扩频技术的超远距离无线传输技术。比sigfox的FSK技术更加灵敏，传送距离更远，更节能。2、LoRa是物理层（PHY）协议，能被应用在几乎所有的网络技术中。3、LoRa模块主要在全球免费频段运行，频率范围从137MHz-1050MHz，常见的主要是433MHz、868M
  • PINN物理信息网络 | 基于物理信息神经网络PINN求解Burger方程 算法如诗 物理信息网络（PINN）神经网络人工智能深度学习物理信息网络
    基于物理信息神经网络（PINN）求解Burger方程的研究背景源于对非线性偏微分方程（PDE）求解方法的不断探索和改进。传统的数值方法，如有限差分法和有限元法，通常需要进行网格离散化和迭代求解，对于复杂的非线性问题计算成本较高。因此，研究人员开始探索基于机器学习和神经网络的新方法来求解PDEs。神经网络在近年来取得了显著的发展，能够通过学习大量数据来建立输入和输出之间的复杂映射关系。然而，将神经网
  • PINN物理信息网络 | 利用物理信息神经网络进行流体动力学建模 算法如诗 物理信息网络（PINN）神经网络机器学习人工智能流体动力学建模PINN物理信息网络
    背景物理信息神经网络（Physics-InformedNeuralNetworks，PINN）是一种结合了神经网络和物理方程的方法，用于建模和求解物理问题。传统的基于物理方程的数值方法在处理复杂的非线性偏微分方程时可能面临数值稳定性、高计算复杂度和网格依赖性等问题。而PINN作为一种数据驱动的方法，通过使用神经网络来近似物理方程，能够有效地解决这些问题。在流体动力学建模中，PINN可以应用于求解N
  • 图神经网络学习笔记—高级小批量处理（专题十四） AI专题精讲 图神经网络入门到精通人工智能
    小批量（mini-batch）的创建对于让深度学习模型的训练扩展到海量数据至关重要。与逐条处理样本不同，小批量将一组样本组合成一个统一的表示形式，从而可以高效地并行处理。在图像或语言领域，这一过程通常通过将每个样本缩放或填充为相同大小的形状来实现，然后将样本在一个额外的维度中分组。该维度的长度等于小批量中分组的样本数量，通常称为batch_size。由于图是能够容纳任意数量节点或边的最通用的数据结
  • Dom 周华华 JavaScripthtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • 【Spark九十六】RDD API之combineByKey bit1129 spark
    1. combineByKey函数的运行机制   RDD提供了很多针对元素类型为(K,V)的API，这些API封装在PairRDDFunctions类中，通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一   首先看一下combineByKey的方法说明：
  • msyql设置密码报错：ERROR 1372 (HY000): 解决方法详解 daizj mysql设置密码
    MySql给用户设置权限同时指定访问密码时，会提示如下错误： ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；   问题原因：你输入的密码是明文。不允许这么输入。   解决办法：用select password('你想输入的密码');查询出你的密码对应的字符串， 然后
  • 路漫漫其修远兮 吾将上下而求索 周凡杨 学习 思索
    王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者，罔不经过三种之境界。“昨夜西风凋碧树。独上高楼，望尽天涯路。”此第一境界也。“衣带渐宽终不悔，为伊消得人憔悴。”此第二境界也。“众里寻他千百度，蓦然回首，那人却在灯火阑珊处。”此第三境界也。学习技术，这也是你必须经历的三种境界。第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。这里，注
  • Hadoop(二)对话单的操作 朱辉辉33 hadoop
    Debug： 1、 A = LOAD '/user/hue/task.txt' USING PigStorage(' ') AS (col1,col2,col3); DUMP A; //输出结果前几行示例： (>ggsnPDPRecord(21),,) (-->recordType(0),,) (-->networkInitiation(1),,)
  • web报表工具FineReport常用函数的用法总结（日期和时间函数） 老A不折腾 finereport报表工具web开发
    web报表工具FineReport常用函数的用法总结（日期和时间函数）   说明：凡函数中以日期作为参数因子的，其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。   DATE DATE(year,month,day):返回一个表示某一特定日期的系列数。 Year:代表年，可为一到四位数。 Month:代表月份。
  • c++ 宏定义中的##操作符 墙头上一根草 C++
    #与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a)   #a #define h(a) g(a) int main() {       &nbs
  • 分析Spring源代码之，DI的实现 aijuans springDI现源代码
    (转) 分析Spring源代码之，DI的实现 2012/1/3 by tony                 接着上次的讲，以下这个sample [java]  view plain copy print
  • for循环的进化 alxw4616 JavaScript
    // for循环的进化 // 菜鸟 for (var i = 0; i < Things.length ; i++) { // Things[i] } // 老鸟 for (var i = 0, len = Things.length; i < len; i++) { // Things[i] } // 大师 for (var i = Things.le
  • 网络编程Socket和ServerSocket简单的使用 百合不是茶 网络编程基础IP地址端口
      网络编程;TCP/IP协议   网络:实现计算机之间的信息共享,数据资源的交换   协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去   端口:用于计算机之间的通信      每运行一个程序，系统会分配一个编号给该程序，作为和外界交换数据的唯一标识 0~65535   查看被使用的
  • JDK1.5 生产消费者 bijian1013 javathread生产消费者java多线程
    ArrayBlockingQueue：        一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列检索操作则是从队列头部开始获得元素。 ArrayBlockingQueue的常用方法：
  • JAVA版身份证获取性别、出生日期及年龄 bijian1013 java性别出生日期年龄
            工作中需要根据身份证获取性别、出生日期及年龄，且要还要支持15位长度的身份证号码，网上搜索了一下，经过测试好像多少存在点问题，干脆自已写一个。 CertificateNo.java package com.bijian.study; import java.util.Calendar; import
  • 【Java范型六】范型与枚举 bit1129 java
    首先，枚举类型的定义不能带有类型参数，所以，不能把枚举类型定义为范型枚举类，例如下面的枚举类定义是有编译错的   public enum EnumGenerics<T> { //编译错，提示枚举不能带有范型参数 OK, ERROR; public <T> T get(T type) { return null;
  • 【Nginx五】Nginx常用日志格式含义 bit1129 nginx
    1. log_format 1.1 log_format指令用于指定日志的格式，格式：   log_format name(格式名称) type(格式样式)   1.2 如下是一个常用的Nginx日志格式：   log_format main '[$time_local]|$request_time|$status|$body_bytes
  • Lua 语言 15 分钟快速入门 ronin47 lua 基础
    - - 单行注释 - - [[      [多行注释] - - ]]   - - - - - - - - - - - 1. 变量 & 控制流 - - - - - - - - - - num = 23 - - 数字都是双精度 str = 'aspythonstring'
  • java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 ) bylijinnan java
    the idea is from: http://blog.csdn.net/zhanxinhang/article/details/6731134 public class MaxSubMatrix { /**see http://blog.csdn.net/zhanxinhang/article/details/6731134 * Q35 求一个矩阵中最大的二维
  • mongoDB文档型数据库特点 开窍的石头 mongoDB文档型数据库特点
    MongoDD: 文档型数据库存储的是Bson文档-->json的二进制 特点：内部是执行引擎是js解释器，把文档转成Bson结构，在查询时转换成js对象。 mongoDB传统型数据库对比    传统类型数据库：结构化数据，定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的    文档型数据库：不用定好数据结构，
  • [毕业季节]欢迎广大毕业生加入JAVA程序员的行列 comsci java
        一年一度的毕业季来临了。。。。。。。。      正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业，可以考虑来我们软件行业，做一名职业程序员。。。      软件行业的开发工具中，对初学者最友好的就是JAVA语言了，网络上不仅仅有大量的
  • PHP操作Excel – PHPExcel 基本用法详解 cuiyadll PHPExcel
    导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
  • IBM Webshpere MQ Client User Issue (MCAUSER) darrenzhu IBMjmsuserMQMCAUSER
    IBM MQ JMS Client去连接远端MQ Server的时候，需要提供User和Password吗？ 答案是根据情况而定，取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。 http://stackoverflow.com/questions/20209429/how-mca-user-i
  • 网线的接法 dcj3sjt126com
    一、PC连HUB (直连线)A端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 二、PC连PC （交叉线）A端：(568A)： 白绿，绿，白橙，蓝，白蓝，橙，白棕，棕； B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 三、HUB连HUB&nb
  • Vimium插件让键盘党像操作Vim一样操作Chrome dcj3sjt126com chromevim
    什么是键盘党？ 键盘党是指尽可能将所有电脑操作用键盘来完成，而不去动鼠标的人。鼠标应该说是新手们的最爱，很直观，指哪点哪，很听话！不过常常使用电脑的人，如果一直使用鼠标的话，手会发酸，因为操作鼠标的时候，手臂不是在一个自然的状态，臂肌会处于绷紧状态。而使用键盘则双手是放松状态，只有手指在动。而且尽量少的从鼠标移动到键盘来回操作，也省不少事。 在chrome里安装 vimium 插件
  • MongoDB查询（2）——数组查询[六] eksliang mongodbMongoDB查询数组
    MongoDB查询数组 转载请出自出处：http://eksliang.iteye.com/blog/2177292 一、概述  MongoDB查询数组与查询标量值是一样的，例如，有一个水果列表，如下所示： > db.food.find() { "_id" : "001", "fruits" : [ "苹
  • cordova读写文件（1） gundumw100 JavaScriptCordova
    使用cordova可以很方便的在手机sdcard中读写文件。 首先需要安装cordova插件：file 命令为： cordova plugin add org.apache.cordova.file 然后就可以读写文件了，这里我先是写入一个文件，具体的JS代码为： var datas=null;//datas need write var directory=&
  • HTML5 FormData 进行文件jquery ajax 上传 到又拍云 ileson jqueryAjaxhtml5FormData
    html5 新东西：FormData  可以提交二进制数据。 页面test.html <!DOCTYPE> <html> <head> <title> formdata file jquery ajax upload</title> </head> <body> <
  • swift appearanceWhenContainedIn:(version1.2 xcode6.4) 啸笑天 version
      swift1.2中没有oc中对应的方法： + (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;  解决方法： 在swift项目中新建oc类如下： #import &
  • java实现SMTP邮件服务器 macroli java编程
    电子邮件传递可以由多种协议来实现。目前，在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP，下面分别简单介绍。 　　◆ SMTP 协议 　　简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议，用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
  • mongodb group by having where 查询sql qiaolevip 每天进步一点点学习永无止境mongo纵观千象
    SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250 db.orders.aggregate( [ { $match: { status: 'A' } }, { $group: {
  • Struts2 Pojo（六） Luob. POJOstrust2
    注意：附件中有完整案例 1.采用POJO对象的方法进行赋值和传值 2.web配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee&q
  • struts2步骤 wuai struts
    1、添加jar包 2、在web.xml中配置过滤器 <filter>        <filter-name>struts2</filter-name>        <filter-class>org.apache.st
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他