谢厂节_编程圈
谢厂节_编程圈

OSF SDN在云计算网络虚拟化中的应用

感谢张卫峰老师辛勤付出。

今天讲的这些我基本不懂，需要多学习。

SDN对云计算网络很重要

当前OpenStack Neutron的问题

  • SDN网络虚拟化方案一览
  • OVS的子项目OVN介绍
  • 盛科DVNP架构和应用场景

SDN不是一种具体的技术，而是一种思想，一种理念，一种体系框架。

核心诉求，让软件参与网络控制中，不是让路由协议参与网络控制，让应用参与网络控制。

为了满足这种核心诉求，就需要一种新的架构。

OSF SDN在云计算网络虚拟化中的应用_第1张图片

SDN的本质属性：

  • 控制与转发分离 
  • 开放的编程接口
  • 集中化的网络控制

SDN的核心价值：

  • 不在于能够解决传统网络解决不了的问题，而在于比传统网络做得更快捷、更可靠、更省力
    如开通虚拟主机，让用户自主控制，不需要客服人员去操作；
  • 不是让控制控制一切，而是让控制器去控制用户想控制的部分
    如有些设备是数据转发设备，没必要控制器去控制；而有价值的部分才需要控制器控制。在云计算上控制器控制的是最边缘的控制交换机，不需要控制中间的物理交换机。

IaaS云计算网络将SDN的优势发挥到极致

IaaS云计算平台是标准的SDN架构

控制（云计算控制平台）与转发（虚拟或者物理交换机）

开放的编程接口（南向和北向都是开放的接口）
集中化控制（云集中控制所有设备）
可编程API

集中化控制

云平台获取全局信息

OpenStack网络架构
OSF SDN在云计算网络虚拟化中的应用_第2张图片

两种组网方式的比较


VLan

优势 ：

简单稳定 高性能

缺点：

4KVlan限制
需要在所有物理交换机的所有端口上预配置所有Vlan
物理网络拓扑必须是大二层架构，难以处理更复杂的拓扑。

Tunnel组网

优点：

灵活性高，底层拓扑无关
租户数量可以达16M

缺点：

Encap/Decap带来的性能损耗
不方便将bare-metal server接入虚拟网络

Neutron当前的问题

J版本之前不支持DVR 分布式虚拟路由
J版本支持DVR，但不成熟、DVR用了大量name space，比较重量级，规模大了有压力。

Neutron自身对FwaaS、VPNaaS、Security Group等支持力度较弱
数据校验和错误处理不严谨，容易发生数据不一致
要基于VMwareESX/ESXi支持VPC，要么购买昂贵的NSX，要么用效率很低的方式来做。

SDN网络虚拟化方案一览

纯软件

Juniper Contrail
Vyatta(Brocade)
Nuage9ALU)
Midokura

硬件+软件

Cisco ACI
Centec

虚拟三层路由转发

集中式虚拟网关

OpenStack Juno之前版本

分布式虚拟网关

OpenStack Juno版本
NSX，Contrail，Centec等商业软件

半分布式虚拟网关

绝大多数宣称有VR的平台，如CloudStack，某些商业软件

分布式路由只管东西向三层，南北向还是要走集中网关

SDN网络虚拟化方案1：Neutron作为集中式控制器

Neutron拥有一切拓扑信息，通过plugin实时分发给相应计算节点Agent
Agent根据PACKET学习创建二层转发流表
Agent根据接收的拓扑信息操作kernel路由表，使用namespace做隔离
典型代理是OpenStackNeutron原生态网络

SDN网络虚拟化方案2：独立的集中式控制器

Neutron拥有一切拓扑信息，全部发送给独立控制器
控制器将转换后的信息发送给计算节点Agent
Agent根据控制器指令，proactive创建转发表
Mismatch的报文送到集中控制器去学习
典型代表是Juniper Contrail

SDN网络虚拟化方案3：分布式控制器

UTRON拥有一切拓扑信息，通过PLUGIN写到独立数据库
每个计算节点中的控制器向数据库服务器订阅本节点需要的数据
每个计算节点中的控制器reactive or proactivea创建转发表
Mismatch的报文在本地控制器学习
典型代表是盛科的DVNP（Distributed Virtualized Network Platform)
盛科的方案中，还可以支持硬件VTEP接入物理机

SDN网络虚拟化方案4：集中式控制器+硬件转发

Neutron拥有一切拓扑信息，通过plugin发给控制器
控制器将拓扑信息发到物理fabric网络（整个物理网络对外呈现为一个黑盒）
每台物理交换机里面的agent根据控制器发过来的信息，自行计算形成虚拟转发表，二层和三层
非虚拟化相关的物理转发表项由传统二三层协议形成
典型代表是思科的ACI

OVS 的子项目OVN介绍

OVN：Open Virtual Network
是OVS的开发团队新创建的一个subproject，
用来补充网络虚拟化环境中OVS缺失的功能
主要提供轻量级的控制面功能
不依赖于特定的OVS版本，以独立的进程运行

OVS提供什么：

原生态OVS仅仅提供：

Simple L2 protocol (NV不会使用)
OVSDB（NV 用它来配置resource）
OpenFlow（转发面功能，用来实现NV流表）
L2 Forwarding

现在的OpenStack Neutron仅仅用了OVS转发面功能
OVS需要由额外的agent来控制，参与网络虚拟化

OVS仅仅提供一个Virtual Switch，而OVN提供的是一个完整的Network，包括L2，L3，Security，QoS..
OVN工作原理：

提供一个OVN Plugin
提供一个轻量级的控制面
从Neutron plugin接受拓扑信息
配置OVS，直接在OVS kernel module实现，L2/L3/Security/QoS/Tunnel
支持NvGRE/VxLan/Geneve/STT
可以通过software VTEP接入物理机，也可以通过设备商的SDN交换机接入物理机。

OVN Architecture

OSF SDN在云计算网络虚拟化中的应用_第3张图片

OVN意味着什么

OVN还是初级阶段，但一旦成熟，所有商业化方案都会受到威胁

OpenStackDVR也可能被取代。

但网络虚拟化需要的东西远远超过OVN的work scope，

OVN缺少VPN，LB，运维管理等工具，仅仅提供了基础的网络二三层虚拟化功能

而且OVN可能不依赖于OpenStack

对比现有的OpenStackDVR

OSF SDN在云计算网络虚拟化中的应用_第4张图片

盛科DVNP架构和应用场景

DVNP:Distributed Virtual Network Platform
全分布式东西向二层Bridge和三层Route转发
全分布式控制器
严谨的数据一致性校验
高效的轻量级的kernel转发面设计
方便地支持虚拟机和物理机混合组网
不购买 NSX就可以支持VMware下的VPC
方便地支持多种hypervisor混合下的VPC
不依赖于任何云平台的任何版本

盛科DVNP架构：无硬件offload

OSF SDN在云计算网络虚拟化中的应用_第5张图片

DataFlow in Centec Agent(ingress)

OSF SDN在云计算网络虚拟化中的应用_第6张图片

DataFlow in Centec Agent (egress)

OSF SDN在云计算网络虚拟化中的应用_第7张图片

盛科DVNP架构：硬件Offload和硬件 VTEP

OSF SDN在云计算网络虚拟化中的应用_第8张图片


硬件Offload下的转发面流程

OSF SDN在云计算网络虚拟化中的应用_第9张图片

物理机和虚拟机混合组网

Centec cloud manager 提供Cloud Console 命令行和API

管理员通过Cloud Console命令行或者API动态增加、删除bare-metal server，分配local vlan，指定租户和network，并配置到SDN TOR Switch

SDN TOR Switch 将Vlan转换为相应的Tunnel VNI，反之亦然

SDN TOR 需要同时做Bridge/route to tunnel

一些别的实现方式：1虚1，安装OVS，使用docker，都不如使用SDN GW来得高效、简单、方便 。

使用VMware产品的用户面临的问题

市场有大量的存量VMWare产品，这些产品不支持VPC

VMWare 提供driver到OpenStack，但是仅限于legacy vDS支持（无法支持完整VPNC功能）


当前的一些解决方案：

要基于legacy VMWare产品支持VPC，必须能够控制它的vSwitch，但显然做不到。



OSF SDN在云计算网络虚拟化中的应用_第10张图片


基于SDN TOR 实现VMWare和VPC

整体架构参考DVNP：硬件Offload架构

云平台获取VM的主机、IP、Mac、local vlan，所属租户

云平台控制SDN TOR，将Local Vlan映射成tunnel，

可以使用OpenStack ， 也可以在vCenter之上再包装一个平面。



你可能感兴趣的:(运维,云计算,网络,sdn,云计算平台,openstack)

  • win32汇编环境,网络编程入门之九 一品人家 汇编
    ;在上一教程里，我们学习了在连接成功网站后，应该发送什么数据给网站;在前面的几个教程里，简单地运行了套接字机制连接网站的方式，这是字节级的网络连接，扩展几乎是无限的。;想了想，这个开个头就行了，暂时放下来，再讲下去越搞越复杂，还是把一些基础运用的方式讲一讲。以后回头再来研究它。;从这个教程开始，讲一下部分微软专用网络API的运用。;微软网络API有2个值得一提，1个是WinInet,还1个是Win
  • Linux内核网络源码分析——发送数据 hellolwl Android/Linuxlinux内核网络structoutputsocketconstructor
    原文地址:http://www.penna.cn/blog/?p=218UDP发送：|sys_writefs/read_write.c|sock_writevnet/socket.c|sock_sendmsgnet/socket.c|inet_sendmsgnet/ipv4/af_inet.c|udp_sendmsgnet/ipv4/udp.c|ip_build_xmitnet/ipv4/ip_o
  • CPU占用率飙升至100%：是攻击还是正常现象？ 群联云防护小杜 安全问题汇总ddos安全waf服务器cpu占用被攻击
    在运维和开发的日常工作中，CPU占用率突然飙升至100%往往是一个令人紧张的信号。这可能意味着服务器正在遭受攻击，但也可能是由于某些正常的、但资源密集型的任务或进程造成的。本文将探讨如何识别和应对服务器的异常CPU占用情况，并通过Python脚本示例，提供一种监控和诊断CPU占用率的方法。一、CPU占用率100%：攻击or正常？1.1攻击迹象持续性高占用：如果CPU占用率长时间保持在100%，且没
  • 从5G向6G演进的三维连接 宋罗世家技术屋 智能科学与技术专栏5G
    【摘要】三维连接技术作为地面网络（TN）与非地面网络（NTN）的融合组网技术，既能解决TN空天地海覆盖受限与NTN服务场景受限问题，又能促进后5G（B5G）与6G网络基础设施产业链的健康发展。首先简述了三维连接技术的发展历程，然后重点介绍了未来两年将要完成的5GNTN标准需求、部署结构、空中接口、频谱与终端方面的设计考虑，最后给出了对未来B5G/6G三维连接技术展望，提出了需要全球产学研机构共同研
  • Centos7部署Graylog5.2日志系统 LoongKK linux运维linuxsshgraylogcentos日志
    Graylog5.2部署Graylog5.2适配MongoDB5.x~6.x，MongoDB5.0+要求CPU支持AVX指令集。主机说明localhost部署Graylog，需要安装mongodb-org-6.0、Elasticsearch7.10.2参考：https://blog.csdn.net/qixiaolinlin/article/details/129966703https://blo
  • 一文读懂 Linux 下 Docker 搭建及简单应用 Waitccy linuxdocker运维服务器
    一、引言在Linux系统的运维与开发场景中，Docker凭借其高效的容器化技术，极大地简化了应用部署与管理流程。它打破了传统环境配置的复杂性，实现应用及其依赖的封装，确保在不同环境中稳定运行。本文将详细介绍在Linux系统下搭建Docker的步骤，并通过几个简单应用示例，带你快速上手Docker。二、Linux下Docker搭建（一）准备工作系统要求：建议使用主流的Linux发行版，如Ubuntu
  • Android安全通信实现 Ya-Jun android安全
    Android安全通信实现前言在移动应用开发中，网络通信安全至关重要。本文将详细介绍Android平台上的安全通信实现方案，包括HTTPS协议、证书验证、双向认证等核心技术，帮助开发者构建安全可靠的网络通信机制。一、HTTPS基础知识1.1HTTPS原理HTTPS（超文本传输安全协议）是HTTP协议的安全版本，通过SSL/TLS协议进行加密通信，确保数据传输的安全性。1.1.1SSL/TLS协议工
  • node-ddk, electron 组件,任务栏,托盘,通知 eli960 node-ddkelectronjavascriptnode.js
    node-ddk任务栏,托盘,通知https://blog.csdn.net/eli960/article/details/146207062也可以下载demo直接演示http://linuxmail.cn/go#node-ddk在渲染进程(既web端)操作importrenderer,{NODEDDK}from"node-ddk/renderer"letw=renderer.window//让托
  • node-ddk,electron 开发组件 eli960 node-ddkelectronjavascript前端node.jsjs
    node-ddk-demo说明node-ddk是ELECTRON开发框架,封装常见操作npminode-ddk演示:https://live.csdn.net/v/468440本项目是一个DEMO,项目地址:https://gitee.com/linuxmail/node-ddk-demogitclonehttps://gitee.com/linuxmail/node-ddk-democdnode
  • CMake 开发库(Library)的最佳实践 arong-xu CMakec++CMake最佳实践
    1.使用ModernCMake开发库CMake在C++社区中非常流行,可以说是事实上的C++包管理工具.在MeetingC++开发者调查中,有75.73%的受访者表示自己使用CMake作为构建工具.选择一个广泛流行的工具来打包库意味着你的项目更容易被别人使用.本文将从一个简单的库的打包样例开始,介绍编写CMake的最佳实践.由于CSDN的markdown不支持highlight特定行,有兴趣的读者
  • 网络安全知识：网络安全网格架构 网络安全-杰克 web安全架构安全
    在数字化转型的主导下，大多数组织利用多云或混合环境，包括本地基础设施、云服务和应用程序以及第三方实体，以及在网络中运行的用户和设备身份。在这种情况下，保护组织资产免受威胁涉及实现一个统一的框架，该框架根据组织内每个实体的上下文提供安全性。此外，强化组合环境需要可互操作的跨域功能，以增强协作，这样就不需要多个解决方案来实现相同的功能。在这种情况下，网络安全网格架构（CSMA）提供了一种可扩展的方法来
  • node-ddk, electron组件, 自定义本地文件协议,打开本地文件 eli960 node-ddkelectronjavascript前端node.js
    node-ddk文件协议https://blog.csdn.net/eli960/article/details/146207062也可以下载demo直接演示http://linuxmail.cn/go#node-ddk安全考虑到安全,本系统禁止使用file:///在主窗口,自定义文件协议,可以多个importmain,{NODEDDK}from"node-ddk/main"main.protoc
  • CentOS7 python安装Ta-lib 0.6.x【talib不能直接安装，必须先安装ta_lib之c++库才可以】 weixin_43343144 服务器运维
    正常流程：CentOS7python安装Ta-lib【talib不能直接安装，必须先安装ta_lib之c++库才可以】_centos7安装ta-lib-CSDN博客不同的版本参考如下！参考官方文档：ta-lib·PyPI务必下载匹配版本的【ta-lib-0.6.4-src.tar.gz】才可以正常安装$wgethttps://github.com/ta-lib/ta-lib/releases/do
  • conda安装R语言环境并部署至pycharm 楚门留香 r语言开发语言
    优先看这个：[win10系统使用Pycharm-professional配置R语言-知乎(zhihu.com)](https://zhuanlan.zhihu.com/p/546788455)要安装R4.0.0的时候看这个：[R语言的安装（详细教程）_r语言安装教程-CSDN博客](https://blog.csdn.net/xhmico/article/details/122443660)r语言
  • 机器学习——分类、回归、聚类、LASSO回归、Ridge回归（自用） 代码的建筑师 模型学习模型训练机器学习机器学习分类回归正则化项LASSORidge朴素
    纠正自己的误区：机器学习是一个大范围，并不是一个小的方向，比如：线性回归预测、卷积神经网络和强化学都是机器学习算法在不同场景的应用。机器学习最为关键的是要有数据，也就是数据集名词解释：数据集中的一行叫一条样本或者实例，列名称为特征或者属性。样本的数量称为数据量，特征的数量称为特征维度机器学习常用库：Numpy和sklearn朴素的意思是特征的各条件都是相互独立的机器学习（模型、策略、算法）损失函数
  • 基于Qt开发：实现对海康威视网络摄像头视频画面实时预览 鱼弦 Qt学习与实践音视频开发系列实践Linux系统编程与驱动开发arm开发
    鱼弦：公众号【红尘灯塔】，CSDN博客专家、内容合伙人、新星导师、全栈领域优质创作者、51CTO(Top红人+专家博主)、github开源爱好者（go-zero源码二次开发、游戏后端架构https://github.com/Peakchen）介绍:本文将介绍如何基于Qt开发框架,实现对海康威视网络摄像头的二次开发应用程序。该应用程序可以实时预览摄像头视频画面,并支持控制云台的水平和垂直移动。这种二
  • 探秘高并发网络编程：从基础原理到实战优化 拉姆样子 课程设计
    一、引言在当今数字化时代，高并发应用无处不在，从大型电商平台的抢购活动，到热门在线游戏的多人实时对战，这些场景背后都离不开高效的高并发网络编程技术。深入理解高并发网络编程，不仅能让开发者构建出更强大、稳定的应用系统，还能为应对复杂多变的业务需求提供有力保障。接下来，我们将从基础原理逐步深入到实战优化，全方位探秘高并发网络编程。二、基础原理（一）网络通信基础在网络编程中，最基本的概念是套接字（Soc
  • C++在线OJ负载均衡项目 平凡的小y c++开发语言
    1.演示项目项目源码链接：2.项目所用技术和开发环境所用技术C++STL标准库Boost准标准库(字符串切割)cpp-httplib第三方开源网络库ctemplate第三方开源前端网页渲染库jsoncpp第三方开源序列化、反序列化库负载均衡设计MySQLCconnectAce前端在线编辑器html/css/js/jquery/ajax开发环境Ubuntu云服务器vscodeMysqlWorkben
  • 计算机网络&性能优化相关内容详解 GISer_Jinger javascript前端
    1.优化页面性能：根据搜索结果，优化可以从资源加载、渲染优化、缓存策略等方面入手。网页1提到合并文件、压缩图片、使用CDN和HTTP/2。网页2和3强调了关键资源划分、减少HTTP请求、代码拆分和预加载。我需要综合这些点，分块回答。2.滚动性能优化及虚拟滚动核心：用户提到虚拟滚动是关键。网页6、8、9、10详细介绍了虚拟滚动的原理，即仅渲染可视区域元素，减少DOM操作。需要总结这些内容，并指出核心
  • 计算机网络课程内容详解-ChatGPT4o作答 部分分式 计算机网络
    计算机网络课程是一门系统讲解网络体系结构、通信协议、网络技术和应用的专业课程，旨在帮助学生理解计算机网络的工作原理、设计思想和实际应用。以下是计算机网络课程内容的详细介绍，涵盖知识结构、主要内容及应用方向。一、课程目标掌握计算机网络的基本概念、结构及运行原理。理解计算机网络分层模型（如OSI七层模型和TCP/IP四层模型）。掌握常见的通信协议及其功能（如HTTP、FTP、DNS等）。学会网络设备（
  • Android一个APP里面最少有几个线程 积跬步DEV Android开发实战大全Android
    Android应用启动时，默认会创建一个进程，该进程中最少包含5个系统自动创建的线程，具体如下：Main线程（主线程/UI线程）负责处理用户交互、UI更新等核心操作，所有与界面相关的逻辑必须在此线程执行。若在此线程执行耗时操作（如网络请求），会导致界面卡顿甚至触发ANR（应用无响应）。FinalizerDaemon线程（终结者守护线程）当对象重写了finalize()方法时，该线程负责将这些对象放
  • Docker 容器基础技术：namespace 寻雾&启示 docker容器运维
    在容器内进程是隔离的，比如容器有自己的网络和文件系统，容器内进程的PID为1，这些都是依赖于Linuxnamespace所提供的隔离机制。本篇我们来了解下Linux有哪些namespace，以及它们是如何实现隔离的。文中案例代码均由ChatGPT生成，在Linux内核5.15.0-124-generic，ubuntu22.04LTS系统上测试通过。namespace类型每个进程都有自己所属的nam
  • Python自动登陆、登出南京理工大学NJUST校园网程序 JimesMz python开发语言
    本文程序针对南京理工大学NJUST和NJUST-FREE校园网开发，其他学校无法使用。文章目录开发目的使用说明参考资料开发目的今天突然想要用代码实现一下自动登陆校园网，上网搜寻了一下。知乎有一些教程，CSDN也有一些完整的代码，但是我跟随教程或者直接运行现有代码都没有能够成功登陆，且NJUST校园网付费，我想要一个“登出”功能，借助Kimi自己写了一下。本人技术不精，以实现功能为主。使用说明请确保
  • Python调用fofa API接口并写入csv文件中 YOHO !GIRL 网络测绘python网络安全
    前言一.功能目的二.功能调研三.编写代码1.引入库2.读取数据3.写入csv文件中总结前言上一篇我们讲述了目前较为主流的几款网络探测系统，简单介绍了页面的使用方法。链接如下，点击跳转：网络空间测绘引擎集合：Zoomeye、fofa、360、shodan、censys、鹰图然而当我们需要针对单个引擎进行二次开发时，页面就不能满足我们的需求了，这就需要参考API文档进行简单的数据处理，接下来，给大家介
  • 无法访问 GitHub？教你如何轻松解决 CarlowZJ github
    在开发过程中，GitHub是开发者不可或缺的代码托管平台。然而，由于网络环境或地区限制，国内用户有时会遇到无法访问GitHub的问题。本文将详细介绍几种常见原因及解决方法，帮助你快速恢复对GitHub的访问。一、常见原因及解决方案1.DNS解析问题DNS解析问题是最常见的原因之一，可能导致GitHub的域名无法正确解析为IP地址。解决方法：更换公共DNS：将本地DNS服务器更换为公共DNS，例如G
  • 解决 Ollama 无法通过本地 IP 访问 11434 端口的问题 CarlowZJ tcp/ip网络协议网络
    根据你的描述，你在尝试将Ollama的localhost地址替换为本地IP地址（如192.168.*.*）时，遇到了网络错误，提示无法连接到服务。但在浏览器中访问http://:11434时，Ollama显示正在运行。以下是可能的原因和解决方案：一、问题分析Ollama默认绑定到127.0.0.1默认情况下，Ollama服务绑定到127.0.0.1（即localhost），这意味着它只能接受来自本
  • 回答我！！！如何用“快递分拣”讲明白OSI五层模型？ 茫忙然 计算机网络网络
    刚开始学习计算机网络时，会比较难理解计算机网络的五层协议，毕竟确实挺抽象的，接下来我用寄快递的过程来类比计算机网络的五层协议（物理层、数据链路层、网络层、传输层、应用层），帮助大家理解每一层的功能和作用。1.物理层（PhysicalLayer）——交通工具和道路快递中的比喻：卡车、飞机、轮船等运输工具，以及高速公路、铁路、航线等物理路径。功能：负责将包裹（数据）从一个地点物理传输到另一个地点，不关
  • 178.HarmonyOS NEXT系列教程之列表交换组件错误处理机制 harmonyos-next
    温馨提示：本篇博客的详细代码已发布到git:https://gitcode.com/nutpi/HarmonyosNext可以下载运行哦！HarmonyOSNEXT系列教程之列表交换组件错误处理机制效果演示1.错误处理架构1.1错误类型定义//错误类型枚举enumErrorType{DATA_ERROR,//数据错误OPERATION_ERROR,//操作错误NETWORK_ERROR,//网络错
  • Python基于深度学习的动物图片识别技术的研究与实现 Java老徐 Python毕业设计python深度学习开发语言深度学习的动物图片识别技术Python动物图片识别技术
    博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w+、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟2022-2024年最全的计算机软件毕业设计选题大全：1000个热门选题推荐✅Java项目精品实战案例《100套》Java微信小程序项目实战《100套》感兴趣的可以先收藏起来，还有大家
  • 《当人工智能遇上广域网：跨越地理距离的通信变革》 程序猿阿伟 人工智能
    在数字化时代，广域网作为连接全球信息的纽带，让数据能够在不同地区的网络之间流动。然而，地理距离给广域网数据传输带来诸多挑战，如高延迟、低带宽、信号衰减和不稳定等问题。幸运的是，飞速发展的人工智能技术为解决这些难题提供了新的方向，开启了广域网传输的新篇章。广域网传输面临的地理挑战广域网覆盖范围极为广泛，可连接不同城市、国家甚至跨越洲际，这使得数据传输要跨越漫长的地理距离。以跨国公司的广域网为例，其总
  • Dom 周华华 JavaScripthtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • 【Spark九十六】RDD API之combineByKey bit1129 spark
    1. combineByKey函数的运行机制   RDD提供了很多针对元素类型为(K,V)的API，这些API封装在PairRDDFunctions类中，通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一   首先看一下combineByKey的方法说明：
  • msyql设置密码报错：ERROR 1372 (HY000): 解决方法详解 daizj mysql设置密码
    MySql给用户设置权限同时指定访问密码时，会提示如下错误： ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；   问题原因：你输入的密码是明文。不允许这么输入。   解决办法：用select password('你想输入的密码');查询出你的密码对应的字符串， 然后
  • 路漫漫其修远兮 吾将上下而求索 周凡杨 学习 思索
    王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者，罔不经过三种之境界。“昨夜西风凋碧树。独上高楼，望尽天涯路。”此第一境界也。“衣带渐宽终不悔，为伊消得人憔悴。”此第二境界也。“众里寻他千百度，蓦然回首，那人却在灯火阑珊处。”此第三境界也。学习技术，这也是你必须经历的三种境界。第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。这里，注
  • Hadoop(二)对话单的操作 朱辉辉33 hadoop
    Debug： 1、 A = LOAD '/user/hue/task.txt' USING PigStorage(' ') AS (col1,col2,col3); DUMP A; //输出结果前几行示例： (>ggsnPDPRecord(21),,) (-->recordType(0),,) (-->networkInitiation(1),,)
  • web报表工具FineReport常用函数的用法总结（日期和时间函数） 老A不折腾 finereport报表工具web开发
    web报表工具FineReport常用函数的用法总结（日期和时间函数）   说明：凡函数中以日期作为参数因子的，其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。   DATE DATE(year,month,day):返回一个表示某一特定日期的系列数。 Year:代表年，可为一到四位数。 Month:代表月份。
  • c++ 宏定义中的##操作符 墙头上一根草 C++
    #与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a)   #a #define h(a) g(a) int main() {       &nbs
  • 分析Spring源代码之，DI的实现 aijuans springDI现源代码
    (转) 分析Spring源代码之，DI的实现 2012/1/3 by tony                 接着上次的讲，以下这个sample [java]  view plain copy print
  • for循环的进化 alxw4616 JavaScript
    // for循环的进化 // 菜鸟 for (var i = 0; i < Things.length ; i++) { // Things[i] } // 老鸟 for (var i = 0, len = Things.length; i < len; i++) { // Things[i] } // 大师 for (var i = Things.le
  • 网络编程Socket和ServerSocket简单的使用 百合不是茶 网络编程基础IP地址端口
      网络编程;TCP/IP协议   网络:实现计算机之间的信息共享,数据资源的交换   协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去   端口:用于计算机之间的通信      每运行一个程序，系统会分配一个编号给该程序，作为和外界交换数据的唯一标识 0~65535   查看被使用的
  • JDK1.5 生产消费者 bijian1013 javathread生产消费者java多线程
    ArrayBlockingQueue：        一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列检索操作则是从队列头部开始获得元素。 ArrayBlockingQueue的常用方法：
  • JAVA版身份证获取性别、出生日期及年龄 bijian1013 java性别出生日期年龄
            工作中需要根据身份证获取性别、出生日期及年龄，且要还要支持15位长度的身份证号码，网上搜索了一下，经过测试好像多少存在点问题，干脆自已写一个。 CertificateNo.java package com.bijian.study; import java.util.Calendar; import
  • 【Java范型六】范型与枚举 bit1129 java
    首先，枚举类型的定义不能带有类型参数，所以，不能把枚举类型定义为范型枚举类，例如下面的枚举类定义是有编译错的   public enum EnumGenerics<T> { //编译错，提示枚举不能带有范型参数 OK, ERROR; public <T> T get(T type) { return null;
  • 【Nginx五】Nginx常用日志格式含义 bit1129 nginx
    1. log_format 1.1 log_format指令用于指定日志的格式，格式：   log_format name(格式名称) type(格式样式)   1.2 如下是一个常用的Nginx日志格式：   log_format main '[$time_local]|$request_time|$status|$body_bytes
  • Lua 语言 15 分钟快速入门 ronin47 lua 基础
    - - 单行注释 - - [[      [多行注释] - - ]]   - - - - - - - - - - - 1. 变量 & 控制流 - - - - - - - - - - num = 23 - - 数字都是双精度 str = 'aspythonstring'
  • java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 ) bylijinnan java
    the idea is from: http://blog.csdn.net/zhanxinhang/article/details/6731134 public class MaxSubMatrix { /**see http://blog.csdn.net/zhanxinhang/article/details/6731134 * Q35 求一个矩阵中最大的二维
  • mongoDB文档型数据库特点 开窍的石头 mongoDB文档型数据库特点
    MongoDD: 文档型数据库存储的是Bson文档-->json的二进制 特点：内部是执行引擎是js解释器，把文档转成Bson结构，在查询时转换成js对象。 mongoDB传统型数据库对比    传统类型数据库：结构化数据，定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的    文档型数据库：不用定好数据结构，
  • [毕业季节]欢迎广大毕业生加入JAVA程序员的行列 comsci java
        一年一度的毕业季来临了。。。。。。。。      正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业，可以考虑来我们软件行业，做一名职业程序员。。。      软件行业的开发工具中，对初学者最友好的就是JAVA语言了，网络上不仅仅有大量的
  • PHP操作Excel – PHPExcel 基本用法详解 cuiyadll PHPExcel
    导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
  • IBM Webshpere MQ Client User Issue (MCAUSER) darrenzhu IBMjmsuserMQMCAUSER
    IBM MQ JMS Client去连接远端MQ Server的时候，需要提供User和Password吗？ 答案是根据情况而定，取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。 http://stackoverflow.com/questions/20209429/how-mca-user-i
  • 网线的接法 dcj3sjt126com
    一、PC连HUB (直连线)A端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 二、PC连PC （交叉线）A端：(568A)： 白绿，绿，白橙，蓝，白蓝，橙，白棕，棕； B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 三、HUB连HUB&nb
  • Vimium插件让键盘党像操作Vim一样操作Chrome dcj3sjt126com chromevim
    什么是键盘党？ 键盘党是指尽可能将所有电脑操作用键盘来完成，而不去动鼠标的人。鼠标应该说是新手们的最爱，很直观，指哪点哪，很听话！不过常常使用电脑的人，如果一直使用鼠标的话，手会发酸，因为操作鼠标的时候，手臂不是在一个自然的状态，臂肌会处于绷紧状态。而使用键盘则双手是放松状态，只有手指在动。而且尽量少的从鼠标移动到键盘来回操作，也省不少事。 在chrome里安装 vimium 插件
  • MongoDB查询（2）——数组查询[六] eksliang mongodbMongoDB查询数组
    MongoDB查询数组 转载请出自出处：http://eksliang.iteye.com/blog/2177292 一、概述  MongoDB查询数组与查询标量值是一样的，例如，有一个水果列表，如下所示： > db.food.find() { "_id" : "001", "fruits" : [ "苹
  • cordova读写文件（1） gundumw100 JavaScriptCordova
    使用cordova可以很方便的在手机sdcard中读写文件。 首先需要安装cordova插件：file 命令为： cordova plugin add org.apache.cordova.file 然后就可以读写文件了，这里我先是写入一个文件，具体的JS代码为： var datas=null;//datas need write var directory=&
  • HTML5 FormData 进行文件jquery ajax 上传 到又拍云 ileson jqueryAjaxhtml5FormData
    html5 新东西：FormData  可以提交二进制数据。 页面test.html <!DOCTYPE> <html> <head> <title> formdata file jquery ajax upload</title> </head> <body> <
  • swift appearanceWhenContainedIn:(version1.2 xcode6.4) 啸笑天 version
      swift1.2中没有oc中对应的方法： + (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;  解决方法： 在swift项目中新建oc类如下： #import &
  • java实现SMTP邮件服务器 macroli java编程
    电子邮件传递可以由多种协议来实现。目前，在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP，下面分别简单介绍。 　　◆ SMTP 协议 　　简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议，用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
  • mongodb group by having where 查询sql qiaolevip 每天进步一点点学习永无止境mongo纵观千象
    SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250 db.orders.aggregate( [ { $match: { status: 'A' } }, { $group: {
  • Struts2 Pojo（六） Luob. POJOstrust2
    注意：附件中有完整案例 1.采用POJO对象的方法进行赋值和传值 2.web配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee&q
  • struts2步骤 wuai struts
    1、添加jar包 2、在web.xml中配置过滤器 <filter>        <filter-name>struts2</filter-name>        <filter-class>org.apache.st
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他