qingsto
qingsto

工业安全

SCADA(Supervisory Control And Data Acquisition)系统，即数据采集与监视控制系统。SCADA系统是以计算机为基础的DCS与电力自动化监控系统，它含有多个组件，其中安全隔离网关是保证工业信息网络的安全的，工业上大多数都要用到这种安全防护性的网关，防止病毒，以保证工业数据、信息的安全。其中的一种隔离网关是：工业安全防护网关pSafetyLink，简称隔离网关.。

工控系统：工业控制系统；

PLC系统：实质是一种专用于工业控制的计算机；

 

推荐方法
幸运的是，这边有很多弥补措施能够保证这些工控系统不会被Google搜索到或者被列出到Pastebin网站。
有很多基本的配置以及构架调整可以防止这些工控资源发生相关的安全事件。

  • 如可能的话，禁用互联网连接


  • 去任工控系统安装了最新的补丁


  • 如有可能，使用即时的防病毒保护措施以及即时的网络扫描（有些PLC协议不允许使用防病毒软件)


  • 对所有的系统都需要用户名以及密码


  • 对登录密码进行加强，不要使用默认密码


  • 对所有用户使用强验证


  • 禁用不安全的远程协议，比如Telnet


  • 对那些与核心业务无关通往工控能够系统的协议禁用


  • 对供应商进行访问。很多工控网络都依靠供应商，需要对他们访问工控系统进行控制


  • 对所有基于网页的ICS/SCADA系统使用SSL/TLS进行通信


  • 使用网络隔离工具来保护工控系统，可以参考一个Tofino上面的文章


  • 对工控系统的访问进行控制，比如对所有进入网络的访问，使用堡垒机来控制访问


  • 对工控系统进行日志管理，使用SIEM设备，并且使用第三方备份/分析来保存日志


  • 为公司制定威胁模型系统，明白是谁在攻击你的系统并且弄清楚为什么。


摘自：http://bbs.cisps.org/viewtopic.php?p=266567#p266567

 

 

你可能感兴趣的:(Google,数据采集,监控系统,安全防护,控制系统)

  • Python爬虫实战：研究untangle库相关技术 ylfhpy 爬虫项目实战python爬虫php开发语言untangle
    1.引言在大数据时代，网络数据已成为重要的信息资源。XML和HTML作为互联网上最常用的数据表示格式，广泛应用于API接口、网站结构和数据交换等场景。Python凭借其丰富的爬虫库（如Requests、Scrapy）和灵活的数据处理能力，成为网络数据采集的首选语言。然而，从复杂的XML/HTML文档中提取结构化数据仍然面临诸多挑战，如文档结构多样性、动态内容渲染和数据格式转换等问题。Untangl
  • 使用大模型预测心力衰竭的全流程系统技术方案大纲 LCG元 大模型医疗研究-方案大纲方案大纲深度学习机器学习人工智能
    目录1.引言背景与意义目标2.术前风险评估与预测数据采集与预处理风险预测模型输出应用3.术中风险实时监测与预警实时数据流处理动态风险预测4.术后恢复与并发症预测恢复轨迹建模并发症防控5.个性化治疗方案制定6.统计分析与模型验证验证方法性能指标7.健康教育与指导方案8.技术架构与实施路径1.引言背景与意义问题现状：心力衰竭（HF）全球患者超千万，中国25岁以上人群患病率1.1%；传统诊疗漏诊率高，预
  • 推动视觉AI边界，智象未来HiDream荣登全球技术先锋榜单 雷焰财经 人工智能AIGC计算机视觉
    近日，世界经济论坛“全球技术先锋”荣誉榜单正式揭晓，智象未来HiDream凭借尖端技术成就入选。智象未来HiDream成立于2023年3月，是一家专注于多模态AIGC技术应用的公司，由加拿大工程院外籍院士IEEE/IAPR/CAAIFellow梅涛博士创立。回顾过往，众多知名企业，如Airbnb、Google、Twitter和Spotify等，都曾获得世界经济论坛的“全球技术先锋”称号。然而，今年
  • 免费实时AI图片编辑工具-多模态大模型：GPT-4o、grok、豆包、BAGEL、MagicQuill、OmniGen2 loong_XL AIGCaigc
    纯自然语言对话实现图像编辑；参考https://zhuanlan.zhihu.com/p/1890036563586577897GPT-4ohttps://chatgpt.com/geminihttps://gemini.google.com/grokhttps://grok.com/?referrer=website
  • gem5-gpu教程 DSENT (Design Space Exploration of Networks Tool) 配合gem5 事橙1999 gem5-gpu硬件架构
    概述DSENT是一种建模工具，旨在快速探索电子和新兴的片上光电网络（NoC）的设计空间。它为各种网络组件提供分析和参数化模型，并可在一系列技术假设下移植。给定架构级参数，DSENT从电气和光学构建块分层构建指定的模型，并输出详细的功率和面积估计。版本当前：0.91（2012年6月26日）最新版本或其他信息可在以下网址找到https://sites.google.com/site/mitdsent系
  • 《网络攻防技术》《数据分析与挖掘》《网络体系结构与安全防护》这三个研究领域就业如何？ 扣棣编程 其他网络数据分析安全
    这几个研究领域都是当前信息技术领域的热点方向，就业前景总体来说都非常不错，但各有侧重和特点。我来帮你详细分析一下：1.网络攻防技术就业前景：非常火热且持续增长。核心方向：渗透测试、漏洞挖掘与分析、恶意软件分析、入侵检测/防御、应急响应、威胁情报、安全审计、红蓝对抗等。市场需求：极高。数字化转型深入、网络攻击日益频繁和复杂（勒索软件、APT攻击、供应链攻击等）、数据安全与隐私保护法规（如GDPR、中
  • 【节假日】通过开放Api获取节假日数据并保存到json文件 Leslie_Lei #随笔jsonjava节日
    目录依赖节假日数据返回结果类工具类依赖com.fasterxml.jackson.corejackson-databindcom.google.code.gsongson2.8.6cn.hutoolhutool-all5.8.18org.projectlomboklombok节假日数据返回结果类HolidayResponseimportcom.fasterxml.jackson.annotatio
  • Python爬虫短视频平台数据抓取：抓取视频和评论技术方案 数据狐（DataFox） 2025年爬虫实战项目python爬虫开发语言
    一、摘要本方案提供完整的Python爬虫实现流程，涵盖短视频平台(以抖音为例)的视频与评论数据采集技术，包含环境配置、核心代码实现及反爬优化策略。通过模拟浏览器操作、API接口分析及数据持久化处理，实现高效合规的数据采集。二、引言短视频平台数据具有巨大商业价值，但直接爬取面临动态渲染、加密参数等反爬机制挑战。本方案采用混合技术路线，结合网页解析与移动端API分析，平衡效率与成功率。三、环境配置基础
  • Veo 3 视频生成大模型完整操作教程（2025） 迎风斯黄 音视频人工智能
    随着AI多模态能力的飞跃，GoogleDeepMind发布的Veo3成为了生成视频领域的一颗重磅炸弹。它不仅能够根据文本生成高质量的视频画面，还能同步生成对白、背景音和环境音，是目前最接近真正“AI导演”的大模型。本文将带你详细了解Veo3的功能、使用方式、提示词撰写技巧，以及完整的创作流程，适合希望用AI快速生成短视频、概念片段、广告、剧情短片等内容的创作者与开发者。一、Veo3是什么？Veo3
  • AI原生应用微服务监控：Prometheus+Grafana实战 AI原生应用开发 AI-native微服务prometheusai
    AI原生应用微服务监控：Prometheus+Grafana实战关键词：微服务监控、Prometheus、Grafana、AI应用、指标收集、可视化告警、云原生摘要：本文将深入探讨如何为AI原生应用构建完整的微服务监控系统。我们将从基础概念出发，详细介绍Prometheus的指标收集机制和Grafana的可视化能力，并通过实际案例展示如何搭建完整的监控解决方案。文章包含详细的配置示例、架构图解和最
  • could not import google.golang.org/protobuf/proto ezreal_pan Go后端golang前端开发语言
    背景import("encoding/json""testing""google.golang.org/protobuf/proto")在测试中需要使用proto，但是，import这个包之后，一直报couldnotimportgoogle.golang.org/protobuf/proto这个错误，尝试了各种方法，依然没有解决这个问题。临时方案执行gomodvendor这个命令。项目的目录下多了
  • 工业控制系统安全综述 罗思付之技术屋 物联网及AI前沿技术专栏安全网络web安全
    摘要工业控制系统除了应用于生产制造行业外，还广泛应用于交通、水利和电力等关键基础设施.随着工业数字化、网络化、智能化的推进，许多新技术应用于工业控制系统，提高了工业控制系统的智能化水平，但其也给工业控制系统的安全带来严峻的挑战.因此，工业控制系统的安全倍受研究人员的关注.为了让研究人员系统化地了解目前的研究进展，调研了近3年WebofScience核心数据库、EI数据库和CCF推荐网络与信息安全国
  • 机器学习模型监控警报系统设计：Prometheus+Evidently 实战教程 大熊计算机 机器学习prometheus人工智能
    1.系统架构设计：从数据采集到智能告警（1）监控系统核心组件交互图预测请求监控指标告警规则通知渠道预测结果质量报告时序数据模型服务PrometheusExporterPrometheusServerAlertmanager邮件/Slack/WebhookEvidently服务可视化仪表盘图解：系统采用双引擎架构，Prometheus负责基础监控指标采集与告警触发，Evidently执行深度模型分析
  • Android Studio flutter项目运行、打包时间太长 小蜜蜂嗡嗡 androidstudioflutterandroid
    AndroidStudio：AndroidStudioMeerkatFeatureDrop|2024.3.2Patch1flutterSdk：3.29.3系统：windowsfluttersdk从2.10.5升级到3.29.3，但是Flutter3.16开始新增了使用Gradle声明式plugins{}块，gradle文件配置方式改变了。而国内的阿里云、华为云等镜像仓库的更新并不是与google(
  • Python爬虫技术实战：高效市场趋势分析与数据采集 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言easyui汽车
    摘要本文将深入探讨如何利用最新的Python爬虫技术进行市场趋势分析，涵盖异步IO、无头浏览器、智能解析等前沿技术，并提供完整可运行的代码示例。文章将系统介绍从基础爬虫到高级反反爬策略的全套解决方案，帮助读者掌握市场数据采集的核心技能。1.市场趋势分析与爬虫技术概述市场趋势分析已成为现代商业决策的核心环节，而数据采集则是分析的基石。根据2024年最新统计，全球83%的企业已将网络爬虫技术纳入其数据
  • Google Guava Cache高效本地缓存 boonya 架构师Guava高效缓存策略
    目录GuavaCache使用需求和场景需求场景缓存设置缓存的并发级别缓存的初始容量设置设置最大存储缓存清除策略基于存活时间的清除策略基于容量的清除策略基于权重的清除策略显式清除基于引用的清除策略数据内存加载CacheLoadingCacheGuavaCache使用需求和场景GuavaCache是GoogleFuava中的一个内存缓存模块，用于将数据缓存到JVM内存中。需求提供了get、put封装操
  • Nagios监控系统插件套装：1.4.13版本深入解析 Kiki-2189
    本文还有配套的精品资源，点击获取简介：Nagios是一款开源系统监控工具，用于实时监控网络服务、系统状态和IT基础设施，确保IT环境的稳定运行。本文详细解析了"Nagios-plugins-1.4.13.tar.gz"这个插件包，涵盖了Nagios核心功能、插件工作原理、安装配置、常见插件、自定义插件制作、故障报警与通知、性能数据记录以及扩展集成等方面。通过解压、编译安装和配置插件包中的内容，用户
  • Python 常用正则表达式大全 朱公子的Note python爬虫正则表达式
    你是否在写Python爬虫时，总是卡在“正则提取”这一步？明明页面源码已经拿到，却怎么也匹配不到目标数据……不是提取失败，就是提取不全，搞得调试半天还抓不到核心字段？别急！今天我们就来一次**“正则一网打尽”**，专为爬虫而生的表达式宝典，让你写起爬虫来如虎添翼！在当下数据驱动时代，网络数据是企业的“金矿”，而Python爬虫则是挖掘这金矿的“利器”！从电商价格到社交媒体评论，爬虫技术让数据采集变
  • 手把手教程：在 VS2017 32位 Windows 环境下编译 OR-Tools 9.6 并集成到 C++ 项目 A小庞 C++知识算法c++开发语言or-tools算法库
    OR-Tools是Google开源的优化算法库，支持路径规划、线性规划、约束编程等多种功能。本文将详细介绍在VisualStudio201732位Windows环境下编译OR-Tools9.6的两种方法：联网自动下载依赖和手动编译依赖项，并提供避坑指南。方法一：联网自动下载依赖（推荐新手）步骤1：克隆OR-Tools仓库gitclonehttps://github.com/google/or-to
  • Google的OR-Tools：运筹学与优化的强大工具 A小庞 算法调度算法or-toolsGoogle
    在当今数字化时代，优化问题无处不在，从物流配送到生产计划，从资源调度到交通流量优化，这些看似复杂的问题都可以通过专业的工具来解决。Google的OR-Tools正是这样一款强大的运筹学和优化工具包，它为开发者提供了丰富的算法和功能，帮助解决各种复杂的优化问题。一、OR-Tools简介OR-Tools（OperationsResearchTools）是Google开源的一个用于组合优化的软件套件，旨
  • 跨区域组网如何支撑多监控点高效运营？—智能SD-WAN技术解析 北极光SD-WAN组网 网络
    在连锁门店、工业园区、物流仓储等场景中，跨区域部署监控系统已成为企业数字化转型的重要组成部分。要实现总部实时查看各地监控画面、保障数据传输的稳定性和安全性，并同时满足成本和扩展需求，传统的组网方式正逐渐显现其局限性。本文将从技术角度出发，深入解析跨区域组网的常见痛点，并探讨如何通过智能SD-WAN技术实现高效的多监控点管理，助力企业构建灵活可靠的监控网络。一、多监控点组网的核心痛点与解决思路随着企
  • AI正在偷偷取代这10种职业，你的工作安全吗？
    近年来，人工智能（AI）的飞速发展正在悄然改变我们的工作方式。从自动化客服到AI生成内容，许多传统职业正面临被取代的风险。虽然AI带来了更高的效率和便利，但也让不少人开始担忧：我的工作会被AI抢走吗？今天，我们就来盘点10种最容易被AI取代的职业，并探讨如何在这个AI时代保持竞争力。1.客服代表取代指数：★★★★★AI驱动的聊天机器人（如ChatGPT、GoogleBard）已经能够处理大部分基础
  • C8051F单片机在三轴伺服转台动力学模型与伺服算法仿真中的应用【附设计】
    自动化设计|控制系统|毕业设计指导|工业自动化解决方案✨专业领域：程序设计与调试工业自动化控制系统HMI人机界面开发工业传感器应用电气控制系统设计工业网络通信擅长工具：西门子S7系列编程三菱/欧姆龙应用PIC单片机触摸屏界面设计电气CAD制图工业现场总线技术自动化设备调试主要内容：控制系统设计工业自动化方案规划电气原理图绘制控制程序编写与调试毕业论文指导毕业设计题目与程序设计✅具体问题可以私信或查
  • 基于PLC的自动化立体仓储系统设计【附数据】 拉勾科研工作室 自动化运维
    PLC自动化设计|毕业设计指导|工业自动化解决方案✨专业领域：PLC程序设计与调试工业自动化控制系统HMI人机界面开发工业传感器应用电气控制系统设计工业网络通信擅长工具：西门子S7系列PLC编程三菱/欧姆龙PLC应用触摸屏界面设计电气CAD制图工业现场总线技术自动化设备调试主要内容：PLC控制系统设计工业自动化方案规划电气原理图绘制控制程序编写与调试毕业论文指导毕业设计题目与程序设计✅具体问题可以
  • 基于STM32的智能室内光照控制系统 01单片机设计 单片机stm32嵌入式硬件单片机
    摘要进入到21世纪的时代，经济持续快速发展，人们生活的质量显著提高，“绿色健康生活”这一理念已经成为现代人的热门话题。相对于传统的家居用品，人们更倾向于使用“智能化”、“多功能”、“自动化”的智能家居用品，其中智能家居照明系统就是典型之一。它能有效率，方便地管理室内照明情况，不需要每次手动开关，提供了科学的管理系统，以达到减少耗能、绿色生活的目的。基于上述情况，本人毕业设计选题是智能室内光照控制系
  • 单片机病房呼叫系统设计 01单片机设计 单片机单片机嵌入式硬件
    单片机病房呼叫系统设计摘要：一般来说，病房呼叫系统是方便于病人患者与医护人员灵活沟通的一种呼叫系统，是解决医护人员与病人患者之间信息反馈的一种手段。病床呼叫系统的好坏直接关系到病人患者的生命安危，像今年的新冠型肺炎，没有一个灵活可靠的医疗系统真的不行。本课题的任务是设计出基于STM32单片机的病床呼叫系统以及对它的各项功能进行控制的控制系统。系统设计包括矩阵键盘，LCD12864液晶显示器显示电路
  • 杭州西湖断桥不断：3D扫描还原‘残雪‘视觉骗局 未来读啥科教资讯 3d
    “断桥残雪”是西湖十景之一，所谓“视觉骗局”指的是在特定条件下，从远处看断桥仿佛断开的奇妙视觉效果。利用3D扫描技术还原这一效果可按以下步骤进行：数据采集3D扫描断桥：使用高精度的3D激光扫描仪对断桥及其周边环境进行全面扫描。从多个角度、不同距离对断桥的整体轮廓、桥身细节（如栏杆、石块纹理）进行数据采集，确保获取完整且精确的三维数据。收集周边环境数据：扫描断桥周边的湖水、堤岸、树木等环境元素，因为
  • 由数据泄露引发业务崩塌的HTTP代理危险 彬彬醤 http网络协议网络tcp/ipweb安全大数据macos
    HTTP代理作为跨地域访问的常用工具，被广泛应用于跨境电商、数据采集、内容访问等场景。然而，其明文传输特性与监管漏洞，正成为数据安全与业务稳定的隐形杀手。某跨境电商团队因使用廉价HTTP代理，导致500+账号被亚马逊封禁；某企业员工通过公共代理访问内部系统，引发数据泄露事故——这些案例揭示：不当使用HTTP代理，可能让便捷变成灾难。五大核心风险解析1.不安全的数据传输传统HTTP代理工作于OSI模
  • 电动汽车一键启动手机撑控无钥匙进入
    移动管家汽车手机智能控制系统具有汽车远程启动、汽车远程熄火、远程开关车门锁、远程断油、远程供油、远程监听车内动态、入侵报警提示、GPS定位、车辆状态信息实时定位等各种智能化实用功能，安装时不改动任何原车线路，适用于所有车型。将手机的控制功能整合到汽车模块，实现手机与汽车之间的智能对接，手机控制汽车,新增APP远程启动熄火,微信云钥匙等多项功能集成一体，用手机控制汽车，实现汽车智能钥匙的成功开启，为
  • [学习] PID算法原理与实践（代码示例） 极客不孤独 学习算法c语言
    PID算法原理与实践文章目录PID算法原理与实践一、PID算法原理1.1PID算法概述1.定义2.应用领域3.核心目标1.2基本原理1.3数学表达离散化实现（适用于数字控制）二、实践案例（C语言）1.电机转速控制2.温度控制系统3.时钟驯服系统三、常见问题与优化1.积分饱和（Windup）问题2.噪声干扰问题3.非线性系统适配问题四、扩展方向1.数字PID与模拟PID的差异2.变参数PID（如增益
  • LeetCode[位运算] - #137 Single Number II Cwind javaAlgorithmLeetCode题解位运算
    原题链接：#137 Single Number II  要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间   难度：中等   分析： 与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
  • 《JavaScript语言精粹》笔记 aijuans JavaScript
    0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
  • 你应该更新的Java知识之常用程序库 Kai_Ge java
    在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 Guava Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
  • HttpClient 120153216 httpclient
    /** * 可以传对象的请求转发，对象已流形式放入HTTP中 */ public static Object doPost(Map<String,Object> parmMap,String url) { Object object = null; HttpClient hc = new HttpClient(); String fullURL
  • Django model字段类型清单 2002wmj django
    Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段) BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。 Cha
  • 在SQLSERVER中查找消耗CPU最多的SQL 357029540 SQL Server
    返回消耗CPU数目最多的10条语句 SELECT TOP 10    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,    execution_count,    (SELECT SUBSTRING(text, statement_start_of
  • Myeclipse项目无法部署，Undefined exploded archive location 7454103 eclipseMyEclipse
    做个备忘！ 错误信息为：       Undefined exploded archive location 原因：           在工程转移过程中，导致工程的配置文件出错； 解决方法：    
  • GMT时间格式转换 adminjun GMT时间转换
    普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 1、可以使用 SimpleDateFormat SimpleDateFormat    EEE-三位星期 d-天 MMM-月 yyyy-四位年
  • Oracle数据库新装连接串问题 aijuans oracle数据库
    割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： Fatal NI connect error 12170.   VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
  • 回顾java数组复制 ayaoxinchao java数组
    在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
  • java web会话监听并使用spring注入 bewithme Java Web
            在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。        import java.util.ArrayList; import java.ut
  • NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用) bijian1013 redis数据库NoSQL
    一 .Redis常用命令         Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。         a.键值相关命令         b.服务器相关命令 1.键值相关命令       &
  • java枚举序列化问题 bingyingao java枚举序列化
    对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 1.加一个枚举值 新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 2.删一个枚举值 新机器代码读分布式缓存中老对象，反序列
  • 【Spark七十八】Spark Kyro序列化 bit1129 spark
    当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 Spark
  • Hybridizing OO and Functional Design bookjovi erlanghaskell
      推荐博文： Tell Above, and Ask Below - Hybridizing OO and Functional Design 文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
  • Java-Collections Framework学习与总结-HashMap BrokenDreams Collections
            开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。  &nb
  • 读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请 * bylijinnan */ abstract class Handler { /*
  • Android中启动外部程序 cherishLC android
    1、启动外部程序 引用自： http://blog.csdn.net/linxcool/article/details/7692374 //方法一 Intent intent=new Intent(); //包名 包名+类名（全路径） intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
  • summary_keep_rate coollyj SUM
    BEGIN /*DECLARE minDate varchar(20) ; DECLARE maxDate varchar(20) ;*/ DECLARE stkDate varchar(20) ; DECLARE done int default -1; /* 游标中 注册服务器地址 */ DE
  • hadoop hdfs 添加数据目录出错 daizj hadoophdfs扩容
    由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
  • grep 目录级联查找 dongwei_6688 grep
           在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： grep -n -r "GET" .   上面的命令将会找出当前目录“.”及当前目录中所有下级目录
  • yii 修改模块使用的布局文件 dcj3sjt126com yiilayouts
    方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如: 'theme'=>'mythm', 那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件； 如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
  • 设计模式之单例模式 come_for_dream 设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                    今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。   *********************************
  • 8、数组 豆豆咖啡 二维数组数组一维数组
      一、概念       数组是同一种类型数据的集合。其实数组就是一个容器。   二、好处       可以自动给数组中的元素从0开始编号，方便操作这些元素   三、格式   //一维数组 1,元素类型[] 变量名 = new 元素类型[元素的个数] int[] arr =
  • Decode Ways hcx2013 decode
    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits, det
  • Spring4.1新特性——异步调度和事件机制的异常处理 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • squid3(高命中率)缓存服务器配置 liyonghui160com
        系统:centos 5.x   需要的软件:squid-3.0.STABLE25.tar.gz 1.下载squid wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz tar zxf squid-3.0.STABLE25.tar.gz &&
  • 避免Java应用中NullPointerException的技巧和最佳实践 pda158 java
    1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。 　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 Object unk
  • 如何在Swift语言中创建http请求 shoothao httpswift
    概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。 如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 在这里,我将作出一些建议来回答上述问题。常见的
  • Spring事务的传播方式 uule spring事务
    传播方式：        新建事务       required       required_new   - 挂起当前         非事务方式运行       supports   &nbs
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他