刘某人啊
刘某人啊

关于Kedro的资料整理

关于Kedro的资料整理

  • Kedro介绍
  • Kedro的优势
    • 高复用性
    • 高拓展性
    • 提高代码规范性与可维护性
    • 解决传统notebook一次性脚本和胶水代码的问题
  • 配置Kedro环境
    • 环境要求
    • 虚拟环境
    • 安装
  • 创建一个简单的Kedro项目
  • Kedro-API
    • config
    • extras
    • framework
    • IO
    • pipeline
    • runner
    • utils

Kedro介绍

kedro是一款开源的Python框架，通过提供统一的项目模板，数据抽象，配置和管道组装，用于对机器学习任务进行规范化、模块化、流水线化的开发、管理和控制。

Kedro的优势

就机器学习来说，相较而言，传统NoteBooke更适用于研究开发与测试，而Kedro更适用于生产环境对项目进行流程化管理与拓展。

Kedro的优势主要体现在以下几个方面：

高复用性

pass

高拓展性

pass

提高代码规范性与可维护性

pass

解决传统notebook一次性脚本和胶水代码的问题

pass

配置Kedro环境

环境要求

  • Kedro支持macOS，Linux和Windows（7 / 8 / 10和Windows Server 2016
    +）。如果您在这些平台上遇到任何问题，请查看常见问题，GitHub讨论或Discord服务器。
  • 要使用Kedro，我们强烈建议您下载并安装Anaconda（Python 3.x版本）。
  • 如果您使用 PySpark，则还必须安装 Java。如果您是 Windows 用户，则需要管理员权限才能完成安装。

虚拟环境

Python虚拟环境的主要目的是为Python项目创建一个隔离的环境，使其拥有自己的依赖项，而不管其他项目如何。我们建议您为创建的每个新 Kedro 项目创建一个新的虚拟环境。

根据你首选的Python安装，您可以创建虚拟环境来使用Kedro，如下所示：

  • 如果使用conda的python环境，可以使用与Anaconda捆绑在一起的软件包和环境管理器程序生成虚拟环境，参照Anaconda创建虚拟环境。
  • 若使用原生的python环境，建议使用venv或pipenv，参照Python虚拟环境。

安装

要从Python包索引（PyPI）安装Kedro，只需运行：

  • 原生python环境使用：pip install kedro
  • Conda环境使用：conda install -c conda-forge kedro

创建一个简单的Kedro项目


Kedro-API

Kedro为开发者提供了如piplines管道、IO数据集读写、config配置文件、extras数据集拓展等API接口，增加开发时的灵活性。

config

kedro.config提供了从不同文件格式加载 Kedro 配置的功能。

    类

  • Kedro一般通过kedro.config.ConfigLoader以递归的形式查找具有或者以conf_source、yaml、yml、json、ini、pickle、xml、properties为扩展名的文件，然后进行加载，并以字典形式返回。
    class kedro.config.ConfigLoader(conf_source, env=None, runtime_params=None, *, base_env='base', default_run_env='local')
  • 而kedro.config.TemplatedConfigLoader是kedro.config.ConfigLoader类的拓展，它允许模板只（括在括号中，如：${…}）根据配置自动格式化。
    class kedro.config.TemplatedConfigLoader(conf_source, env=None, runtime_params=None, *, base_env='base', default_run_env='local', globals_pattern=None, globals_dict=None)

    异常

  • MissingConfigExceptionRaised ：当在config路径中没有找到config配置文件时抛出该异常

extras

kedro.extras为开发者提供数据集扩展等功能

    模块

  • kedro.extras.datasets为开发者提供Kedro所有数据连接器的接口。
  • kedro.extras.extensions为开发者提供了一个ipython的拓展接口
  • kedro.extras.logging此模块包含一个生成彩色日志的日志记录处理程序类。

framework

kedro.framework是用于提供 Kedro 的框架组件

    模块

  • kedro.framework.cli实现 Kedro 的 CLI 中可用的命令。
  • kedro.framework.context提供了加载 Kedro 项目上下文的功能。
  • kedro.framework.hooks提供了使用钩子来扩展 KedroContext 行为的基元
  • kedro.framework.project模块提供了配置 Kedro 项目并访问其设置的灵活性。
  • kedro.framework.session提供对负责项目生命周期的 KedroSession 的访问。
  • kedro.framework.startup此模块为 Kedro 项目提供元数据。

IO

kedro.io提供读取和写入多个数据集的功能。该库的核心是 AbstractDataSet，它允许实现各种AbstractDataSet。

    类

  • AbstractDataSet是所有数据集实现的基类。所有数据集实现都应扩展此抽象类，并实现标记为抽象的方法。如果特定的数据集实现不能与ParallelRunner结合使用，则此类用户定义的数据集应具有属性 _SINGLE_PROCESS = True。
    kedro.io.AbstractDataSet（*args， * *kwargs）

  • AbstractVersionedDataSet是所有版本化数据集实现的基类。
    class kedro.io.AbstractVersionedDataSet(filepath, version, exists_function=None, glob_function=None)

  • DataCatalog存储抽象数据集实现的实例，以便从程序中的任何位置提供和功能。loadsave
    classkedro.io.DataCatalog(data_sets=None, feed_dict=None, layers=None)

  • LambdaDataSet将数据加载并保存到数据集。
    class kedro.io.LambdaDataSet(load, save, exists=None, release=None)

  • MemoryDataSet加载数据并将其保存在内存中的 Python 对象中。
    class kedro.io.MemoryDataSet(data=, copy_mode=None)

  • PartitionedDataSet使用基础数据集定义加载和保存分区的类似文件的数据。
    class kedro.io.PartitionedDataSet(path, dataset, filepath_arg='filepath', filename_suffix='', credentials=None, load_args=None, fs_args=None, overwrite=False)

  • IncrementalDataSet增量数据集继承自 PartitionedDataSet，后者使用基础数据集定义加载和保存分区的类似文件的数据。
    class kedro.io.IncrementalDataSet(path, dataset, checkpoint=None, filepath_arg='filepath', filename_suffix='', credentials=None, load_args=None, fs_args=None)

  • kedro.io.CachedDataSet（dataset[， version， …]）:CachedDataSet是一个数据集包装器，它将保存的数据缓存在内存中，以便用户避免使用慢速存储介质进行io操作。
    class kedro.io.CachedDataSet(dataset, version=None, copy_mode=None)

  • kedro.io.Version（load， save）：Version此 namedtuple 用于为版本化数据集提供加载和保存版本。
    classkedro.io.Version(load, save)

    •     异常

    • kedro.io.DataSetAlreadyExistsError由 DataCatalog类引发，以防尝试添加 DataCatalog 中已存在的数据集。

    • kedro.io.DataSetError 数据集在输入/输出方法失败时由抽象数据集实现引发。

    • kedro.io.DataSetNotFoundError 由 DataCatalog类在尝试使用不存在的数据集时引发。

    pipeline

    kedro.pipeline提供定义和执行数据驱动管道的功能。

        功能

    • kedro.pipeline.node:通过提供要调用的函数以及输入和/或输出的变量名称，在管道中创建节点。
      kedro.pipeline.node(func, inputs, outputs, *, name=None, tags=None, confirms=None, namespace=None)
    • kedro.pipeline.modular_pipeline.pipeline（pipe， *）:从node节点和/或pipline管道的集合创建pipeline。
      kedro.pipeline.modular_pipeline.pipeline(pipe, *, inputs=None, outputs=None, parameters=None, tags=None, namespace=None)

        类

    • Pipeline定义为object.Node的集合
      class kedro.pipeline.Pipeline(nodes, *, tags=None)
    • Node是一个辅助类，有助于将用户提供的函数作为 Kedro 管道的一部分运行所需的操作。
      class kedro.pipeline.node.Node(func, inputs, outputs, *, name=None, tags=None, confirms=None, namespace=None)

        异常

    • kedro.pipeline.modular_pipeline.ModularPipelineError：当未使用帮助程序适当调整和集成模块化管道时引发。

    runner

    kedro.runner提供了能够执行Pipeline实例的运行器。

        功能

    • run_node运行单个节点，其中包含来自目录的输入和输出。
      kedro.runner.run_node(node, catalog, hook_manager, is_async=False, session_id=None)

        类

    • AbstractRunner 是所有 Pipeline 运行器实现的基类。
      class kedro.runner.AbstractRunner(is_async=False)
    • ParallelRunner是一个AbstractRunner实例。
      class kedro.runner.ParallelRunner(max_workers=None, is_async=False)
    • SequentialRunner是一个AbstractRunner实例。
      class kedro.runner.SequentialRunner(is_async=False)[source]
    • ThreadRunner是一个AbstractRunner实现。
      class kedro.runner.ThreadRunner(max_workers=None, is_async=False)

    utils

        功能

    • load_obj：从给定路径中提取对象。
      kedro.utils.load_obj(obj_path, default_obj_path='')

    你可能感兴趣的:(python,开发语言)

    • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
      理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
      在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    • python os.environ 江湖偌大 python深度学习
      os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
    • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
      文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
      Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
    • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
      目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
      >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
      在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
    • python是什么意思中文-在python中%是什么意思 编程大乐趣
      Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
    • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
      大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    • python八股文面试题分享及解析(1) Shawn________ python
      #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
      目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
      第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
    • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
      一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
    • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
      前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    • python os 环境变量 CV矿工 python开发语言numpy
      环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
      文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
      Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
      对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
      转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
    • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
      Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
    • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
      嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
    • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
      接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
    • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
      目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
    • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
      Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
    • python中的深拷贝与浅拷贝 anshejd70787 python
      深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
    • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
      猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
    • 用Python实现读取统计单词个数 程序媛了了 python游戏java
      完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
    • 解线性方程组 qiuwanchi
      package gaodai.matrix; import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class Test { public static void main(String[] args) { Scanner scanner = new Sc
    • 在mysql内部存储代码 annan211 性能mysql存储过程触发器
      在mysql内部存储代码 在mysql内部存储代码，既有优点也有缺点，而且有人倡导有人反对。 先看优点： 1 她在服务器内部执行，离数据最近，另外在服务器上执行还可以节省带宽和网络延迟。 2 这是一种代码重用。可以方便的统一业务规则，保证某些行为的一致性，所以也可以提供一定的安全性。 3 可以简化代码的维护和版本更新。 4 可以帮助提升安全，比如提供更细
    • Android使用Asynchronous Http Client完成登录保存cookie的问题 hotsunshine android
      Asynchronous Http Client是android中非常好的异步请求工具 除了异步之外还有很多封装比如json的处理，cookie的处理 引用 Persistent Cookie Storage with PersistentCookieStore This library also includes a PersistentCookieStore whi
    • java面试题 Array_06 java面试
      java面试题 第一，谈谈final, finally, finalize的区别。 final-修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abstract的，又被声明为final的。将变量或方法声明为final，可以保证它们在使用中不被改变。被声明为final的变量必须在声明时给定初值，而在以后的引用中只能
    • 网站加速 oloz 网站加速
      前序:本人菜鸟，此文研究总结来源于互联网上的资料，大牛请勿喷！本人虚心学习，多指教. 1、减小网页体积的大小，尽量采用div+css模式，尽量避免复杂的页面结构，能简约就简约。 2、采用Gzip对网页进行压缩；    GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz
    • 正确书写单例模式 随意而生 java 设计模式 单例
      　　单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你。 　　懒汉式，线程不安全 　　当被问到要实现一个单例模式时，很多人的第一反应是写出如下的代码，包括教科书上也是这样
    • 单例模式 香水浓 java
      懒汉  调用getInstance方法时实例化 public class Singleton { private static Singleton instance; private Singleton() {} public static synchronized Singleton getInstance() { if(null == ins
    • 安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" AdyZhang apachehttp server
      安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" 每次到这一步都很小心防它的端口冲突问题，结果，特意留出来的80端口就是不能用，烦。 解决方法确保几处： 1、停止IIS启动 2、把端口80改成其它 （譬如90，800，，，什么数字都好） 3、防火墙(关掉试试) 在运行处输入 cmd 回车，转到apa
    • 如何在android 文件选择器中选择多个图片或者视频？ aijuans android
      我的android app有这样的需求，在进行照片和视频上传的时候，需要一次性的从照片/视频库选择多条进行上传 但是android原生态的sdk中，只能一个一个的进行选择和上传。 我想知道是否有其他的android上传库可以解决这个问题，提供一个多选的功能，可以使checkbox之类的，一次选择多个 处理方法 官方的图片选择器(但是不支持所有版本的androi，只支持API Level
    • mysql中查询生日提醒的日期相关的sql baalwolf mysql
      SELECT sysid,user_name,birthday,listid,userhead_50,CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')),CURDATE(),  dayofyear( CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')))-dayofyear(
    • MongoDB索引文件破坏后导致查询错误的问题 BigBird2012 mongodb
      问题描述： MongoDB在非正常情况下关闭时，可能会导致索引文件破坏，造成数据在更新时没有反映到索引上。 解决方案：   使用脚本，重建MongoDB所有表的索引。 var names = db.getCollectionNames(); for( var i in names ){ var name = names[i]; print(name);
    • Javascript Promise bijian1013 JavaScriptPromise
              Parse JavaScript SDK现在提供了支持大多数异步方法的兼容jquery的Promises模式，那么这意味着什么呢，读完下文你就了解了。 一.认识Promises         “Promises”代表着在javascript程序里下一个伟大的范式，但是理解他们为什么如此伟大不是件简
    • [Zookeeper学习笔记九]Zookeeper源代码分析之Zookeeper构造过程 bit1129 zookeeper
         Zookeeper重载了几个构造函数，其中构造者可以提供参数最多，可定制性最多的构造函数是     public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher, long sessionId, byte[] sessionPasswd, boolea
    • 【Java命令三】jstack bit1129 jstack
      jstack是用于获得当前运行的Java程序所有的线程的运行情况(thread dump），不同于jmap用于获得memory dump   [hadoop@hadoop sbin]$ jstack Usage: jstack [-l] <pid> (to connect to running process) jstack -F
    • jboss 5.1启停脚本　动静分离部署 ronin47
      以前启动jboss，往各种xml配置文件，现只要运行一句脚本即可。start nohup sh /**/run.sh -c servicename  -b ip -g  clustername   -u broatcast jboss.messaging.ServerPeerID=int  -Djboss.service.binding.set=p
    • UI之如何打磨设计能力? brotherlamp UIui教程ui自学ui资料ui视频
        在越来越拥挤的初创企业世界里，视觉设计的重要性往往可以与杀手级用户体验比肩。在许多情况下，尤其对于 Web 初创企业而言，这两者都是不可或缺的。前不久我们在《右脑革命：别学编程了，学艺术吧》中也曾发出过重视设计的呼吁。如何才能提高初创企业的设计能力呢?以下是 9 位创始人的体会。 1.找到自己的方式 如果你是设计师，要想提高技能可以去设计博客和展示好设计的网站如D-lists或
    • 三色旗算法 bylijinnan java算法
      import java.util.Arrays; /** 问题： 假设有一条绳子，上面有红、白、蓝三种颜色的旗子，起初绳子上的旗子颜色并没有顺序， 您希望将之分类，并排列为蓝、白、红的顺序，要如何移动次数才会最少，注意您只能在绳 子上进行这个动作，而且一次只能调换两个旗子。 网上的解法大多类似： 在一条绳子上移动，在程式中也就意味只能使用一个阵列，而不使用其它的阵列来
    • 警告:No configuration found for the specified action: \'s chiangfai configuration
      1.index.jsp页面form标签未指定namespace属性。 <!--index.jsp代码--> <%@taglib prefix="s" uri="/struts-tags"%> ... <s:form action="submit" method="post"&g
    • redis -- hash_max_zipmap_entries设置过大有问题 chenchao051 redishash
      使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑   #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255     /* Return th
    • select into outfile access deny问题 daizj mysqltxt导出数据到文件
      本文转自：http://hatemysql.com/2010/06/29/select-into-outfile-access-deny%E9%97%AE%E9%A2%98/ 为应用建立了rnd的帐号，专门为他们查询线上数据库用的，当然，只有他们上了生产网络以后才能连上数据库，安全方面我们还是很注意的，呵呵。 授权的语句如下： grant select on armory.* to rn
    • phpexcel导出excel表简单入门示例 dcj3sjt126com PHPExcelphpexcel
      <?php error_reporting(E_ALL); ini_set('display_errors', TRUE); ini_set('display_startup_errors', TRUE);   if (PHP_SAPI == 'cli') die('This example should only be run from a Web Brows
    • 美国电影超短200句 dcj3sjt126com 电影
      1. I see． 我明白了。2. I quit! 我不干了!3. Let go! 放手!4. Me too． 我也是。5. My god! 天哪!6. No way! 不行!7. Come on． 来吧(赶快)8. Hold on． 等一等。9. I agree。 我同意。10. Not bad． 还不错。11. Not yet． 还没。12. See you． 再见。13. Shut up!
    • Java访问远程服务 dyy_gusi httpclientwebservicegetpost
          随着webService的崛起，我们开始中会越来越多的使用到访问远程webService服务。当然对于不同的webService框架一般都有自己的client包供使用，但是如果使用webService框架自己的client包，那么必然需要在自己的代码中引入它的包，如果同时调运了多个不同框架的webService，那么就需要同时引入多个不同的clien
    • Maven的settings.xml配置 geeksun settings.xml
      settings.xml是Maven的配置文件，下面解释一下其中的配置含义： settings.xml存在于两个地方： 1.安装的地方：$M2_HOME/conf/settings.xml 2.用户的目录：${user.home}/.m2/settings.xml 前者又被叫做全局配置，后者被称为用户配置。如果两者都存在，它们的内容将被合并，并且用户范围的settings.xml优先。
    • ubuntu的init与系统服务设置 hongtoushizi ubuntu
      转载自：  http://iysm.net/?p=178 init Init是位于/sbin/init的一个程序，它是在linux下，在系统启动过程中，初始化所有的设备驱动程序和数据结构等之后，由内核启动的一个用户级程序，并由此init程序进而完成系统的启动过程。 ubuntu与传统的linux略有不同，使用upstart完成系统的启动，但表面上仍维持init程序的形式。 运行
    • 跟我学Nginx+Lua开发目录贴 jinnianshilongnian nginxlua
      使用Nginx+Lua开发近一年的时间，学习和实践了一些Nginx+Lua开发的架构，为了让更多人使用Nginx+Lua架构开发，利用春节期间总结了一份基本的学习教程，希望对大家有用。也欢迎谈探讨学习一些经验。    目录 第一章 安装Nginx+Lua开发环境 第二章 Nginx+Lua开发入门 第三章 Redis/SSDB+Twemproxy安装与使用 第四章 L
    • php位运算符注意事项 home198979 位运算PHP&
      $a = $b = $c = 0; $a & $b = 1; $b | $c = 1  问a,b,c最终为多少?   当看到这题时，我犯了一个低级错误，误 以为位运算符会改变变量的值。所以得出结果是1 1 0 但是位运算符是不会改变变量的值的，例如： $a=1;$b=2; $a&$b;  这样a,b的值不会有任何改变
    • Linux shell数组建立和使用技巧 pda158 linux
      1.数组定义 　　[chengmo@centos5 ~]$ a=(1 2 3 4 5) 　　[chengmo@centos5 ~]$ echo $a 　　1 　　一对括号表示是数组，数组元素用“空格”符号分割开。 　　 2.数组读取与赋值 　　得到长度： 　　[chengmo@centos5 ~]$ echo ${#a[@]} 　　5 　　用${#数组名[@或
    • hotspot源码(JDK7) ol_beta javaHotSpotjvm
      源码结构图，方便理解：   ├─agent                            Serviceab
    • Oracle基本事务和ForAll执行批量DML练习 vipbooks oraclesql
      基本事务的使用： 从账户一的余额中转100到账户二的余额中去，如果账户二不存在或账户一中的余额不足100则整笔交易回滚 select * from account; -- 创建一张账户表 create table account( -- 账户ID id number(3) not null, -- 账户名称 nam