Dr家硕的科研之路
Dr家硕的科研之路

Aroma-处理芯片数据得CNV

Rstudio安装

BiocManager::install("aroma.affymetrix")

library(aroma.affymetrix)

所有的aroma包被设计成数据文件位于特定目录下，遵循严格的目录结构。

Affymetrix数据分析的基础是CEL和CDF文件。CEL文件是所谓的数据文件，它包含观测到的信号，而芯片定义文件(CDF)是所谓的注释文件，它包含有关特定芯片类型布局的信息。为了尽量减少用户指定的参数个数，aroma包Affymetrix在下面的预定义目录中查找注释文件。

注释数据文件的位置

annotationData/chipTypes/Mapping50K_Hind240/Mapping50K_Hind240.cdf

annotationData/chipTypes/Mapping50K_Hind240/Mapping50K_Hind240,monocell.cdf

按照上面的文件路径放置文件（注意格式不能错）

Affymetrix NetAffx CSV files文件位置

annotationData/chipTypes/Mapping50K_Hind240/NetAffx/Mapping50K_Hind240_annot.csv

Affymetrix probe-tab files探针文件位置

所谓的Affymetrix探针标签文件是包含关于探针序列等信息的注释文件。可以在Affymetrix网站上找到。例如，GCRMA背景校正需要这些。不幸的是，这些文件的名称没有正式的格式，但它们通常以类似于芯片类型的东西开始，然后是后缀'_probe_tab'，没有文件名扩展名。对于所有注释文件，将它们放在相应的芯片类型目录下，例如。

annotationData/chipTypes/Mapping50K_Hind240/Mapping50K_Hind_probe_tab

DChip annotation files注释文件位置

这些可从http://www.dchip.org/的几种芯片类型。确保将它们放在相应的目录下

annotationData/chipTypes/Mapping50K_Hind240/dChip/50k hind genome info AfAm june 05 hg17.xls

annotationData/chipTypes/Mapping50K_Hind240/dChip/Mapping100K_Hind snp info.txt

原始数据CEL files文件的位置

rawData/SinclairA_etal_2006/

  Mapping250K_Nsp/

    01,XX,2006-07-12.cel

    02,XY,2006-07-14.cel

    ...

    10,XX.cel

    C1.cel 02,XY,2006-07-12.cel

注意，上面的两个数组集有样本“01”，“02”，…，共有“10”，而样本“C1”仅与Nsp芯片杂交，样本“C348”仅与Sty芯片杂交。无论芯片类型，数据都有样本“01”，…、“10”、“C1”和“C358”。

例如你可以按照下面的目录方式设置自己的文件目录

C:/Documents and Settings/JoeD/My Documents/ProjectA/

  +- annotationData/

  |  +- chipTypes/

  |    +- Mapping50K_Hind240/

  |    |  +- Mapping50K_Hind240.cdf

  |    |  +- Mapping50K_Hind240,monocell.cdf

  |    |  +- Mapping50K_Hind_probe_tab

  |    |  |

  |    |  +- dChip/

  |    |  |  +- 50k hind genome info AfAm june 05 hg17.xls

  |    |  |  +- Mapping100K_Hind snp info.txt

  |    |  |

  |    |  +- NetAffx/

  |    |    +- Mapping50K_Hind240_annot.csv

  |    |

  |    +- Mapping250K_Nsp/

  |    |  +- Mapping250K_Nsp.cdf

  |    |

  |    +- Mapping250K_Sty/

  |        +- Mapping250K_Sty.cdf

  |

  +- rawData/

    +- SinclairA_etal_2006/

    |  +- Mapping250K_Nsp/

    |  |  +- 01,XX,2006-07-12.cel

    |  |  +- 02,XY,2006-07-14.cel

    |  |  +- ...

    |  |  +- 10,XX.cel

    |  |  +- C1.cel

    |  |

    |  +- Mapping250K_Sty/

    |      +- 01,XX,2006-07-19,2nd.cel

    |      +- 02,XY,2006-07-20.cel

    |      +- ...

    |      +- 10,XX.cel

    |      +- C358,control.cel

    |

    +- Yu50K

        +- Mapping50K_Hind240/

          +- XYZ0001.cel

          +- XYZ0002.cel

          +- XYZ0003.cel

          +- XYZ0004.cel

          +- XYZ0005.cel

今天我们重点学习使用CRMA v1 (10K, 100K, 500K)进行总拷贝数分析

所谓500K SNP芯片，由Mapping250K_Nsp和Mapping250K_Sty两种芯片类型组成，可查询500,568(=262264+238304)个SNP。单核苷酸多态性的选择是基于其技术性能，而不是基于连锁不平衡(LD) 芯片类型:Mapping250K_Nsp & Mapping250K_Sty

The GeneChip® Human Mapping 500K Array Set provides consistently high coverage across different populations. It is comprised of two arrays, each capable of genotyping on average 250,000 SNPs (approximately 262,000 for Nsp arrays and 238,000 for Sty arrays)

if (!requireNamespace("BiocManager", quietly = TRUE))

  install.packages("BiocManager")

BiocManager::install("aroma.affymetrix")

BiocManager::install("aroma.core")

BiocManager::install("GLAD")

install.packages("gsl")

library(aroma.core)

library(aroma.affymetrix)

library(GLAD)

verbose <- Arguments$getVerbose(-8, timestamp=TRUE)

name <- "ESCC_RawData"

chipTypes <- c("Mapping250K_Nsp", "Mapping250K_Sty")

#验证注释文件

getwd()

setwd("/home/ug0439/zjs/ovarian/CNVsignatures/Aroma_CallCNV/")

cdfs <- lapply(chipTypes, FUN=function(chipType) {

  AffymetrixCdfFile$byChipType(chipType)

})

print(cdfs)

##自动检测ugp和ufl文件是否在正确的位置，环境是否正确

#在我们继续之前，下面将断言可以找到UFL和UGP注释文件，并且它们与给定的CDF兼容。这些步骤实际上并不需要进行分析，因为它们是在后台完成的，但这是一个很好的测试，可以查看设置是否正确，并捕捉已经在这里设置的任何错误。

gis <- lapply(cdfs, FUN=getGenomeInformation)

print(gis)

sis <- lapply(cdfs, FUN=getSnpInformation)

print(sis)

#定义CEL集

cesNList <- list()

##===================对于第一种芯片类型重复以下所有步骤========

chipType <- chipTypes[1] #重复或者并行运行这个代码【1】【2】

cs <- AffymetrixCelSet$byName(name, chipType=chipType)

cs <- cs[!isDuplicated(cs)]

print(cs)

#均一化

qn <- QuantileNormalization(cs)

print(qn)

csN <- process(qn, verbose=verbose)

#归一化

对于忽略链信息的总拷贝数分析

plm <- RmaCnPlm(csN, combineAlleles=TRUE, mergeStrands=TRUE)

print(plm)

fit(plm, verbose=verbose) #使PLM符合所有数据

#PCR片段长度均一划

#为了将由于不同snp的PCR片段长度不同而产生的系统效应归一化，

ces <- getChipEffectSet(plm)

fln <- FragmentLengthNormalization(ces)

print(fln)

#使芯片效应正常化

cesNList[[chipType]] <- process(fln, verbose=verbose)

##===================对于第二种芯片类型重复以上所有步骤======

chipType <- chipTypes[2]#重复或者并行运行这个代码【1】【2】

cs <- AffymetrixCelSet$byName(name, chipType=chipType)

cs <- cs[!isDuplicated(cs)]

print(cs)

#均一化

qn <- QuantileNormalization(cs)

print(qn)

csN <- process(qn, verbose=verbose)

#归一化

对于忽略链信息的总拷贝数分析

plm <- RmaCnPlm(csN, combineAlleles=TRUE, mergeStrands=TRUE)

print(plm)

fit(plm, verbose=verbose) #使PLM符合所有数据

#PCR片段长度均一划

#为了将由于不同snp的PCR片段长度不同而产生的系统效应归一化，

ces <- getChipEffectSet(plm)

fln <- FragmentLengthNormalization(ces)

print(fln)

#使芯片效应正常化

cesNList[[chipType]] <- process(fln, verbose=verbose)

###==================当done以后，打印下面的信息======

print(cesNList)

##==================拷贝数区域(CNRs)的识别======

#GLAD (DNA Gain and Loss Analysis of DNA)模型可以应用于原始拷贝数(CNs)分析。

#对于每个位置，原始CN被计算为相对于正常参考样品的芯片效应的芯片效应。

#如果没有参考样本，可以使用所有样本的稳健平均值。

#为了使用样本的稳健平均作为参考集来建立GLAD模型，

##需要在http://www.dchip.org/里面下载genome annotation data file for genome 'Human放在.注意这里遇到了问题

#找不到基因组文件（网站已过期，目前给作者已经写信询问）。

glad <- GladModel(cesNList)

#此外，目前安装的GLAD型号的“芯片类型”是两种芯片类型的混合。该包通过一个新的虚拟“芯片类型”将输出数据标记为输入芯片类型的最小组合字符串，按字典顺序排序，例如从Mapping250K_Sty和Mapping250K_Nsp组合的芯片类型成为“Mapping250K_Nsp+Sty”。注意，该芯片类型没有CDF，但它指示了这两种芯片类型。

print(glad)

##=================输出拷贝数=========

#给定任何CopyNumberChromosomalModel，包括GladModel，都可以提取原始拷贝数

#log-ratios 可以参考https://eutils.ncbi.nlm.nih.gov/entrez/eutils/elink.fcgi?dbfrom=pubmed&cmd=prlinks&retmode=ref&id=18204055

rawCNs <- extractRawCopyNumbers(glad, array=1, chromosome=1)

print(rawCNs)

#该对象保存(在内存中)原始CN估计值(CN)和它们在请求染色体上的基因组位置(x)。处理这些数据最简单的方法是将其转换为数据帧:

#不管CN模型是什么，原始CNs都是用完全相同的方法估计的

rawCNs <- as.data.frame(rawCNs)

str(rawCNs)

#==============拟合拷贝数模型并显示结果=======

#数据分别对每个样本和每个染色体进行拟合。

#对于单个250K数组，每个数组将花费大约30-40分钟使GLAD符合所有22+1染色体。如果两个250K数组合并，就像本例中那样，处理时间不是增加一倍，而是大约增加四倍，即每个数组2-2.5小时。

#换句话说，将GLAD与Nsp和Sty结合起来可能需要数天时间才能得到一个大的数据集。(脚注:为了加快建模速度，GLAD包必须进行优化;没有什么可以优化它的香气。affymetrix包。)如果一些数组只是为了作为参考样本而包含，则不必使GLAD与这些数组相匹配，这将节省处理时间。

#此外，由于GLAD是独立地贴合到每个阵列和每个染色体上的，因此可以在许多不同的计算机上并行地贴合GLAD。

#我们可以利用ChromosomeExplorer类来适应模型并生成可浏览的图像文件，这是数组和/或染色体的选定子集。

ce <- ChromosomeExplorer(glad)

##setArrays(ce, c("样本A名字", "样本B名字", "样本C名字", "样本D名字"))

setArrays(ce, c("1", "2", "3", "4"))  #要建模的数组

setAlias(ce, "ESCC_500K_CNVcallResult") #为输出命名不同的数据集名称

print(ce)

##=以适应GLAD模型并创建报告文件

process(ce, verbose=verbose)

##如果为了只做染色体的一个子集，例如染色体19、22和23 (X)，做:

process(ce, chromosomes=c(19,22,23), verbose=verbose)

可参考下面的文件设置

ug0439@gs62:~/zjs/ovarian/CNVsignatures/Aroma_CallCNV$ tree

.

├── annotationData

│  └── chipTypes

│      ├── Mapping250k_genome_info_hg18.rar

│      ├── Mapping250K_Nsp

│      │  ├── dChip

│      │  │  └── NetAffxGenomicAnnotations.Homo_sapiens.hg18.na28.db

│      │  ├── Mapping250K_Nsp.cdf

│      │  ├── Mapping250K_Nsp,HB20080710.acs

│      │  ├── Mapping250K_Nsp,monocell.CDF

│      │  ├── Mapping250K_Nsp,monocell.CDF.md5

│      │  ├── Mapping250K_Nsp_na31_HB20101007.ufl

│      │  ├── Mapping250K_Nsp_na31_HB20101007.ugp

│      │  ├── Mapping500K.na24.annot.db

│      │  ├── NetAffx

│      │  │  └── Mapping250K_Nsp,na32,annot.csv

│      │  └── NetAffxGenomicAnnotations.Homo_sapiens.hg18.na28.db

│      └── Mapping250K_Sty

│          ├── dChip

│          │  └── NetAffxGenomicAnnotations.Homo_sapiens.hg18.na28.db

│          ├── Mapping250K_Sty.cdf

│          ├── Mapping250K_Sty,HB20080710.acs

│          ├── Mapping250K_Sty,monocell.CDF

│          ├── Mapping250K_Sty,monocell.CDF.md5

│          ├── Mapping250K_Sty_na31_HB20101007.ufl

│          ├── Mapping250K_Sty_na31_HB20101007.ugp

│          ├── Mapping500K.na24.annot.db

│          ├── NetAffx

│          │  └── Mapping250K_Sty,na32,annot.csv

│          └── NetAffxGenomicAnnotations.Homo_sapiens.hg18.na28.db

├── plmData

│  ├── ESCC_RawData,QN,RMA,A+B

│  │  ├── Mapping250K_Nsp

│  │  │  ├── GSM388956,chipEffects.CEL

│  │  │  ├── GSM388956,chipEffects.CEL.md5

│  │  │  ├── GSM388957,chipEffects.CEL

│  │  │  ├── GSM388957,chipEffects.CEL.md5

│  │  │  ├── GSM389036,chipEffects.CEL

│  │  │  ├── GSM389036,chipEffects.CEL.md5

│  │  │  ├── GSM389037,chipEffects.CEL

│  │  │  ├── GSM389037,chipEffects.CEL.md5

│  │  │  ├── probeAffinities.CEL

│  │  │  └── probeAffinities.CEL.md5

│  │  └── Mapping250K_Sty

│  │      ├── GSM389088,chipEffects.CEL

│  │      ├── GSM389088,chipEffects.CEL.md5

│  │      ├── GSM389089,chipEffects.CEL

│  │      ├── GSM389089,chipEffects.CEL.md5

│  │      ├── GSM389168,chipEffects.CEL

│  │      ├── GSM389168,chipEffects.CEL.md5

│  │      ├── GSM389169,chipEffects.CEL

│  │      ├── GSM389169,chipEffects.CEL.md5

│  │      ├── probeAffinities.CEL

│  │      └── probeAffinities.CEL.md5

│  └── ESCC_RawData,QN,RMA,A+B,FLN,-XY

│      ├── Mapping250K_Nsp

│      │  ├── GSM388956,chipEffects.CEL

│      │  ├── GSM388956,chipEffects.CEL.md5

│      │  ├── GSM388957,chipEffects.CEL

│      │  ├── GSM388957,chipEffects.CEL.md5

│      │  ├── GSM389036,chipEffects.CEL

│      │  ├── GSM389036,chipEffects.CEL.md5

│      │  ├── GSM389037,chipEffects.CEL

│      │  └── GSM389037,chipEffects.CEL.md5

│      └── Mapping250K_Sty

│          ├── GSM389088,chipEffects.CEL

│          ├── GSM389088,chipEffects.CEL.md5

│          ├── GSM389089,chipEffects.CEL

│          ├── GSM389089,chipEffects.CEL.md5

│          ├── GSM389168,chipEffects.CEL

│          ├── GSM389168,chipEffects.CEL.md5

│          ├── GSM389169,chipEffects.CEL

│          └── GSM389169,chipEffects.CEL.md5

├── probeData

│  └── ESCC_RawData,QN

│      ├── Mapping250K_Nsp

│      │  ├── GSM388956.CEL

│      │  ├── GSM388956.CEL.md5

│      │  ├── GSM388957.CEL

│      │  ├── GSM388957.CEL.md5

│      │  ├── GSM389036.CEL

│      │  ├── GSM389036.CEL.md5

│      │  ├── GSM389037.CEL

│      │  └── GSM389037.CEL.md5

│      └── Mapping250K_Sty

│          ├── GSM389088.CEL

│          ├── GSM389088.CEL.md5

│          ├── GSM389089.CEL

│          ├── GSM389089.CEL.md5

│          ├── GSM389168.CEL

│          ├── GSM389168.CEL.md5

│          ├── GSM389169.CEL

│          └── GSM389169.CEL.md5

└── rawData

    └── ESCC_RawData

        ├── Mapping250K_Nsp

        │  ├── GSM388956.CEL

        │  ├── GSM388957.CEL

        │  ├── GSM389036.CEL

        │  └── GSM389037.CEL

        └── Mapping250K_Sty

            ├── GSM389088.CEL

            ├── GSM389089.CEL

            ├── GSM389168.CEL

            └── GSM389169.CEL

你可能感兴趣的:(Aroma-处理芯片数据得CNV)

  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • 2021-08-26 影幽
    在生活中，女人与男人的感悟往往有所不同。人生最大的舞台就是生活，大幕随时都可能拉开，关键是你愿不愿意表演都无法躲避。在生活中，遇事不要急躁，不要急于下结论，尤其生气时不要做决断，要学会换位思考，大事化小小事化了，把复杂的事情尽量简单处理，千万不要把简单的事情复杂化。永远不要扭曲，别人善意，无药可救。昨天是张过期的支票，明天是张信用卡，只有今天才是现金，要善加利用！执着的攀登者不必去与别人比较自己的
  • 消息中间件有哪些常见类型 xmh-sxh-1314 java
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
  • 《大清方方案》| 第二话 谁佐清欢
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
  • 每日一题——第九十题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • WPF中的ComboBox控件几种数据绑定的方式 互联网打工人no1 wpfc#
    一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • 2019-12-22-22:30 涓涓1016
    今天是冬至，写下我的日更，是因为这两天的学习真的是能量的满满，让我看到了自己，未来另外一种可能性，也让我看到了这两年这几年的过程中我所接受那些痛苦的来源。一切的根源和痛苦都来自于人生，家庭，而你的原生家庭，你的爸爸和妈妈，是因为你这个灵魂在那一刻选择他们作为你的爸爸和妈妈来的，所以你得接受他，你得接纳他，他就是因为他的存在而给你的学习和成长带来这些痛苦，那其实是你必然要经历的这个过程，当你去接纳的
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • LLM 词汇表 落难Coder LLMsNLP大语言模型大模型llama人工智能
    Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • 使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twittereasyui前端python
    #使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • 勇士赢了，我把掌声给了骑士 复角度的生活
    今天，不参加高考，只看NBA总决赛第三场的较量。这么说有点得罪高考生了，不过我没有当他们面秀，也没有跑到考点外面得瑟，所以我内心毫无波澜。毫无疑问，考场里不乏骑士和勇士球迷，在紧张作答语文考卷同时还心系着球队，不过我希望今天的比赛不会让你们有所分心，毕竟高考不会像比赛录像那样可以再来。今天，好像起来赶考一样，我起得很早，然而事实是睡不着，挺郁闷的，又不是我高考，我紧张什么？九点我并没有准时打开浏览
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • 【目标检测数据集】卡车数据集1073张VOC+YOLO格式 熬夜写代码的平头哥∰ 目标检测YOLO人工智能
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：1073标注数量(xml文件个数)：1073标注数量(txt文件个数)：1073标注类别数：1标注类别名称:["truck"]每个类别标注的框数：truck框数=1120总框数：1120使用标注工具：labelImg标注
  • tomcat基础与部署发布 暗黑小菠萝 Tomcat java web
    从51cto搬家了，以后会更新在这里方便自己查看。 做项目一直用tomcat，都是配置到eclipse中使用，这几天有时间整理一下使用心得，有一些自己配置遇到的细节问题。 Tomcat：一个Servlets和JSP页面的容器，以提供网站服务。 一、Tomcat安装     安装方式：①运行.exe安装包      &n
  • 网站架构发展的过程 ayaoxinchao 数据库应用服务器网站架构
    1.初始阶段网站架构：应用程序、数据库、文件等资源在同一个服务器上 2.应用服务和数据服务分离：应用服务器、数据库服务器、文件服务器 3.使用缓存改善网站性能：为应用服务器提供本地缓存，但受限于应用服务器的内存容量，可以使用专门的缓存服务器，提供分布式缓存服务器架构 4.使用应用服务器集群改善网站的并发处理能力：使用负载均衡调度服务器，将来自客户端浏览器的访问请求分发到应用服务器集群中的任何
  • [信息与安全]数据库的备份问题 comsci 数据库
          如果你们建设的信息系统是采用中心-分支的模式,那么这里有一个问题   如果你的数据来自中心数据库,那么中心数据库如果出现故障,你的分支机构的数据如何保证安全呢?    是否应该在这种信息系统结构的基础上进行改造,容许分支机构的信息系统也备份一个中心数据库的文件呢?  &n
  • 使用maven tomcat plugin插件debug关联源代码 商人shang mavendebug查看源码tomcat-plugin
    *首先需要配置好'''maven-tomcat7-plugin'''，参见[[Maven开发Web项目]]的'''Tomcat'''部分。 *配置好后，在[[Eclipse]]中打开'''Debug Configurations'''界面，在'''Maven Build'''项下新建当前工程的调试。在'''Main'''选项卡中点击'''Browse Workspace...'''选择需要开发的
  • 大访问量高并发 oloz 大访问量高并发
    大访问量高并发的网站主要压力还是在于数据库的操作上，尽量避免频繁的请求数据库。下面简 要列出几点解决方案： 01、优化你的代码和查询语句，合理使用索引 02、使用缓存技术例如memcache、ecache将不经常变化的数据放入缓存之中 03、采用服务器集群、负载均衡分担大访问量高并发压力 04、数据读写分离 05、合理选用框架，合理架构(推荐分布式架构)。
  • cache 服务器 小猪猪08 cache
    Cache   即高速缓存.那么cache是怎么样提高系统性能与运行速度呢？是不是在任何情况下用cache都能提高性能？是不是cache用的越多就越好呢？我在近期开发的项目中有所体会，写下来当作总结也希望能跟大家一起探讨探讨，有错误的地方希望大家批评指正。 　　1.Cache   是怎么样工作的? 　　Cache   是分配在服务器上
  • mysql存储过程 香水浓 mysql
    Description:插入大量测试数据 use xmpl; drop procedure if exists mockup_test_data_sp; create procedure mockup_test_data_sp( in number_of_records int ) begin declare cnt int; declare name varch
  • CSS的class、id、css文件名的常用命名规则 agevs JavaScriptUI框架Ajaxcss
      CSS的class、id、css文件名的常用命名规则     (一)常用的CSS命名规则 　　头：header 　　内容：content/container 　　尾：footer 　　导航：nav 　　侧栏：sidebar 　　栏目：column 　　页面外围控制整体布局宽度：wrapper 　　左右中：left right
  • 全局数据源 AILIKES javatomcatmysqljdbcJNDI
    实验目的：为了研究两个项目同时访问一个全局数据源的时候是创建了一个数据源对象，还是创建了两个数据源对象。 1：将diuid和mysql驱动包（druid-1.0.2.jar和mysql-connector-java-5.1.15.jar）copy至%TOMCAT_HOME%/lib下；2：配置数据源，将JNDI在%TOMCAT_HOME%/conf/context.xml中配置好,格式如下：&l
  • MYSQL的随机查询的实现方法 baalwolf mysql
    MYSQL的随机抽取实现方法。举个例子，要从tablename表中随机提取一条记录，大家一般的写法就是：SELECT * FROM tablename ORDER BY RAND() LIMIT 1。但是，后来我查了一下MYSQL的官方手册，里面针对RAND()的提示大概意思就是，在ORDER BY从句里面不能使用RAND()函数，因为这样会导致数据列被多次扫描。但是在MYSQL 3.23版本中，
  • JAVA的getBytes()方法 bijian1013 javaeclipseunixOS
        在Java中，String的getBytes()方法是得到一个操作系统默认的编码格式的字节数组。这个表示在不同OS下，返回的东西不一样！      String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示，如： byte[] b_gbk = "
  • AngularJS中操作Cookies bijian1013 JavaScriptAngularJSCookies
            如果你的应用足够大、足够复杂，那么你很快就会遇到这样一咱种情况：你需要在客户端存储一些状态信息，这些状态信息是跨session(会话)的。你可能还记得利用document.cookie接口直接操作纯文本cookie的痛苦经历。         幸运的是，这种方式已经一去不复返了，在所有现代浏览器中几乎
  • [Maven学习笔记五]Maven聚合和继承特性 bit1129 maven
    Maven聚合   在实际的项目中，一个项目通常会划分为多个模块，为了说明问题，以用户登陆这个小web应用为例。通常一个web应用分为三个模块： 1. 模型和数据持久化层user-core, 2. 业务逻辑层user-service以 3. web展现层user-web， user-service依赖于user-core user-web依赖于user-core和use
  • 【JVM七】JVM知识点总结 bit1129 jvm
      1. JVM运行模式 1.1 JVM运行时分为-server和-client两种模式，在32位机器上只有client模式的JVM。通常，64位的JVM默认都是使用server模式，因为server模式的JVM虽然启动慢点，但是，在运行过程，JVM会尽可能的进行优化 1.2 JVM分为三种字节码解释执行方式：mixed mode, interpret mode以及compiler
  • linux下查看nginx、apache、mysql、php的编译参数 ronin47
    在linux平台下的应用，最流行的莫过于nginx、apache、mysql、php几个。而这几个常用的应用，在手工编译完以后，在其他一些情况下（如：新增模块），往往想要查看当初都使用了那些参数进行的编译。这时候就可以利用以下方法查看。 1、nginx [root@361way ~]# /App/nginx/sbin/nginx -V nginx: nginx version: nginx/
  • unity中运用Resources.Load的方法？ brotherlamp unity视频unity资料unity自学unityunity教程
    问：unity中运用Resources.Load的方法？ 答：Resources.Load是unity本地动态加载资本所用的方法,也即是你想动态加载的时分才用到它,比方枪弹,特效,某些实时替换的图像什么的,主张此文件夹不要放太多东西,在打包的时分,它会独自把里边的一切东西都会集打包到一同,不论里边有没有你用的东西,所以大多数资本应该是自个建文件放置 1、unity实时替换的物体即是依据环境条件
  • 线段树-入门 bylijinnan java算法线段树
    /** * 线段树入门 * 问题：已知线段[2,5] [4,6] [0,7]；求点2,4,7分别出现了多少次 * 以下代码建立的线段树用链表来保存，且树的叶子结点类似[i,i] * * 参考链接：http://hi.baidu.com/semluhiigubbqvq/item/be736a33a8864789f4e4ad18 * @author lijinna
  • 全选与反选 chicony 全选
      <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <title>全选与反选</title>
  • vim一些简单记录 chenchao051 vim
    mac在/usr/share/vim/vimrc linux在/etc/vimrc   1、问：后退键不能删除数据，不能往后退怎么办？       答：在vimrc中加入set backspace=2   2、问：如何控制tab键的缩进？       答：在vimrc中加入set tabstop=4 (任何
  • Sublime Text 快捷键 daizj 快捷键sublime
    [size=large][/size]Sublime Text快捷键：Ctrl+Shift+P：打开命令面板Ctrl+P：搜索项目中的文件Ctrl+G：跳转到第几行Ctrl+W：关闭当前打开文件Ctrl+Shift+W：关闭所有打开文件Ctrl+Shift+V：粘贴并格式化Ctrl+D：选择单词，重复可增加选择下一个相同的单词Ctrl+L：选择行，重复可依次增加选择下一行Ctrl+Shift+L：
  • php 引用(&)详解 dcj3sjt126com PHP
    在PHP 中引用的意思是：不同的名字访问同一个变量内容. 与Ｃ语言中的指针是有差别的．Ｃ语言中的指针里面存储的是变量的内容在内存中存放的地址 变量的引用 PHP 的引用允许你用两个变量来指向同一个内容  复制代码代码如下: <?  $a="ABC";  $b =&$a;  echo
  • SVN中trunk,branches,tags用法详解 dcj3sjt126com SVN
    Subversion有一个很标准的目录结构，是这样的。比如项目是proj，svn地址为svn://proj/，那么标准的svn布局是svn://proj/|+-trunk+-branches+-tags这是一个标准的布局，trunk为主开发目录，branches为分支开发目录，tags为tag存档目录（不允许修改）。但是具体这几个目录应该如何使用，svn并没有明确的规范，更多的还是用户自己的习惯。
  • 对软件设计的思考 e200702084 设计模式数据结构算法ssh活动
    软件设计的宏观与微观    软件开发是一种高智商的开发活动。一个优秀的软件设计人员不仅要从宏观上把握软件之间的开发，也要从微观上把握软件之间的开发。宏观上，可以应用面向对象设计，采用流行的SSH架构，采用web层，业务逻辑层，持久层分层架构。采用设计模式提供系统的健壮性和可维护性。微观上，对于一个类，甚至方法的调用，从计算机的角度模拟程序的运行情况。了解内存分配，参数传
  • 同步、异步、阻塞、非阻塞 geeksun 非阻塞
    同步、异步、阻塞、非阻塞这几个概念有时有点混淆，在此文试图解释一下。   同步：发出方法调用后，当没有返回结果，当前线程会一直在等待（阻塞）状态。 场景：打电话，营业厅窗口办业务、B/S架构的http请求-响应模式。   异步：方法调用后不立即返回结果，调用结果通过状态、通知或回调通知方法调用者或接收者。异步方法调用后，当前线程不会阻塞，会继续执行其他任务。 实现：
  • Reverse SSH Tunnel 反向打洞實錄 hongtoushizi ssh
    實際的操作步驟： # 首先，在客戶那理的機器下指令連回我們自己的 Server，並設定自己 Server 上的 12345 port 會對應到幾器上的 SSH port ssh -NfR 12345:localhost:22 [email protected] # 然後在 myhost 的機器上連自己的 12345 port，就可以連回在客戶那的機器 ssh localhost -p 1
  • Hibernate中的缓存 Josh_Persistence 一级缓存Hiberante缓存查询缓存二级缓存
    Hibernate中的缓存   一、Hiberante中常见的三大缓存：一级缓存，二级缓存和查询缓存。 Hibernate中提供了两级Cache，第一级别的缓存是Session级别的缓存，它是属于事务范围的缓存。这一级别的缓存是由hibernate管理的，一般情况下无需进行干预；第二级别的缓存是SessionFactory级别的缓存，它是属于进程范围或群集范围的缓存。这一级别的缓存
  • 对象关系行为模式之延迟加载 home198979 PHP架构延迟加载
    形象化设计模式实战     HELLO!架构   一、概念 Lazy Load：一个对象，它虽然不包含所需要的所有数据，但是知道怎么获取这些数据。 延迟加载貌似很简单，就是在数据需要时再从数据库获取，减少数据库的消耗。但这其中还是有不少技巧的。     二、实现延迟加载 实现Lazy Load主要有四种方法：延迟初始化、虚
  • xml 验证 pengfeicao521 xmlxml解析
    有些字符，xml不能识别，用jdom或者dom4j解析的时候就报错 public static void testPattern() { // 含有非法字符的串 String str =       "Jamey&#52828;&#01;&#02;&#209;&#1282
  • div设置半透明效果 spjich css半透明
    为div设置如下样式：   div{filter:alpha(Opacity=80);-moz-opacity:0.5;opacity: 0.5;}        说明： 1、filter：对win IE设置半透明滤镜效果，filter:alpha(Opacity=80)代表该对象80%半透明，火狐浏览器不认2、-moz-opaci
  • 你真的了解单例模式么？ w574240966 java单例设计模式jvm
        单例模式，很多初学者认为单例模式很简单，并且认为自己已经掌握了这种设计模式。但事实上，你真的了解单例模式了么。   一，单例模式的5中写法。（回字的四种写法，哈哈。）     1，懒汉式           （1）线程不安全的懒汉式 public cla
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他