Xin_2f00
Xin_2f00

ChIPseq pipeline

conda activate bowtie2

#bulid bowtie2 index

cd /home/yc17628/RefData/hg38_p13

bowtie2-build --threads 10 -f hg38.p13.fa hg38

conda activate bowtie2

cd /home/yc17628/Project/NSD3/ChIPseq/align

index=/home/yc17628/RefData/hg38_p13/hg38

outputdir=/home/yc17628/Project/NSD3/ChIPseq/align

ls /home/yc17628/Project/NSD3/ChIPseq/2.cleandata/*gz|cut -d"_" -f 1,2,3,4|sort -u|while read id; do

sample=$(basename $id)

fq1=${id}_1.clean.fq.gz

fq2=${id}_2.clean.fq.gz

ls -lh $fq1 $fq2

bowtie2 -p 10 -x $index -1 $fq1 -2 $fq2 | samtools sort -O bam -@ 6 -o - > $outputdir/${sample}.sorted.bam

done

#Bam qc

cd /home/yc17628/Project/NSD3/ChIPseq/align

ls  *.bam  | xargs -i samtools index {}

ls  *.bam  | while read id ;do (nohup samtools flagstat $id > $(basename $id ".bam").stat & );done

#PCR dup remove

conda activate bowtie2

cd /home/yc17628/Project/NSD3/ChIPseq/align

outputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdup

ls *.bam|cut -d"." -f 1| sort -u | while read id; do samtools sort -n -o $outputdir/${id}.namesort.bam ${id}.sorted.bam ;done

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

ls *.namesort.bam  | while read id ;do  samtools fixmate -m $id $(basename $id ".namesort.bam").fix.bam ;done

ls *.fix.bam  | while read id ;do  samtools sort -o $(basename $id ".fix.bam").fix.pos.bam $id  ;done

ls *.fix.pos.bam  | while read id ;do  samtools markdup -r $id $(basename $id ".fix.pos.bam").rmdup.bam ;done

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

ls  *.rmdup.bam  | xargs -i samtools index {}

ls  *.rmdup.bam  | while read id ;do (nohup samtools flagstat $id > $(basename $id ".bam").stat & );done

#bam to bed

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

ls *.bam | cut -d"." -f 1 |while read id; do

sample=$(basename $id)

ls ${id}.rmdup.bam

echo ${sample}

bedtools bamtobed -i ${id}.rmdup.bam -bed12 > ${sample}.bed

done

#bam to bw bamCoverage

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdup

ls *.bam | cut -d"." -f 1| sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

bamCoverage --normalizeUsing CPM -b ${sample}.rmdup.bam -o $outputdir/${sample}.bw

done

#bam to bw bamCompare

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/bw

ls sgControl*.bam |cut -d"." -f 1| sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

bamCompare -b1 ${sample}.rmdup.bam -b2 sgControl_ChIP_input_R.rmdup.bam -o ${sample}.bw

done

ls sgNSD3*.bam |cut -d"." -f 1| sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

bamCompare -b1 ${sample}.rmdup.bam -b2 sgNSD3_ChIP_input_R.rmdup.bam -o ${sample}.bw

done

#diffReps

cd /home/yc17628/Project/NSD3/ChIPseq/bed

outputdir=/home/yc17628/Project/NSD3/ChIPseq/diffReps_2

diffReps.pl -tr sgNSD3_H2AZ_ChIP_R1.bed sgNSD3_H2AZ_ChIP_R2.bed -co sgControl_H2AZ_ChIP_R1.bed sgControl_H2AZ_ChIP_R2.bed --chrlen /home/yc17628/RefData/hg38_p13/hg38.p13.chrom.sizes --mode p -me nb -re $outputdir/ChIP_H2AZ.NvsC.diff.txt --noanno

diffReps.pl -tr sgNSD3_NSD3_ChIP_R1.bed sgNSD3_NSD3_ChIP_R2.bed -co sgControl_NSD3_ChIP_R1.bed sgControl_NSD3_ChIP_R2.bed --chrlen /home/yc17628/RefData/hg38_p13/hg38.p13.chrom.sizes --mode p -me nb -re $outputdir/ChIP_NSD3.NvsC.diff.txt --noanno

diffReps.pl -tr sgControl_H2AZ_ChIP_R1.bed sgControl_H2AZ_ChIP_R2.bed -co sgControl_NSD3_ChIP_R1.bed sgControl_NSD3_ChIP_R2.bed --chrlen /home/yc17628/RefData/hg38_p13/hg38.p13.chrom.sizes --mode p -me nb -re $outputdir/c_H2AZvsNSD3.diff.txt --noanno

diffReps.pl -tr sgNSD3_H2AZ_ChIP_R1.bed sgNSD3_H2AZ_ChIP_R2.bed -co sgNSD3_NSD3_ChIP_R1.bed sgNSD3_NSD3_ChIP_R2.bed --chrlen /home/yc17628/RefData/hg38_p13/hg38.p13.chrom.sizes --mode p -me nb -re $outputdir/n_H2AZvsNSD3.diff.txt --noanno

#Peaks annotation

conda activate chipseq

cd /home/yc17628/Project/NSD3/ChIPseq/broad_peaks

outputdir=/home/yc17628/Project/NSD3/ChIPseq/broad_peaks/annotate

ls *broadPeak | cut -d"." -f 1| sort -u |while read id; do

ls ${id}.broadPeak

annotatePeaks.pl ${id}.broadPeak hg38  > $outputdir/${id}.peak_related_genes.txt

done

#phantompeakqualtools qual

conda activate phantompeak

cd /home/yc17628/App/phantompeakqualtools

mkdir -p logs qual

ls /home/yc17628/Project/NSD3/ChIPseq/rmdup/*.bam |cut -d"." -f 1 |sort -u |while read id; do

sample=$(basename $id)

ls -lh ${id}.rmdup.bam

echo ${sample}

Rscript run_spp.R -c=${id}.rmdup.bam -savp=qual/${sample}.png -out=qual/${sample}.qual > logs/${sample}.Rout

done

#phantompeakqualtools_peak calling

conda activate phantompeak

cd /home/yc17628/App/phantompeakqualtools

inputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdup

ls $inputdir/sgControl*R#*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

mkdir ${sample}

Rscript run_spp.R -c=$inputdir/${sample}.rmdup.bam -i=$inputdir/sgControl_ChIP_input_R_BMRC210005804-1A.rmdup.bam -fdr=0.05 -odir=${sample} -savr -savp -savd -rf

done

conda activate phantompeak

cd /home/yc17628/App/phantompeakqualtools

inputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdup

ls sgNSD3*R#*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

mkdir ${sample}

Rscript run_spp.R -c=$inputdir/${sample}.rmdup.bam -i=$inputdir/sgNSD3_ChIP_input_R_BMRC210005807-1A.rmdup.bam -fdr=0.05 -odir=${sample} -savr -savp -savd -rf

done

#TSS

cd /home/yc17628/Project/NSD3/ChIPseq/rmdpeaks/TSS

inputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdpeaks/bw

ls $inputdir/*.bw |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

ls ${id}.bw

computeMatrix reference-point \

-S ${id}.bw \

-R /home/yc17628/RefData/deeptools/ref.bed \

--referencePoint TSS \

-a 2000 -b 2000 \

--skipZeros -out matrix_${sample}_TSS.gz \

--outFileSortedRegions regions_${sample}_TSS_2K.bed

plotHeatmap \

-m matrix_${sample}_TSS.gz\

-out ${sample}_TSS.png \

--heatmapHeight 15  \

--refPointLabel TSS \

--regionsLabel genes \

--plotTitle '${sample}' \

#Chipseq_signal heatmap_scale-regions

cd /home/yc17628/Project/NSD3/ChIPseq/rmdpeaks/Region

inputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdpeaks/bw

ls $inputdir/*.bw |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

ls ${id}.bw

computeMatrix scale-regions \

-S ${id}.bw \

-R /home/yc17628/RefData/deeptools/ref.bed \

--beforeRegionStartLength 3000 \

--regionBodyLength 5000 \

--afterRegionStartLength 3000 \

--skipZeros -o matrix_${sample}_region.gz

plotHeatmap -m matrix_${sample}_region.gz \

-out ${sample}_region.png \

--whatToShow "plot, heatmap and colorbar"

done

#homer motif

cd /home/yc17628/Project/NSD3/ChIPseq/rmdpeaks_0.1/IDR

ls *.bed |cut -d"." -f 1| cut -d"_" -f 1-3| sort -u |while read id ;do

sample=$(basename $id)

bed=${sample}_idr.bed

ls ${bed}

findMotifsGenome.pl ${bed} hg38 ${sample}_motifDir/ -size 200 -mask

annotatePeaks.pl ${bed} hg38  > ${sample}.peak_related_genes.txt

done

#BETA

conda activate python2.7

cd /home/yc17628/Project/NSD3/ChIPseq/BETA

ref=/home/yc17628/RefData/Cellranger/refdata-cellranger-GRCh38/fasta

BETA basic -p sgControl_H2AZ_ChIP_idr.bed ñe Limma_DEG_list.csv ñk LIM ñg hg38 --da500 ñn sgControl --gname2

BETA plus -p sgControl_H2AZ_ChIP_idr.bed -e Limma_DEG_list.csv -k LIM -g hg38 --gs $ref/genome.fa --bl -n sgControl --gname2

#macs3 broad peak

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/broad_peaks

ls sgControl*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c sgControl_ChIP_input_R.rmdup.bam -n ${sample} -f BAM -g hs --outdir $outputdir --broad --broad-cutoff 0.1

done

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/broad_peaks

ls sgNSD3*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c sgNSD3_ChIP_input_R.rmdup.bam  -n ${sample} -f BAM -g hs --outdir $outputdir --broad --broad-cutoff 0.1

done

#macs3 TF peak

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/TF_peaks_0.1

ls sgControl*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c sgControl_ChIP_input_R_BMRC210005804-1A.rmdup.bam -n ${sample} -f BAM -g hs --outdir $outputdir -n test -B -q 0.1

done

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/TF_peaks_0.1

ls sgNSD3*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c ssgNSD3_ChIP_input_R_BMRC210005807-1A.rmdup.bam  -n ${sample} -f BAM -g hs --outdir $outputdir -n test -B -q 0.1

done

#compare bed files

bedtools intersect -a ChIP_H2AZ.NvsC.Down.bed -b ChIP_NSD3.NvsC.Down.bed -wo > H2AZ_NSD3_Down_overlap.bed

bedtools intersect -a ChIP_H2AZ.NvsC.Up.bed -b ChIP_NSD3.NvsC.Up.bed -wo > H2AZ_NSD3_Up_overlap.bed

annotatePeaks.pl H2AZ_NSD3_Down_overlap.bed hg38  > H2AZ_NSD3_Down_overlap_related_genes.txt

annotatePeaks.pl H2AZ_NSD3_Up_overlap.bed hg38  > H2AZ_NSD3_Up_overlap_related_genes.txt

wc -l ChIP_H2AZ.NvsC.Down.bed

wc -l ChIP_NSD3.NvsC.Down.bed

wc -l H2AZ_NSD3_Down_overlap.bed

wc -l ChIP_H2AZ.NvsC.diff.txt

wc -l ChIP_NSD3.NvsC.diff.txt

wc -l ChIP_H2AZ.NvsC.Up.bed

wc -l ChIP_NSD3.NvsC.Up.bed

wc -l H2AZ_NSD3_Up_overlap.bed

#peak files

cd /home/yc17628/Project/NSD3/ChIPseq/TF_peaks_0.1

ls *.narrowPeak |while read id ; do

sample=$(basename $id|cut -d"." -f 1)

echo ${sample}

bedtools merge -i ${id} > ${sample}.bed

done

cd /home/yc17628/Project/NSD3/ChIPseq/TF_peaks_0.1

outputdir=/home/yc17628/Project/NSD3/ChIPseq/TF_peaks_0.1/annotate

ls *peaks.bed | cut -d"." -f 1| sort -u |while read id; do

ls ${id}.bed

annotatePeaks.pl ${id}.bed hg38  > $outputdir/${id}_related_genes.txt

done

#deeptools correlation&PCA

cd /home/yc17628/Project/NSD3/ChIPseq/bw

outputdir=/home/yc17628/Project/NSD3/ChIPseq/bw/bs500

multiBigwigSummary bins -bs 500 --labels sgControl_H2AZ_R1 sgControl_H2AZ_R2 sgControl_NSD3_R1 sgControl_NSD3_R2 sgControl_input sgNSD3_H2AZ_R1 sgNSD3_H2AZ_R2 sgNSD3_NSD3_R1 sgNSD3_NSD3_R2 sgNSD3_input \

-b sgControl_H2AZ_ChIP_R1.bw sgControl_H2AZ_ChIP_R2.bw sgControl_NSD3_ChIP_R1.bw sgControl_NSD3_ChIP_R2.bw sgControl_ChIP_input_R.bw \

sgNSD3_H2AZ_ChIP_R1.bw sgNSD3_H2AZ_ChIP_R2.bw sgNSD3_NSD3_ChIP_R1.bw sgNSD3_NSD3_ChIP_R2.bw sgNSD3_ChIP_input_R.bw \

-o $outputdir/results.npz --outRawCounts counts.tab

#deeptools correlation&PCA

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/rmdup/bs500

multiBamSummary bins -bs 500 --labels sgControl_H2AZ_R1 sgControl_H2AZ_R2 sgControl_NSD3_R1 sgControl_NSD3_R2 sgControl_input sgNSD3_H2AZ_R1 sgNSD3_H2AZ_R2 sgNSD3_NSD3_R1 sgNSD3_NSD3_R2 sgNSD3_input \

-b sgControl_H2AZ_ChIP_R1.rmdup.bam sgControl_H2AZ_ChIP_R2.rmdup.bam sgControl_NSD3_ChIP_R1.rmdup.bam sgControl_NSD3_ChIP_R2.rmdup.bam sgControl_ChIP_input_R.rmdup.bam \

sgNSD3_H2AZ_ChIP_R1.rmdup.bam sgNSD3_H2AZ_ChIP_R2.rmdup.bam sgNSD3_NSD3_ChIP_R1.rmdup.bam sgNSD3_NSD3_ChIP_R2.rmdup.bam sgNSD3_ChIP_input_R.rmdup.bam \

-o $outputdir/results.npz --outRawCounts $outputdir/counts.tab

#read counts

conda activate bowtie2

cd /home/yc17628/Project/NSD3/Tag/workdir/aligned/dedup/bs50

plotCorrelation \-in results.npz \--corMethod spearman \--skipZeros \--plotTitle "Spearman Correlation of Read Counts" \--whatToPlot heatmap \--colorMap RdYlBu \--plotNumbers \-o heatmap_SpearmanCorr.pdf \--outFileCorMatrix SpearmanCorr_readCounts.tab

plotPCA -in results.npz -o PCA_readCounts.png -T "PCA of read counts"

cd /home/yc17628/Project/NSD3/Tag/workdir/aligned/dedup/bs500

plotCorrelation \-in results.npz \--corMethod spearman \--skipZeros \--plotTitle "Spearman Correlation of Read Counts" \--whatToPlot heatmap \--colorMap RdYlBu \--plotNumbers \-o heatmap_SpearmanCorr.pdf \--outFileCorMatrix SpearmanCorr_readCounts.tab

plotPCA -in results.npz -o PCA_readCounts.png -T "PCA of read counts"

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup/bs50

plotCorrelation \-in results.npz \--corMethod spearman \--skipZeros \--plotTitle "Spearman Correlation of Read Counts" \--whatToPlot heatmap \--colorMap RdYlBu \--plotNumbers \-o heatmap_SpearmanCorr.pdf \--outFileCorMatrix SpearmanCorr_readCounts.tab

plotPCA -in results.npz -o PCA_readCounts.png -T "PCA of read counts"

#bw score

plotCorrelation \-in results.npz \--corMethod pearson \--skipZeros \--plotTitle "Pearson Correlation of Average Scores Per Transcript" \--whatToPlot heatmap \--colorMap RdYlBu \--plotNumbers \-o scatterplot_PearsonCorr.pdf  \--outFileCorMatrix PearsonCorr_bigwigScores.tab

#filter bed file for danpos

ls *.bed |while read id ;do

sample=$(basename $id|cut -d '.' -f 1)

echo ${sample}

ls ${id}

grep -v '_' ${id} > ${sample}.filter.bed

done

#Danpos

conda activate danpos3

cd /home/yc17628/App/DANPOS3

workdir=/home/yc17628/Project/NSD3/ChIPseq/bed

python danpos.py dpos $workdir/sgNSD3_H2AZ/:$workdir/sgControl_H2AZ/ -s 0 -o $workdir/danpos_pos_ChIP_H2AZ -b $workdir/sgNSD3_H2AZ/:$workdir/sgNSD3_ChIP_input_R.filter.bed,$workdir/sgControl_H2AZ/:$workdir/sgControl_ChIP_input_R.filter.bed

python danpos.py dpeak $workdir/sgNSD3_H2AZ/:$workdir/sgControl_H2AZ/ -s 0 -o $workdir/danpos_peak_ChIP_H2AZ -b $workdir/sgNSD3_H2AZ/:$workdir/sgNSD3_ChIP_input_R.filter.bed,$workdir/sgControl_H2AZ/:$workdir/sgControl_ChIP_input_R.filter.bed

python danpos.py dregion $workdir/sgNSD3_H2AZ/:$workdir/sgControl_H2AZ/ -s 0 -o $workdir/danpos_region_ChIP_H2AZ  -b $workdir/sgNSD3_H2AZ/:$workdir/sgNSD3_ChIP_input_R.filter.bed,$workdir/sgControl_H2AZ/:$workdir/sgControl_ChIP_input_R.filter.bed

conda activate danpos3

cd /home/yc17628/App/DANPOS3

workdir1=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_pos_ChIP_H2AZ/pooled

python danpos.py stat $workdir1/home_yc17628_Project_NSD3_ChIPseq_bed_sgNSD3_H2AZ.bgsub.Fnor.smooth.positions.xls,$workdir1/home_yc17628_Project_NSD3_ChIPseq_bed_sgControl_H2AZ.bgsub.Fnor.smooth.positions.xls sgNSD3,sgControl --plot_colors red,blue --name $workdir1/stat

workdir2=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_peak_ChIP_H2AZ/pooled

python danpos.py stat $workdir2/home_yc17628_Project_NSD3_ChIPseq_bed_sgNSD3_H2AZ.bgsub.Fnor.smooth.peaks.xls,$workdir2/home_yc17628_Project_NSD3_ChIPseq_bed_sgControl_H2AZ.bgsub.Fnor.smooth.peaks.xls sgNSD3,sgControl --plot_colors red,blue --name $workdir2/stat

workdir3=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_region_ChIP_H2AZ/pooled

python danpos.py stat $workdir3/home_yc17628_Project_NSD3_ChIPseq_bed_sgNSD3_H2AZ.bgsub.Fnor.smooth.regions.xls,$workdir3/home_yc17628_Project_NSD3_ChIPseq_bed_sgControl_H2AZ.bgsub.Fnor.smooth.regions.xls sgNSD3,sgControl --plot_colors red,blue --name $workdir3/stat

conda activate danpos3

cd /home/yc17628/App/DANPOS3

workdir=/home/yc17628/Project/NSD3/ChIPseq/bed

python danpos.py dpos $workdir/sgNSD3_NSD3/:$workdir/sgControl_NSD3/ -s 0 -o $workdir/danpos_pos_ChIP_NSD3 -b $workdir/sgNSD3_NSD3/:$workdir/sgNSD3_ChIP_input_R.filter.bed,$workdir/sgControl_NSD3/:$workdir/sgControl_ChIP_input_R.filter.bed

python danpos.py dpeak $workdir/sgNSD3_NSD3/:$workdir/sgControl_NSD3/ -s 0 -o $workdir/danpos_peak_ChIP_NSD3 -b $workdir/sgNSD3_NSD3/:$workdir/sgNSD3_ChIP_input_R.filter.bed,$workdir/sgControl_NSD3/:$workdir/sgControl_ChIP_input_R.filter.bed

python danpos.py dregion $workdir/sgNSD3_NSD3/:$workdir/sgControl_NSD3/ -s 0 -o $workdir/danpos_region_ChIP_NSD3_5000kb -rd 5000 -b $workdir/sgNSD3_NSD3/:$workdir/sgNSD3_ChIP_input_R.filter.bed,$workdir/sgControl_NSD3/:$workdir/sgControl_ChIP_input_R.filter.bed

conda activate danpos3

cd /home/yc17628/App/DANPOS3

workdir1=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_pos_ChIP_NSD3/pooled

python danpos.py stat $workdir1/home_yc17628_Project_NSD3_ChIPseq_bed_sgNSD3_NSD3.bgsub.Fnor.smooth.positions.xls,$workdir1/home_yc17628_Project_NSD3_ChIPseq_bed_sgControl_NSD3.bgsub.Fnor.smooth.positions.xls sgNSD3,sgControl --plot_colors red,blue --name $workdir1/stat

workdir2=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_peak_ChIP_NSD3/pooled

python danpos.py stat $workdir2/home_yc17628_Project_NSD3_ChIPseq_bed_sgNSD3_NSD3.bgsub.Fnor.smooth.peaks.xls,$workdir2/home_yc17628_Project_NSD3_ChIPseq_bed_sgControl_NSD3.bgsub.Fnor.smooth.peaks.xls sgNSD3,sgControl --plot_colors red,blue --name $workdir2/stat

workdir3=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_region_ChIP_NSD3/pooled

python danpos.py stat $workdir3/home_yc17628_Project_NSD3_ChIPseq_bed_sgNSD3_NSD3.bgsub.Fnor.smooth.regions.xls,$workdir3/home_yc17628_Project_NSD3_ChIPseq_bed_sgControl_NSD3.bgsub.Fnor.smooth.regions.xls sgNSD3,sgControl --plot_colors red,blue --name $workdir3/stat

#profile

conda activate danpos3

cd /home/yc17628/App/DANPOS3

workdir1=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_pos_ChIP_NSD3/pooled

python danpos.py profile $workdir1/sgNSD3_NSD3.wig,$workdir1/sgControl_NSD3.wig --wigfile_aliases sgNSD3,sgControl --genefile_paths gene --heatmap 1 --plot_colors red,blue --name $workdir1/profile

workdir2=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_peak_ChIP_NSD3/pooled

python danpos.py profile $workdir2/sgNSD3_NSD3.wig,$workdir2/sgControl_NSD3.wig --wigfile_aliases sgNSD3,sgControl --genefile_paths gene --heatmap 1 --plot_colors red,blue --name $workdir2/profile

workdir3=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_region_ChIP_NSD3/pooled

python danpos.py profile $workdir3/sgNSD3_NSD3.wig,$workdir3/sgControl_NSD3.wig --wigfile_aliases sgNSD3,sgControl --genefile_paths gene --heatmap 1 --plot_colors red,blue --name $workdir3/profile

#H2AZ profile

conda activate danpos3

cd /home/yc17628/App/DANPOS3

workdir2=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_peak_ChIP_H2AZ/pooled

python danpos.py profile $workdir2/sgNSD3_H2AZ.wig,$workdir2/sgControl_H2AZ.wig --wigfile_aliases sgNSD3,sgControl --genomic_sites TSS --genefile_paths gene --heatmap 1 --plot_colors red,blue --name $workdir2/profile

workdir3=/home/yc17628/Project/NSD3/ChIPseq/bed/danpos_region_ChIP_H2AZ/pooled

python danpos.py profile $workdir3/sgNSD3_H2AZ.wig,$workdir3/sgControl_H2AZ.wig --wigfile_aliases sgNSD3,sgControl --genomic_sites TSS --genefile_paths gene --heatmap 1 --plot_colors red,blue --name $workdir3/profile

#macs3 10K peak

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/Broad_peaks_10k

ls sgControl*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c sgControl_ChIP_input_R.rmdup.bam -n ${sample} -f BAM -g hs --outdir $outputdir -n ${sample} -B -q 0.1 --min-length 500

done

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/Broad_peaks_10k

ls sgNSD3*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c ssgNSD3_ChIP_input_R.rmdup.bam  -n ${sample} -f BAM -g hs --outdir $outputdir -n ${sample} -B -q 0.1 --min-length 500

done

#macs3 broad peak

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/broad_peaks_5k

ls sgControl*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c sgControl_ChIP_input_R.rmdup.bam -n ${sample} -f BAM -g hs --outdir $outputdir --broad --broad-cutoff 0.1 --min-length 5000

done

cd /home/yc17628/Project/NSD3/ChIPseq/rmdup

outputdir=/home/yc17628/Project/NSD3/ChIPseq/broad_peaks_5k

ls sgNSD3*R*.bam |cut -d"." -f 1|sort -u|while read id; do

sample=$(basename $id)

echo ${sample}

macs3 callpeak -t ${sample}.rmdup.bam -c sgNSD3_ChIP_input_R.rmdup.bam  -n ${sample} -f BAM -g hs --outdir $outputdir --broad --broad-cutoff 0.1 --min-length 5000

done

#### Combining the replicates

ls *.narrowPeak|cut -d"_" -f 1-3| sort -u | while read id;do

sample=$(basename $id)

rep1=${sample}_R1_peaks.narrowPeak

rep2=${sample}_R2_peaks.narrowPeak

ls ${rep1}

ls ${rep2}

cat ${rep1} ${rep2} > ${sample}_combined.narrowPeak

done

ls *_combined.narrowPeak|cut -d"_" -f 1-3| sort -u | while read id;do

sample=$(basename $id)

sort -k1,1 -k2,2n ${sample}_combined.narrowPeak | bedtools merge -i - > ${sample}_merged.bed

done

#### Looking for differences in enrichment between sgControl and sgNSD3

#H2AZ

bedtools intersect -a sgControl_H2AZ_ChIP_merged.bed -b sgNSD3_H2AZ_ChIP_merged.bed -v > sgControl_H2AZ_only_peaks.bed

bedtools intersect -a sgNSD3_H2AZ_ChIP_merged.bed -b sgControl_H2AZ_ChIP_merged.bed -v > sgNSD3_H2AZ_only_peaks.bed

bedtools intersect -a sgControl_NSD3_ChIP_merged.bed -b sgNSD3_NSD3_ChIP_merged.bed -v > sgControl_NSD3_only_peaks.bed

bedtools intersect -a sgNSD3_NSD3_ChIP_merged.bed -b sgControl_NSD3_ChIP_merged.bed -v > sgNSD3_NSD3_only_peaks.bed

wc -l sgControl_H2AZ_only_peaks.bed

wc -l sgNSD3_H2AZ_only_peaks.bed

wc -l sgControl_NSD3_only_peaks.bed

wc -l sgNSD3_NSD3_only_peaks.bed

#Combine H2AZ peaks of tow groups

cat sgControl_H2AZ_ChIP_merged.bed sgNSD3_H2AZ_ChIP_merged.bed > H2AZ_peak.bed

sort -k1,1 -k2,2n H2AZ_peak.bed | bedtools merge -i - > H2AZ_peak_merged.bed

wc -l H2AZ_peak_merged.bed

#H2AZ non-enrichment region

bedtools intersect -a allgene.bed -b H2AZ_peak_merged.bed -v > H2AZ_Non_enrich.bed

wc -l H2AZ_Non_enrich.bed

wc -l allgene.bed

#H2AZ enrich-region

sgControl_H2AZ_only_peaks.bed

sgNSD3_H2AZ_only_peaks.bed

H2AZ_peak_merged.bed

#Combine NSD3 peaks of tow groups

cd /home/yc17628/Project/NSD3/ChIPseq/broad_peaks_10k/bed

cat sgControl_NSD3_ChIP_merged.bed sgNSD3_NSD3_ChIP_merged.bed > NSD3_peak.bed

sort -k1,1 -k2,2n NSD3_peak.bed | bedtools merge -i - > NSD3_peak_merged.bed

wc -l NSD3_peak_merged.bed

bedtools intersect -a allgene.bed -b NSD3_peak_merged.bed -v > NSD3_Non_enrich.bed

wc -l NSD3_Non_enrich.bed

wc -l allgene.bed

#H2AZ non-enrich region

H2AZ_Non_enrich.bed

#NSD3 enrich region

NSD3_peak_merged.bed

sgControl_NSD3_only_peaks.bed

sgNSD3_NSD3_only_peaks.bed

#NSD3 non enrich region

NSD3_Non_enrich.bed

cd /home/yc17628/Project/NSD3/ChIPseq/broad_peaks_10k/bed

outputdir=/home/yc17628/Project/NSD3/ChIPseq/broad_peaks_10k/bed/annotate

ls *.bed | cut -d"." -f 1| sort -u |while read id; do

ls ${id}.bed

annotatePeaks.pl ${id}.bed hg38  > $outputdir/${id}.txt

done

你可能感兴趣的:(ChIPseq pipeline)

  • jenkins配置流水线 iteye_10392 jenkinsjenkinselasticsearch运维
    新建任务，随便选一个名字，选中流水线配置git的用户名和密码，记录ID，后面配置流水线的时候用。pipeline{agentanystages{stage('stopapp'){steps{script{defremote=[:]//配置服务地址，用户名和密码remote.name='prd'remote.host='114.116.1.1'remote.user='test'remote.pas
  • jenkins安装 sshCommand iteye_10392 jenkinsjenkinsservletjava
    在Jenkins中安装SSH插件（例如“SSHPipelineSteps”或“SSHIntegrationPlugin”）可以让你通过JenkinsPipeline或自由风格项目执行远程SSH命令或脚本，从而自动化部署过程或其他任务。下面是如何安装“SSHPipelineSteps”插件的步骤：安装SSHPipelineSteps插件登录到Jenkins并进入管理员界面。导航到插件管理页面。通常，
  • Docker in Docker 实践 on mac solinger dockerdockerdind
    在尝试tekton构建cipipeline是，需要在k8pod里buildimage，于是研究了如何dockerindocker。1.编写自己的dinddockerimageFROMdocker:20.10.16-dindENVDOCKER_HOSTunix:///var/run/docker.sock2.dockerbuild自己的dinddockerimage并push到repo上docker
  • window系统运行pytorch找不到指定的模块，报错“fbgemm.dll“ or one of its dependencies.” weixin_44598491 笔记
    安装好pytorch后，importtorch报错如下：Traceback(mostrecentcalllast):File"d:\work_space\01_code\BMCourse\exercises\L2_NLP_pipeline_pytorch\annotated_code\test.py",line1,inimporttorchFile"C:\Users\ZJ\AppData\Loca
  • 【人工智能】Transformers之Pipeline（十三）：填充蒙版（fill-mask） LDG_AGI Pipeline人工智能机器学习计算机视觉python时序数据库大数据自然语言处理
    目录一、引言二、填充蒙版（fill-mask）2.1概述2.2技术原理2.2.1BERT模型的基本概念2.2.2BERT模型的工作原理2.2.3BERT模型的结构2.2.4BERT模型的应用2.2.5BERT模型与Transformer的区别和联系2.3应用场景2.4pipeline参数2.4.1pipeline对象实例化参数2.4.2pipeline对象使用参数2.4.3pipeline返回参数
  • Ingest Pipeline & Painless Script 折纸虚桐 ES学习笔记elasticsearch
    DELETEtech_blogs#Blog数据，包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop,elasticsearch,spark","content":"Youknow,forbigdata"}#测试splittagsPOST_ingest/pipeline/_sim
  • ElasticSearch-Ingest Pipeline & Painless Script 姜希成 ElasticSearchelasticsearch
    IngestNode&Pipeline&ProcessorIngestNodePipeline&Processor内置的Processors创建pipeline使用pipeline更新数据借助update_by_query更新已存在的文档IngestNodeVSLogstashPainlessIngestNode&Pipeline&Processor应用场景：修复与增强写入数据IngestNode
  • PG数据库PipelineDB流式聚合汇总提升系统查询性能 boonya 架构师
    使用PipelineDB统计的方式减少了不少SQL统计查询，程序端只需要根据业务场景进行组装使用就可以了。PG数据库PipelineDB插件以下是几篇有关PipelineDB基础的文章：PostgreSQLPipelineDB插件(C语言)PostgresqlPipelineDB学习研究资料PostgreSQLPipelineDB理解与统计性能升实践PostgreSQLPipelineDB插件实现
  • HDFS的读写流程 Yz9876 hdfshadoop大数据bigdatalinux
    写入的流程流程：客户端先向NameNode节点发送上传数据的请求NameNode接收到请求之后进行权限校验，校验之后，会计算出来三个节点客户端会将输入的文件切割成块，然后一个个块进行传递客户端先跟第一个服务器创建连接，这个通道的名字是PipeLine每次传递数据的时候都是以Packet为单位进行传递的，每个Packet大约是64KB各个数据节点（DataNode）之前也会创建连接PipeLine，
  • ElasticSearch-聚合操作 姜希成 ElasticSearchelasticsearch
    聚合的分类aggsMetricAggregationmin,max,avg,sumstats,cardinalityBucketAggregationtermsordertext->fielddatarangehistogramtop_hitsPipelineAggregationmin_bucketstats_bucketpercentiles_bucketcumulative_sum聚合的作用
  • kafka集群搭建 java皮皮虫 kafkaspringboot后台kafkakafka测试kafka集群
    Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。比较定义解释：1、Java和scala都是运行在JVM上的语言。2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高
  • 《昇思25天学习打卡营第1天|快速入门》 一只IT攻城狮 其他学习
    昇思MindSpore介绍昇思MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景统一部署三大目标。其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。实操本节通过MindSpore的API来快速实现一个简单的深度学习模型。MindSpore提供基于Pipeline的数据引擎，通过数据集
  • Bert系列：论文阅读Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline 凝眸伏笔 nlp论文阅读bertrerankerretrieval
    一句话总结：提出LocalizedContrastiveEstimation(LCE)，来优化检索排序。摘要预训练的深度语言模型(LM)在文本检索中表现出色。基于丰富的上下文匹配信息，深度LM微调重新排序器从候选集合中找出更为关联的内容。同时，深度lm也可以用来提高搜索索引，构建更好的召回。当前的reranker方法并不能完全探索到检索结果的效果。因此，本文提出了LocalizedContrast
  • golang 模板引擎常用语法 nbplus_007 golanggolangpython前端开发语言go配置文件个人开发
    golang模板常用语法1、变量赋值Action里可以初始化一个变量来捕获管道的执行结果。初始化语法如下：其中$variable是变量的名字。声明变量的action不会产生任何输出。{{$variable:=pipeline}}福利彩蛋：没有好玩的API接口？上百款免费接口等你来，免费API，免费API大全2、range循环切片数组等如果"range"action初始化了1个变量，该变量设置为迭代
  • 3.2.6 盘古开天地start_kernel aspirestro三水哥 InterruptPipelinelinuxarmIPIPEXenomai
    点击查看系列文章=》InterruptPipeline系列文章大纲-CSDN博客3.2内核初始化(盘古开天地)3.2.1内核初始化的神话3.2.2从头(Head)开始3.2.3从头初始化到身体3.2.4宇之内存的空分复用3.2.5宙之CPU的时分复用3.2.6盘古开天地start_kernel3.2.6盘古开天地start_kernel__primary_switched最后义无反顾的跳转到了st
  • 2.3.6 返回用户空间 aspirestro三水哥 InterruptPipelinelinux运维服务器
    InterruptPipeline系列文章大纲-CSDN博客2.3el0_irq2.3.1el0_irq代码框架2.3.2kernel_entry0与kernel_exit02.3.3el0_irq_naked与enable_da_f2.3.4trace_hardirqs_off与trace_hardirqs_on2.3.5irq_handler2.3.6返回用户空间目录InterruptPipe
  • 2.2 ARM64异常处理 aspirestro三水哥 InterruptPipelinelinuxarm嵌入式硬件
    InterruptPipeline系列文章大纲-CSDN博客1异常级别转换异常发生时，如何处理呢？异常级别分为4级，其中EL0不处理异常。当EL0发生异常时，会进入更高的异常级别进行处理。ARM64包含4个异常级别：EL0：非特权模式，常用来跑应用程序；EL1：特权模式，常用来跑内核；EL2：虚拟化监控程序，例如hypervisor；EL3：安全模式，例如securemonitor;同步异常一般在
  • URP Shader 源码阅读 （一） Simple Lit [email protected] 游戏开发unity
    URP版本16.0.6打开SimpleLit.shader文件；SubShaderTags：Tags{"RenderType"="Opaque""RenderPipeline"="UniversalPipeline"//该SubShader是给UniversalPipeline使用的"UniversalMaterialType"="SimpleLit"//延迟渲染使用，标识光照模式"IgnoreP
  • pyskl/datasets/pipelines/heatmap_related.py 鱼儿会飞吗 pythonnumpy开发语言
    classGeneratePoseTarget:首先看def__call__(self,results):def__call__(self,results):heatmap=self.gen_an_aug(results)key='heatmap_imgs'if'imgs'inresultselse'imgs'ifself.double:indices=np.arange(heatmap.shap
  • Netty 知识目录 王小工 javajava
    Netty知识结构NettyBootstrap/ServerBootstrapNettyEventLoopGroup/EventLoopNettyChannelNettyChannelPipeline/ChannelHandlerNettyByteBufNettyTCPNettyUDPNettyHTTPNettyWebsocketNettySSL/TLS
  • 在Jenkinsfile中，自定义environment相关参数 闫小甲 jenkinsjenkinsfile
    在Jenkinsfile中，environment定义VER，若BRANCH_NAME是master，则VER为master，其他为latestpipeline{agentanyenvironment{CURTIME=sh(returnStdout:true,script:'date"+%Y%m%d%H%M%S"').trim()VER=sh(returnStdout:true,script:""
  • DevOps Azure Pipeline 发布失败 MSB4226 Zhen (Evan) Wang devopsazure运维
    DevOpsAzure利用pipeline发布项目,报错MSB4226.ErrorMSB4226:Theimportedproject"C:\ProgramFiles(x86)\MicrosoftVisualStudio\2019\BuildTools\MSBuild\Current\Bin\WebApplications\Microsoft.WebApplication.targets"wasn
  • scrapy中pipeline获取settings参数的方法 极客探索者 Pythonpython爬虫网络爬虫
    1、在scrapy的pipeline中，获取settings参数，可使用如下方式：defopen_spider(self,spider):settings=spider.settingsweb_dir_dict=settings.get('WEB_DIR_DICT',{})也可以采用如下方式：fromscrapy.utils.projectimportget_project_settings###
  • Jenkins+Docker | K8S虚拟化实现网站自动部署 简单流程 未完待续，， 3分云计算 云计算及运维k8sJenkinsDockerK8S虚拟化实现网站自动部署javajenkinsdocker网站自动部署k8sgit自动化
    目录大纲1.Jenkins的设置与Docker、Kubernetes集成指南1.创建新的Pipeline项目或Freestyle项目1.1创建Pipeline项目1.2创建Freestyle项目2.配置源代码管理2.1配置Git作为源代码管理工具3.配置构建触发器4.配置构建步骤4.1对于Pipeline项目4.2对于Freestyle项目5.添加Docker构建步骤5.1Pipeline项目5.
  • 快速使用transformers的pipeline实现各种深度学习任务 E寻数据 huggingface计算机视觉nlp深度学习人工智能pythonpipelinetransformers
    目录引言安装情感分析文本生成文本摘要图片分类实例分割目标检测音频分类自动语音识别视觉问答文档问题回答图文描述引言在这篇中文博客中，我们将深入探讨使用transformers库中的pipeline()函数，它为预训练模型提供了一个简单且快速的推理方法。pipeline()函数支持多种任务，包括文本分类、文本生成、摘要生成、图像分类、图像分割、对象检测、音频分类、自动语音识别、视觉问题回答、文档问题回
  • 1-pipeline()函数-transformers-python库 Flora-pi 人工智能人工智能
    pipeline()函数pipeline()函数是Transformers库中最基本的工具。Transformer模型用于解决各种NLP任务，Transformers库提供了创建和使用这些模型的功能。我们先来看一看pipeline()是如何解决NLP问题。文章目录`pipeline()`函数情感分析目前可用的一些pipelines有：zero-shot-classification（零样本分类）t
  • Redis精通系列——Pipeline（管道） 2401_84149896 程序员redisphp数据库
    2、深究pipeline在上述简介中，提到了管道技术优化的是网络传输的耗时时间，这里通过Redis客户端-服务端的一次完整的网络请求来回，深入探索pipeline的本质。客户端调用write将数据写入操作系统内核(kernel)为socket连接分配的发送缓冲区(sendbuffer)客户端操作系统内核将发送缓冲区(sendbuffer)的数据发送到网卡(NIC)网卡(NIC)将数据通过路由(ro
  • 【赵渝强老师】Redis的管道Pipeline 赵渝强老师 NoSQL数据库redis数据库缓存
      Redis使用的是客户端-服务器（C-S）模型和请求/响应协议的TCP服务器。这意味着通常情况下一个请求会遵循以下步骤：第一步：客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。第二步：服务端处理命令，并将结果返回给客户端。  视频讲解如下：Redis的管道Pipeline【赵渝强老师】Redis的管道Pipeline  Redis执行的过程如图1所示：
  • 百日筑基第六十二天-持续集成和持续交付的 pipeline 概念 不要飞升 百日筑基#功法心得ci/cdjava实习
    百日筑基第六十一天-持续集成和持续交付的pipeline概念在软件开发中，Pipeline是一种自动化的过程，它包括从开发人员提交代码，到代码构建，测试，部署等一系列的步骤。在持续集成（ContinuousIntegration）/持续部署（ContinuousDeployment）领域，Pipeline是非常重要的，因为它可以帮助开发团队更快，更有效地构建，测试和部署软件。持续集成和持续部署是什
  • ARM架构学习（二）——流水线 浪矢杂谈 ARM体系结构学习arm架构arm开发
    本期主题：ARM流水线往期地址：ARMv7架构学习ARM流水线1.流水线概念2.指令的分解步骤1.流水线概念硬件资源总是有限的，有一个明显的方法能改善硬件资源的利用率，这就是pipeline（流水线）技术，其实就是在当前指令结束之前就开始执行下一条指令。ARM中的流水线是这么做的：当一条指令刚执行完步骤1，准备转向步骤2时，下一条条指令开始执行步骤1。2.指令的分解步骤一条指令在被处理器运行时，实
  • springmvc 下 freemarker页面枚举的遍历输出 杨白白 enumfreemarker
    spring mvc freemarker 中遍历枚举 1枚举类型有一个本地方法叫values（），这个方法可以直接返回枚举数组。所以可以利用这个遍历。 enum public enum BooleanEnum { TRUE(Boolean.TRUE, "是"), FALSE(Boolean.FALSE, "否");
  • 实习简要总结 byalias 工作
    来白虹不知不觉中已经一个多月了，因为项目还在需求分析及项目架构阶段，自己在这段 时间都是在学习相关技术知识，现在对这段时间的工作及学习情况做一个总结： （1）工作技能方面 大体分为两个阶段，Java Web 基础阶段和Java EE阶段 1）Java Web阶段 在这个阶段，自己主要着重学习了 JSP, Servlet, JDBC, MySQL，这些知识的核心点都过 了一遍，也
  • Quartz——DateIntervalTrigger触发器 eksliang quartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208559 一.概述 simpleTrigger 内部实现机制是通过计算间隔时间来计算下次的执行时间，这就导致他有不适合调度的定时任务。例如我们想每天的 1：00AM 执行任务，如果使用 SimpleTrigger，间隔时间就是一天。注意这里就会有一个问题，即当有 misfired 的任务并且恢复执行时，该执行时间
  • Unix快捷键 18289753290 unixUnix；快捷键;
    复制，删除，粘贴： dd:删除光标所在的行                             &nbs
  • 获取Android设备屏幕的相关参数 酷的飞上天空 android
    包含屏幕的分辨率  以及 屏幕宽度的最大dp 高度最大dp   TextView text = (TextView)findViewById(R.id.text); DisplayMetrics dm = new DisplayMetrics(); text.append("getResources().ge
  • 要做物联网？先保护好你的数据 蓝儿唯美 数据
    根据Beecham Research的说法，那些在行业中希望利用物联网的关键领域需要提供更好的安全性。 在Beecham的物联网安全威胁图谱上，展示了那些可能产生内外部攻击并且需要通过快速发展的物联网行业加以解决的关键领域。 Beecham Research的技术主管Jon Howes说：“之所以我们目前还没有看到与物联网相关的严重安全事件，是因为目前还没有在大型客户和企业应用中进行部署，也就
  • Java取模（求余）运算 随便小屋 java
            整数之间的取模求余运算很好求，但几乎没有遇到过对负数进行取模求余，直接看下面代码： /** * * @author Logic * */ public class Test { public static void main(String[] args) { // TODO A
  • SQL注入介绍 aijuans sql注入
    二、SQL注入范例 这里我们根据用户登录页面 <form action="" > 用户名：<input type="text" name="username"><br/> 密 码：<input type="password" name="passwor
  • 优雅代码风格 aoyouzi 代码
    总结了几点关于优雅代码风格的描述： 代码简单：不隐藏设计者的意图，抽象干净利落，控制语句直截了当。 接口清晰：类型接口表现力直白，字面表达含义，API 相互呼应以增强可测试性。 依赖项少：依赖关系越少越好，依赖少证明内聚程度高，低耦合利于自动测试，便于重构。 没有重复：重复代码意味着某些概念或想法没有在代码中良好的体现，及时重构消除重复。 战术分层：代码分层清晰，隔离明确，
  • 布尔数组 百合不是茶 java布尔数组
      androi中提到了布尔数组;   布尔数组默认的是false,  并且只会打印false或者是true   布尔数组的例子;  根据字符数组创建布尔数组 char[] c = {'p','u','b','l','i','c'}; //根据字符数组的长度创建布尔数组的个数 boolean[] b = new bool
  • web.xml之welcome-file-list、error-page bijian1013 javaweb.xmlservleterror-page
    welcome-file-list 1.定义： <welcome-file-list> <welcome-file>login.jsp</welcome> </welcome-file-list>  2.作用：用来指定WEB应用首页名称。   error-page1.定义： <error-page&g
  • richfaces 4 fileUpload组件删除上传的文件 sunjing clearRichfaces 4fileupload
     页面代码               <h:form id="fileForm">            <rich:
  • 技术文章备忘 bit1129 技术文章
    Zookeeper http://wenku.baidu.com/view/bab171ffaef8941ea76e05b8.html http://wenku.baidu.com/link?url=8thAIwFTnPh2KL2b0p1V7XSgmF9ZEFgw4V_MkIpA9j8BX2rDQMPgK5l3wcs9oBTxeekOnm5P3BK8c6K2DWynq9nfUCkRlTt9uV
  • org.hibernate.hql.ast.QuerySyntaxException: unexpected token: on near line 1解决方案 白糖_ Hibernate
    文章摘自：http://blog.csdn.net/yangwawa19870921/article/details/7553181   在编写HQL时，可能会出现这种代码： select a.name,b.age from TableA a left join TableB b on a.id=b.id  如果这是HQL，那么这段代码就是错误的，因为HQL不支持
  • sqlserver按照字段内容进行排序 bozch 按照内容排序
    在做项目的时候，遇到了这样的一个需求：           从数据库中取出的数据集，首先要将某个数据或者多个数据按照地段内容放到前面显示，例如:从学生表中取出姓李的放到数据集的前面；          select * fro
  • 编程珠玑-第一章-位图排序 bylijinnan java编程珠玑
    import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.io.Writer; import java.util.Random; public class BitMapSearch {
  • Java关于==和equals chenbowen00 java
    关于==和equals概念其实很简单，一个是比较内存地址是否相同，一个比较的是值内容是否相同。虽然理解上不难，但是有时存在一些理解误区，如下情况： 1、 String a = "aaa"; a=="aaa"; ==> true 2、 new String("aaa")==new String("aaa
  • [IT与资本]软件行业需对外界投资热情保持警惕 comsci it
          我还是那个看法,软件行业需要增强内生动力,尽量依靠自有资金和营业收入来进行经营,避免在资本市场上经受各种不同类型的风险,为企业自主研发核心技术和产品提供稳定,温和的外部环境...       如果我们在自己尚未掌握核心技术之前,企图依靠上市来筹集资金,然后使劲往某个领域砸钱,然
  • oracle 数据块结构 daizj oracle块数据块块结构行目录
    oracle 数据块是数据库存储的最小单位，一般为操作系统块的N倍。其结构为： 块头－－〉空行－－〉数据，其实际为纵行结构。 块的标准大小由初始化参数DB_BLOCK_SIZE指定。具有标准大小的块称为标准块（Standard Block）。块的大小和标准块的大小不同的块叫非标准块（Nonstandard Block）。同一数据库中，Oracle9i及以上版本支持同一数据库中同时使用标
  • github上一些觉得对自己工作有用的项目收集 dengkane github
    github上一些觉得对自己工作有用的项目收集 技能类 markdown语法中文说明 回到顶部 全文检索 elasticsearch bigdesk elasticsearch管理插件 回到顶部 nosql mapdb 支持亿级别map, list, 支持事务. 可考虑做为缓存使用 C
  • 初二上学期难记单词二 dcj3sjt126com englishword
    dangerous 危险的 panda 熊猫 lion 狮子 elephant 象 monkey 猴子 tiger 老虎 deer 鹿 snake 蛇 rabbit 兔子 duck 鸭 horse 马 forest 森林 fall 跌倒；落下 climb 爬；攀登 finish 完成；结束 cinema 电影院；电影 seafood 海鲜；海产食品 bank 银行
  • 8、mysql外键(FOREIGN KEY)的简单使用 dcj3sjt126com mysql
    一、基本概念 1、MySQL中“键”和“索引”的定义相同，所以外键和主键一样也是索引的一种。不同的是MySQL会自动为所有表的主键进行索引，但是外键字段必须由用户进行明确的索引。用于外键关系的字段必须在所有的参照表中进行明确地索引，InnoDB不能自动地创建索引。 2、外键可以是一对一的，一个表的记录只能与另一个表的一条记录连接，或者是一对多的，一个表的记录与另一个表的多条记录连接。 3、如
  • java循环标签 Foreach shuizhaosi888 标签java循环foreach
    1. 简单的for循环 public static void main(String[] args) { for (int i = 1, y = i + 10; i < 5 && y < 12; i++, y = i * 2) { System.err.println("i=" + i + " y="
  • Spring Security（05）——异常信息本地化 234390216 exceptionSpring Security异常信息本地化
    异常信息本地化          Spring Security支持将展现给终端用户看的异常信息本地化，这些信息包括认证失败、访问被拒绝等。而对于展现给开发者看的异常信息和日志信息（如配置错误）则是不能够进行本地化的，它们是以英文硬编码在Spring Security的代码中的。在Spring-Security-core-x
  • DUBBO架构服务端告警Failed to send message Response javamingtingzhao 架构DUBBO
     废话不多说，警告日志如下，不知道有哪位遇到过，此异常在服务端抛出(服务器启动第一次运行会有这个警告)，后续运行没问题，找了好久真心不知道哪里错了。    WARN 2015-07-18 22:31:15,272 com.alibaba.dubbo.remoting.transport.dispatcher.ChannelEventRunnable.run(84)
  • JS中Date对象中几个用法 leeqq JavaScriptDate最后一天
    近来工作中遇到这样的两个需求 1. 给个Date对象，找出该时间所在月的第一天和最后一天 2. 给个Date对象，找出该时间所在周的第一天和最后一天   需求1中的找月第一天很简单，我记得api中有setDate方法可以使用 使用setDate方法前，先看看getDate var date = new Date(); console.log(date); // Sat J
  • MFC中使用ado技术操作数据库 你不认识的休道人 sqlmfc
    1.在stdafx.h中导入ado动态链接库 #import"C:\Program Files\Common Files\System\ado\msado15.dll" no_namespace rename("EOF","end")2.在CTestApp文件的InitInstance()函数中domodal之前写::CoIniti
  • Android Studio加速 rensanning android studio
    Android Studio慢、吃内存！启动时后会立即通过Gradle来sync & build工程。 （1）设置Android Studio a) 禁用插件 File -> Settings...  Plugins 去掉一些没有用的插件。 比如：Git Integration、GitHub、Google Cloud Testing、Google Cloud
  • 各数据库的批量Update操作 tomcat_oracle javaoraclesqlmysqlsqlite
    MyBatis的update元素的用法与insert元素基本相同，因此本篇不打算重复了。本篇仅记录批量update操作的 sql语句，懂得SQL语句，那么MyBatis部分的操作就简单了。 　　注意：下列批量更新语句都是作为一个事务整体执行，要不全部成功，要不全部回滚。 MSSQL的SQL语句 　WITH R AS（ 　　SELECT 'John' as name, 18 as
  • html禁止清除input文本输入缓存 xp9802 input
    多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。如果不想让浏览器缓存input的值，有2种方法： 方法一： 在不想使用缓存的input中添加 autocomplete="off"; eg: <input type="text" autocomplete="off" name
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他