依本多情
依本多情

如何使用solr来构建一个大数据平台？

如何实现使用solr构建大数据平台的思路（其实跟普通的项目差距不是特别大）

  1. 首先需要构建一个从web后台传给大数据平台的一个Json对象
  2. 你需要在大数据平台的项目中也是先需要定义一个controller层来进行处理

（一） 需要先对solr的查询条件进行构造的函数工具类

package com.ia.bigdata.car.component.solr;

import java.util.List;

import org.apache.commons.lang3.StringUtils;
import org.apache.solr.client.solrj.SolrQuery;

/**
 * 查询构建器
 * @author IAP-liuc
 *
 */
public class SolrConstructor {

    private SolrQuery solrQuery;

    public final static String EQUAL = "equal";

    public final static String GREATER = "greater";

    public final static String LESS = "less";

    public final static String INCLUDE = "include";

    public final static String NOTINCLUDE = "notclude";

    public final static String RANGE = "range";

    public final static String LIKE = "like";

    public final static String STARTWITH = "startwith";

    public final static int LIKE_LEVEL_1 = 1;

    public final static int LIKE_LEVEL_2 = 2;

    public final static int LIKE_LEVEL_3 = 3;

    public final static int LIKE_LEVEL_4 = 4;

    public final static int LIKE_LEVEL_5 = 5;

    /**
     * 首次构建
     */
    public SolrConstructor() {
        solrQuery = new SolrQuery();
        solrQuery.setQuery("*:*");
    }

    /**
     * 基于已经存在的条件构建
     * 
     * @param solrQuery
     */
    public SolrConstructor(SolrQuery solrQuery) {
        this.solrQuery = solrQuery;
    }

    /**
     * 返回查询条件
     * @return
     */
    public SolrQuery sq() {
        return this.solrQuery;
    }


    /**
     * 单参数比较构造
     * 
     * @param oper
     * @param col
     * @param param
     * @return
     */
    public SolrConstructor construct(String oper, String col, String param) {
        StringBuilder queryBuilder = new StringBuilder("");
        if (SolrConstructor.EQUAL.equals(oper)) {
            queryBuilder.append(col + ":" + param);
        } else if (SolrConstructor.GREATER.equals(oper)) {
            queryBuilder.append(col + ":" + "[" + param + " TO *]");
        } else if (SolrConstructor.LESS.equals(oper)) {
            queryBuilder.append(col + ":" + "[* TO " + param + "]");
        }else if (SolrConstructor.STARTWITH.equals(oper)) {
            queryBuilder.append(col + ":" + param + "~");
        }
        solrQuery.addFilterQuery(queryBuilder.toString());
        return this;
    }

    /**
     * 相似参数构建
     * 
     * @param oper
     * @param col
     * @param param
     * @return
     */
    public SolrConstructor construct(String oper, int level, String col, String param) {
        StringBuilder queryBuilder = new StringBuilder("");
        if (SolrConstructor.LIKE.equals(oper)) {
            queryBuilder.append(col + ":" + param + "~" + level);
        }
        solrQuery.addFilterQuery(queryBuilder.toString());
        return this;
    }

    /**
     * 复合参数构建
     * 
     * @param oper
     * @param col
     * @param param
     * @return
     */
    public SolrConstructor construct(String oper, String col, List params) {
        StringBuilder queryBuilder = new StringBuilder("");
        if (SolrConstructor.INCLUDE.equals(oper)) {
            if (params != null && params.size() > 0) {
                for (String str : params) {
                    if (queryBuilder.toString().equals("")) {
                        queryBuilder.append(col + ":" + str);
                    } else {
                        queryBuilder.append(" OR " + col + ":" + str);
                    }
                }
            }
        } else if (SolrConstructor.NOTINCLUDE.equals(oper)) {
            // TODO : 不包含功能暂未实现
        }
        solrQuery.addFilterQuery(queryBuilder.toString());
        return this;
    }

    /**
     * 复合参数构建
     * 
     * @param oper
     * @param col
     * @param param
     * @return
     */
    public SolrConstructor construct(String oper, String col, String[] params) {
        StringBuilder queryBuilder = new StringBuilder("");
        if (SolrConstructor.INCLUDE.equals(oper)) {
            if (params != null && params.length > 0) {
                for (String str : params) {
                    if (queryBuilder.toString().equals("")) {
                        queryBuilder.append(col + ":" + str);
                    } else {
                        queryBuilder.append(" OR " + col + ":" + str);
                    }
                }
            }
        } else if (SolrConstructor.NOTINCLUDE.equals(oper)) {
            // TODO : 不包含功能暂未实现
        }
        solrQuery.addFilterQuery(queryBuilder.toString());
        return this;
    }

    /**
     * 范围参数构建
     * @param oper
     * @param col
     * @param rangeStart
     * @param rangeEnd
     * @return
     */
    public SolrConstructor construct(String oper, String col, String rangeStart, String rangeEnd) {
        StringBuilder queryBuilder = new StringBuilder("");
        if (SolrConstructor.RANGE.equals(oper)) {
            if (StringUtils.isNoneEmpty(rangeStart) && StringUtils.isNoneEmpty(rangeEnd)) {
                queryBuilder.append(col + ":[" + rangeStart + " TO " + rangeEnd + "]");
                solrQuery.addFilterQuery(queryBuilder.toString());
            }
        }
        return this;
    }

    /**
     * 构建查询column
     * @param field
     * @return
     */
    public SolrConstructor setField(String field) {
        solrQuery.setFields(field);
        return this;
    } 
}

（二） 大数据

package com.ia.bigdata.car.controller.techtactics;

import com.ia.bigdata.car.component.jrv.JRV;
import com.ia.bigdata.car.component.log.Log4jKit;
import com.ia.bigdata.car.module.constvalue.SystemConst;
import com.ia.bigdata.car.module.job.model.JobEntity;
import com.ia.bigdata.car.module.job.model.JobParamterContinuousViolationEntity;
import com.ia.bigdata.car.module.techtactics.service.TechtacticsJobManagerService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * Created by IAP-wanghan on 2018/5/22.
 */

@RestController
@RequestMapping("techtactics/continuousviolation")
public class TechTacticsContinuousViolationController {
    @Autowired
    private TechtacticsJobManagerService techtacticsJobManagerService;

    @RequestMapping("start")
    public JRV doGetContinuousViolation(@RequestBody JobParamterContinuousViolationEntity entity) {
        JRV jrv = new JRV();
        JobEntity job = null;
        try {
            job = techtacticsJobManagerService.startJob(SystemConst.TECHTACTICS_TYPE_CONTINUOUSVIOLATION, entity);
            jrv.push(job.getId());
            return jrv;
        } catch (Exception e) {
            Log4jKit.error("异常："+ e.toString());
            jrv.fault(e);
        }
        return jrv;
    }
}
 
  
（三） 最后返回给前台项目的实体
 
  
package com.ia.bigdata.car.component.jrv;

import java.io.Serializable;

public class JRV implements Serializable{

    /**
     * 
     */
    private static final long serialVersionUID = 8667203039777652887L;

    private String result; 

    private T context;

    private String errorMsg;

    public void push(T t) {
        if (t instanceof Result) {
            result = t.toString();
            context = t;
        } else {
            result = Result.OK.toString();
            context = t;
        }
    }

    public void fault(Exception e) {
        errorMsg = e.getMessage();
    }

    public String getResult() {
        return result;
    }

    public void setResult(String result) {
        this.result = result;
    }

    public T getContext() {
        return context;
    }

    public void setContext(T context) {
        this.context = context;
    }

    public String getErrorMsg() {
        return errorMsg;
    }

    public void setErrorMsg(String errorMsg) {
        this.errorMsg = errorMsg;
    }
}

 
  
（四）大数据平台的service层
 
  
package com.ia.bigdata.car.module.techtactics.service;

import java.util.List;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import com.ia.bigdata.car.module.job.model.JobEntity;

@Service
public class TechtacticsJobManagerService {

    @Autowired
    private List techtacticsJobServices;

    private ITechtacticsJobService getService(int type) {
        for(ITechtacticsJobService service : techtacticsJobServices) {
            if(type == service.getJobType()) {
                return service;
            }
        }
        return null;
    }

    public  T getJobParamterData(Object param) {
        //TODO: change patam to data
        return null;
    }

    public  JobEntity startJob(int type, T t) throws Exception {
        ITechtacticsJobService service = getService(type);
        if(null != service) {
            return service.exec(type, t);
        } else {
            throw new Exception();
        }
    }
}

 
  
（五） 任务参数实体、dao接口、dao实现类
 
  
package com.ia.bigdata.car.module.job.model;

import java.io.Serializable;

/**
 * 任务参数实体
 * @author IAP-liuc
 *
 */
public class JobParamterContinuousViolationEntity implements Serializable{

    /**
     * 
     */
    private static final long serialVersionUID = 1L;

    private Long id;

    private Long jobid;

    private String starttime;

    private String endtime;

    private String devices;

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public Long getJobid() {
        return jobid;
    }

    public void setJobid(Long jobid) {
        this.jobid = jobid;
    }

    public String getStarttime() {
        return starttime;
    }

    public void setStarttime(String starttime) {
        this.starttime = starttime;
    }

    public String getEndtime() {
        return endtime;
    }

    public void setEndtime(String endtime) {
        this.endtime = endtime;
    }

    public String getDevices() {
        return devices;
    }

    public void setDevices(String devices) {
        this.devices = devices;
    }


}

 
  
package com.ia.bigdata.car.module.job.dao;

import com.ia.bigdata.car.module.job.model.JobParamterContinuousViolationEntity;
import com.ia.bigdata.car.module.techtactics.model.ContinuousViolationResultEntity;
import com.ia.bigdata.car.module.techtactics.model.abnormalstay.AbnormalStayModelEntity;
import org.apache.ibatis.annotations.Param;

import java.util.List;

public interface JobContinuousViolationParamterDao {

    //连续违章
    /**
     *
     * @param jobParam
     * @return
     */
    int insert(JobParamterContinuousViolationEntity jobParam);
    /**
     *
     * @param starttime formate yyyymmdd
     * @param endtime formate yyyymmdd
     * @return
     */

    List selectContinuousViolationParamtersByStartAndEnd(@Param("starttime") String starttime, @Param("endtime") String endtime);

    /**
     * 批量生成结果
     * @param results
     */
    void insertResultBatch(List results);

    List selectViolationInfo(@Param("starttime") String starttime, @Param("endtime") String endtime, @Param("deviceList") List deviceList);
}

 
  
package com.ia.bigdata.car.module.job.service.impl;

import com.ia.bigdata.car.module.constvalue.SystemConst;
import com.ia.bigdata.car.module.job.dao.JobContinuousViolationParamterDao;
import com.ia.bigdata.car.module.job.dao.JobDao;
import com.ia.bigdata.car.module.job.model.JobEntity;
import com.ia.bigdata.car.module.job.model.JobParamterContinuousViolationEntity;
import com.ia.bigdata.car.module.job.service.JobGenerate;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

@Component
public class JobGenerateContinuousViolationImpl extends JobGenerate {

    @Autowired
    private JobContinuousViolationParamterDao jobContinuousViolationParamterDao;
    @Autowired
    private JobDao jobDao;

    @Override
    public JobEntity createJob(JobParamterContinuousViolationEntity paramContinuousViolation) {
        JobEntity job = isExist(paramContinuousViolation);
        if(null != job) {
            job.setExist(true);
            return job;
        } else {
            JobEntity newjob = new JobEntity();
            newjob.setTtype(SystemConst.TECHTACTICS_TYPE_CONTINUOUSVIOLATION);
            newjob.setTstatus(SystemConst.TECHTACTICS_JOB_RUN_STATUS_CREATE);
            newjob.setCreatedate(new Date());
            jobDao.insert(newjob);

            paramContinuousViolation.setJobid(newjob.getId());
            jobContinuousViolationParamterDao.insert(paramContinuousViolation);
            return newjob;
        }
    }

    @Override
    protected JobEntity isExist(JobParamterContinuousViolationEntity paramContinuousViolation) {
        String starttime = paramContinuousViolation.getStarttime();
        String endtime = paramContinuousViolation.getEndtime();
        String deviceids = paramContinuousViolation.getDevices();
        Map devmap = new HashMap();

        if(StringUtils.isNoneEmpty(deviceids)) {
            String[] devs = deviceids.split(",");
            for(String dev : devs) {
                devmap.put(dev, dev);
            }
        }

        List jobparams = jobContinuousViolationParamterDao.selectContinuousViolationParamtersByStartAndEnd(starttime, endtime);
        if(null != jobparams && jobparams.size() > 0) {
            for(JobParamterContinuousViolationEntity entity : jobparams) {
                String devs = entity.getDevices();
                if(StringUtils.isNoneEmpty(devs)) {
                    String[] existdevs = devs.split(",");
                    if(existdevs.length == devmap.keySet().size()) {
                        boolean exist = true;
                        for(String existdev : existdevs) {
                            if(!devmap.containsKey(existdev)) {
                                exist = false;
                                break;
                            }
                        }

                        if(exist == true) {
                            Long jobId = entity.getJobid();
                            JobEntity job = jobDao.selectById(jobId);
                            if(SystemConst.TECHTACTICS_JOB_RUN_STATUS_SCUESS == job.getTstatus()) {
                                return job;
                            }
                        }
                    }
                }
            }
        }
        return null;
    }


}

 
  
返回实体类
 
  
package com.ia.bigdata.car.module.techtactics.model;

import java.io.Serializable;

public class ContinuousViolationResultEntity implements Serializable {

    /**
     *
     */
    private static final long serialVersionUID = 1L;

    private Long id;

    private Long jobid;

    private String platenumber;

    private String platecolor;

    private String vehicletype;

    private String datetime;

    private String deviceID;

    private String address;

    private String direction;

    private String violationtype;

    private Long violationcount;

    private String picpath;


    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public Long getJobid() {
        return jobid;
    }

    public void setJobid(Long jobid) {
        this.jobid = jobid;
    }

    public String getPlatenumber() {
        return platenumber;
    }

    public void setPlatenumber(String platenumber) {
        this.platenumber = platenumber;
    }

    public String getPlatecolor() {
        return platecolor;
    }

    public void setPlatecolor(String platecolor) {
        this.platecolor = platecolor;
    }

    public String getVehicletype() {
        return vehicletype;
    }

    public void setVehicletype(String vehicletype) {
        this.vehicletype = vehicletype;
    }

    public String getDatetime() {
        return datetime;
    }

    public void setDatetime(String datetime) {
        this.datetime = datetime;
    }

    public String getDeviceID() {
        return deviceID;
    }

    public void setDeviceID(String deviceID) {
        this.deviceID = deviceID;
    }

    public String getAddress() {
        return address;
    }

    public void setAddress(String address) {
        this.address = address;
    }

    public String getDirection() {
        return direction;
    }

    public void setDirection(String direction) {
        this.direction = direction;
    }

    public String getViolationtype() {
        return violationtype;
    }

    public void setViolationtype(String violationtype) {
        this.violationtype = violationtype;
    }

    public Long getViolationcount() {
        return violationcount;
    }

    public void setViolationcount(Long violationcount) {
        this.violationcount = violationcount;
    }

    public String getPicpath() {
        return picpath;
    }

    public void setPicpath(String picpath) {
        this.picpath = picpath;
    }
}
 
  
连续违章
 
  
package com.ia.bigdata.car.module.techtactics.service.impl;

import com.ia.bigdata.car.component.exception.BusinessException;
import com.ia.bigdata.car.component.log.Log4jKit;
import com.ia.bigdata.car.module.constvalue.SystemConst;
import com.ia.bigdata.car.module.job.dao.JobContinuousViolationParamterDao;
import com.ia.bigdata.car.module.job.dao.JobDao;
import com.ia.bigdata.car.module.job.dao.JobFreqNightCarParamterDao;
import com.ia.bigdata.car.module.job.model.JobEntity;
import com.ia.bigdata.car.module.job.model.JobParamterContinuousViolationEntity;
import com.ia.bigdata.car.module.job.model.JobParamterFreqNightCarEntity;
import com.ia.bigdata.car.module.job.service.impl.JobGenerateContinuousViolationImpl;
import com.ia.bigdata.car.module.job.service.impl.JobGenerateFreqNightCarImpl;
import com.ia.bigdata.car.module.techtactics.dao.freqnightcar.TTFreqNightCarDao;
import com.ia.bigdata.car.module.techtactics.model.ContinuousViolationResultEntity;
import com.ia.bigdata.car.module.techtactics.model.FreqNightCarResultEntity;
import com.ia.bigdata.car.module.techtactics.service.ITechtacticsJobService;
import org.apache.solr.client.solrj.SolrServerException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;

/**
 * 连续违章
 * @author IAP-wanghan
 *
 */
@Component
public class TechtacticsContinuousViolationJobService implements ITechtacticsJobService{

    @Autowired
    private JobGenerateContinuousViolationImpl jobGenerateContinuousViolationImpl;

    @Autowired
    private JobContinuousViolationParamterDao jobContinuousViolationParamterDao;

    @Autowired
    private JobDao jobDao;

    String starttime;

    String endtime;

    String[] devices;

    @Override
    public int getJobType() {
        return SystemConst.TECHTACTICS_TYPE_CONTINUOUSVIOLATION;
    }

    @Override
    public  JobEntity exec(int type, T t) throws BusinessException {
        JobParamterContinuousViolationEntity paramContinuousViolation = (JobParamterContinuousViolationEntity)t;
        this.starttime = paramContinuousViolation.getStarttime();
        this.endtime = paramContinuousViolation.getEndtime();
        this.devices = paramContinuousViolation.getDevices().split(",");

        JobEntity job;

        DateFormat df = new SimpleDateFormat("yyyyMMddHHmmss");
        Calendar calendarStart = Calendar.getInstance();
        Calendar calendarEnd = Calendar.getInstance();

        try {
            calendarStart.setTime(df.parse(starttime));
            calendarEnd.setTime(df.parse(endtime));
        } catch (ParseException e) {
            Log4jKit.error(e.toString(), e);
        }

        if(calendarStart.compareTo(calendarEnd) >= 0) {
            Log4jKit.error("查询终止时间需在起始时间之后");
            throw new BusinessException("206");
        }else{
            job = jobGenerateContinuousViolationImpl.createJob(paramContinuousViolation);
            if (SystemConst.TECHTACTICS_JOB_RUN_STATUS_SCUESS != job.getTstatus()){
                DoContinuousViolationJob(paramContinuousViolation);
            }
        }

        return job;

    }
    /**
     * @开始执行连续违章任务
     * @param paramContinuousViolation
     * @return
     */
    private int DoContinuousViolationJob(JobParamterContinuousViolationEntity paramContinuousViolation) throws BusinessException {
        jobDao.updateStatusById(paramContinuousViolation.getJobid(), SystemConst.TECHTACTICS_JOB_RUN_STATUS_START);

        List deviceList = Arrays.asList(devices);
        List violationInfo = jobContinuousViolationParamterDao.selectViolationInfo(starttime, endtime, deviceList);
        Log4jKit.info("符合条件的所有违章信息条数为：" + violationInfo.size());

        if(violationInfo.size() == 0){
            Log4jKit.error("未在指定时间区域范围内查询到违章信息");
            throw new BusinessException("207");
        }

        Map> violationInfoStat = new HashMap<>();
        for(ContinuousViolationResultEntity perViolationInfo: violationInfo){
            String platenumberAndColor = perViolationInfo.getPlatenumber() + "-" + perViolationInfo.getPlatecolor();
            if(!violationInfoStat.keySet().contains(platenumberAndColor)){
                List violationInfoList = new ArrayList<>();
                violationInfoList.add(perViolationInfo);
                violationInfoStat.put(platenumberAndColor, violationInfoList);
            }else {
                violationInfoStat.get(platenumberAndColor).add(perViolationInfo);
            }
        }
        Log4jKit.info("符合条件的车数为：" + violationInfoStat.size());

        List continuousViolationResultEntities = new ArrayList<>();
        for(String car : violationInfoStat.keySet()){
            if(violationInfoStat.get(car).size() >= 3){
                for(ContinuousViolationResultEntity continuousViolationResultEntity : violationInfoStat.get(car)){
                    continuousViolationResultEntity.setJobid(paramContinuousViolation.getJobid());
                    continuousViolationResultEntity.setViolationcount((long)violationInfoStat.get(car).size());
                    continuousViolationResultEntities.add(continuousViolationResultEntity);
                }
            }
        }

        if(continuousViolationResultEntities.size() == 0){
            Log4jKit.info("未识别出连续违章车辆");
        }else{
            WriteResultToDB(continuousViolationResultEntities);
        }

        jobDao.updateStatusById(paramContinuousViolation.getJobid(), SystemConst.TECHTACTICS_JOB_RUN_STATUS_SCUESS);

        return 2;
    }


    /**
     * @分析结果写入Mysql关系型数据库的iabc_ttr_continuousviolation表
     * @param continuousViolationResultEntityList
     */
    private void WriteResultToDB(List continuousViolationResultEntityList){

        if (continuousViolationResultEntityList.size() > 0 ) {
            jobContinuousViolationParamterDao.insertResultBatch(continuousViolationResultEntityList);
            Log4jKit.info("数据成功写入数据库");
        }

    }
}

 
  
构建solr参数去查询
 
  
package com.ia.bigdata.car.module.techtactics.dao.firstentry;

import com.ia.bigdata.car.component.solr.BaseSolrHBaseDAO;
import com.ia.bigdata.car.component.solr.SolrConstructor;
import org.apache.commons.lang3.StringUtils;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrRequest;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.response.FacetField;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.params.FacetParams;
import org.springframework.stereotype.Repository;

import java.io.IOException;
import java.util.List;
import java.util.Set;

@Repository
public class TTFirstEntryDao extends BaseSolrHBaseDAO {

    public String getCaseFirstEntryCars(String start, String end, String[] devices, Set result)
            throws SolrServerException, IOException {

        SolrConstructor constructor = new SolrConstructor();

        if (StringUtils.isNoneEmpty(start) && StringUtils.isNoneEmpty(end)){
            constructor = constructor.construct(SolrConstructor.RANGE, this.COLUMN_DATATIME, start, end);
        }
        if (null != devices && devices.length > 0){
            constructor = constructor.construct(SolrConstructor.INCLUDE, this.COLUMN_DEVICEID, devices);
        }
        SolrQuery solrQuery = constructor.sq();
        solrQuery.setFacet(true);
        solrQuery.setFacetMinCount(1);
        solrQuery.setFacetLimit(-1);
        solrQuery.setFacetSort(FacetParams.FACET_SORT_COUNT);
        solrQuery.addFacetField(this.COLUMN_ID);

        System.out.println("Start Query");
        QueryResponse response = client().query(solrQuery, SolrRequest.METHOD.POST);
        List facetFields = response.getFacetFields();
        for (FacetField ff : facetFields){
            List.Count> count = ff.getValues();
            for (FacetField.Count c : count){
                result.add(c.getName());
            }
        }

        return "";
    }
}



 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(【大数据】)

        

            

                
    
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • ES聚合分析原理与代码实例讲解
                        光剑书架上的书
大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
    
                    
    • 
                    
  • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
    
                    
    • 
                    
  • 免费的GPT可在线直接使用（一键收藏）
                        kkai人工智能
gpt
                        
    1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
    
                    
    • 
                    
  • 如何利用大数据与AI技术革新相亲交友体验
                        h17711347205
回归算法安全系统架构交友小程序
                        
    在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
    
                    
    • 
                    
  • 未来软件市场是怎么样的？做开发的生存空间如何？
                        cesske
软件需求
                        
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
    
                    
    • 
                    
  • Hadoop架构
                        henan程序媛
hadoop大数据分布式
                        
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
    
                    
    • 
                    
  • [转载] NoSQL简介
                        weixin_30325793
大数据数据库运维
                        
    摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
    
                    
    • 
                    
  • Kafka详细解析与应用分析
                        芊言芊语
kafka分布式
                        
    Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
    
                    
    • 
                    
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)
                        计算机源码社
Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
                        
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
    
                    
    • 
                    
  • 疫情，疫情
                        东山草

                        
    2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
    
                    
    • 
                    
  • 在服务器计算节点中使用 jupyter Lab
                        ranshan567
程序人生
                        
    JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
    
                    
    • 
                    
  • 大数据真实面试题---SQL
                        The博宇
大数据面试题——SQL大数据mysqlsql数据库bigdata
                        
    视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
    
                    
    • 
                    
  • Flume：大规模日志收集与数据传输的利器
                        傲雪凌霜，松柏长青
后端大数据flume大数据
                        
    Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
    
                    
    • 
                    
  • 云服务业界动态简报-20180128
                        Captain7

                        
    一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
    
                    
    • 
                    
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
                        2401_84572577
程序员大数据hadoop人工智能
                        
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
    
                    
    • 
                    
  • 架构评审的自动化与人工智能: 如何提高效率
                        光剑书架上的书
架构自动化人工智能运维
                        
    1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
    
                    
    • 
                    
  • 【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案
                        数字化建设方案
数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
                        
    原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
    
                    
    • 
                    
  • 80
                        鑫_259b

                        
    科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
    
                    
    • 
                    
  • 解锁企业潜能，Vatee万腾平台引领智能新纪元
                        自媒体经济说
其他
                        
    在数字化转型的浪潮中，企业正站在一个前所未有的十字路口，面对着前所未有的机遇与挑战。解锁企业内在潜能，实现跨越式发展，已成为众多企业的共同追求。而Vatee万腾平台，作为智能科技的先锋，正以其强大的智能赋能能力，引领企业步入一个全新的智能纪元。Vatee万腾平台，是一个集成了人工智能、大数据、云计算等前沿技术的综合性智能服务平台。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的
    
                    
    • 
                    
  • 释放“AI+”新质生产力，深算院如何“把大数据变小”？
                        YashanDB
YashanDB国产数据库数据库数据库大数据
                        
    近期，南都·湾财社推出《新质·中国造》栏目，深入千行百业，遍访湾区企业，解锁湾区新质生产力，共探高质量发展之道。本期对话深圳计算科学研究院YashanDB首席技术官陈志标，探讨国产数据库如何实现创新突围，抢抓数字经济时代的新机遇。以下是专访内容：如何应对AI时代所面临的算力挑战？南都·湾财社：数据、算力和算法是发展人工智能的三要素，深算院做了怎样的前瞻性布局？陈志标：今年，政府工作报告中首次提及开
    
                    
    • 
                    
  • 数字化智能工厂数字化供应链架构、全景管理、全流程贯通方案
                        数字化建设方案
智能制造数字工厂制造业数字化转型工业互联网架构
                        
    随着信息技术的飞速发展，数字化转型已成为制造企业提升竞争力的关键途径。数字化智能工厂通过集成先进的物联网(IoT)、大数据、云计算、人工智能(AI)等技术，实现了生产过程的智能化、供应链管理的精准化及决策的科学化。本方案旨在构建一套完善的数字化供应链架构，实现全景管理、全流程贯通、智慧化升级，以数据为驱动，强化技术支撑与安全管理体系，推动企业向智能制造迈进。一、数字化供应链架构1.**集成化平台构
    
                    
    • 
                    
  • 日记——我的歌单
                        静若小猴

                        
    又到一年一度大数据汇总的时候了，听歌已经成为很多人生活里的一种乐趣。春夏秋冬，我们都有自己喜欢的歌，歌词歌曲唱出沃尔玛你的心声。还记得大学时候最喜欢听的《春天里》，我有一天单曲回放了30遍，总觉得听着仿佛看到自己声音。还有的歌，初听不知曲中意，再听已经是曲终人，听着歌流泪，听着歌入睡……还记得那些年少的故事吗，总觉得自己才是故事外的人，却不是自己已经入歌。一段时间会喜欢一个人的音乐，一段时间会沉静
    
                    
    • 
                    
  • Linux dmesg命令：显示开机信息
                        fafadsj666
linux数据库数据挖掘机器学习大数据
                        
    通过学习《Linux启动管理》一章可以知道，在系统启动过程中，内核还会进行一次系统检测（第一次是BIOS进行加测），但是检测的过程不是没有显示在屏幕上，就是会快速的在屏幕上一闪而过那么，如果开机时来不及查看相关信息，我们是否可以在开机后查看呢？答案是肯定的，使用dmesg命令就可以。无论是系统启动过程中，还是系统运行过程中，只要是内核产生的信息，都会被存储在系统缓冲区中，已经为大家精心准备了大数据
    
                    
    • 
                    
  • 大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法：大厂数据分析师进阶秘籍
                        青云交
大数据新视界Excel数据分析函数公式数据透视表图表功能规划求解数据分析工具库大数据新视界数据库
                        
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
    
                    
    • 
                    
  • 大数据新视界 --大数据大厂之数据挖掘入门：用 R 语言开启数据宝藏的探索之旅
                        青云交
大数据新视界数据库大数据数据挖掘R语言算法案例未来趋势应用场景学习建议大数据新视界
                        
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
    
                    
    • 
                    
  • 高职人工智能训练师边缘计算实训室解决方案
                        武汉唯众智创
人工智能训练师边缘计算实训室人工智能训练师实训室边缘计算实训室
                        
    一、引言随着物联网（IoT）、大数据、人工智能（AI）等技术的飞速发展，计算需求日益复杂和多样化。传统的云计算模式虽在一定程度上满足了这些需求，但在处理海量数据、保障实时性与安全性、提升计算效率等方面仍面临诸多挑战。在此背景下，边缘计算作为一种新兴的计算模式应运而生，通过将计算能力推向数据生成或用户所在的网络边缘，显著降低了数据传输的延迟，提升了处理效率，并增强了数据安全性。针对高等职业院校的人工
    
                    
    • 
                    
  • python基于django/flask的NBA球员大数据分析与可视化python+java+node.js
                        QQ_511008285
pythondjangoflaskjavaspringboot数据分析
                        
    前端开发框架:vue.js数据库mysql版本不限后端语言框架支持：1java(SSM/springboot)-idea/eclipse2.Nodejs+Vue.js-vscode3.python(flask/django)--pycharm/vscode4.php(thinkphp/laravel)-hbuilderx数据库工具：Navicat/SQLyog等都可以本文针对NBA球员的大数据进行
    
                    
    • 
                    
  • Java基于spring boot的国产电影数据分析与可视化python+java+node.js
                        QQ_511008285
javaspringboot数据分析pythondjangovue.jsflask
                        
    前端开发框架:vue.js数据库mysql版本不限后端语言框架支持：1java(SSM/springboot)-idea/eclipse2.Nodejs+Vue.js-vscode3.python(flask/django)--pycharm/vscode4.php(thinkphp/laravel)-hbuilderx数据库工具：Navicat/SQLyog等都可以  该系统使用进行大数据处理和
    
                    
    • 
                    
  • 数字化（电子化）招标采购平台系统核心功能详细介绍
                        xinyuan_123456
oracle
                        
    数智化招标采购平台覆盖全业务类型、全采购流程、全采购方式，是郑州信源公司运用“互联网+”、大数据、人工智能、区块链、物联网等新兴技术，结合供应链管理理念，以招标采购为核心，提供交易、管理、数据、服务、监管为一体的高标准采购管理平台，赋能政企用户实现采购业务全流程的电子化、数字化、智慧化。根据产品功能及应用领域，产品包括：企业数智化招采供应链平台、金融数智化招采平台、政府数智化采购平台、公共资源数智
    
                    
    • 
                                
  • 深入浅出Java Annotation(元注解和自定义注解）
                                    Josh_Persistence
Java Annotation元注解自定义注解
                                    
    一、基本概述 
  
  
　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。 
  
　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
    
                                
    • 
                                
  • mysql优化特定类型的查询
                                    annan211
java工作mysql
                                    
    

本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。

1 优化count查询
  对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看
  真正的count()函数的作用到底是什么。
  count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。
  在统
    
                                
    • 
                                
  • MAC下安装多版本JDK和切换几种方式
                                    棋子chessman
jdk
                                    
    环境： 
MAC AIR,OS X 10.10,64位 
  
历史： 
过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。 
后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。 
  
在终端中输入jav
    
                                
    • 
                                
  • javaScript （1）
                                    Array_06
JavaScriptjava浏览器
                                    
    JavaScript 
 
1、运算符 
　　运算符就是完成操作的一系列符号，它有七类： 　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
    
                                
    • 
                                
  • 国内顶级代码分享网站
                                    袁潇含
javajdkoracle.netPHP
                                    
           现在国内很多开源网站感觉都是为了利益而做的 
  
        
       当然利益是肯定的,否则谁也不会免费的去做网站 
  
   &
    
                                
    • 
                                
  • Elasticsearch、MongoDB和Hadoop比较
                                    随意而生
mongodbhadoop搜索引擎
                                    
        
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
    
                                
    • 
                                
  • mac os 系统科研软件总结
                                    张亚雄
mac os
                                    
    1.1 Microsoft Office for Mac 2011 
     大客户版，自行搜索。 
     1.2 Latex （MacTex）: 
     系统环境：https://tug.org/mactex/ 
    &nb
    
                                
    • 
                                
  • Maven实战（四）生命周期
                                    AdyZhang
maven
                                    
    1. 三套生命周期     Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。 每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
    
                                
    • 
                                
  • Linux下Jenkins迁移
                                    aijuans
Jenkins
                                    
    1. 将Jenkins程序目录copy过去       源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面                tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
    
                                
    • 
                                
  • request.getInputStream()只能获取一次的问题
                                    ayaoxinchao
requestInputstream
                                    
    问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据        
原因：   1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1；   2. InputStream并没有实现reset方法（可以重
    
                                
    • 
                                
  • 数据库SQL优化大总结之 百万级数据库优化方案
                                    BigBird2012
SQL优化
                                    
    网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 
这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 
1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 
2.应尽量避免在 where 
    
                                
    • 
                                
  • jsonObject的使用
                                    bijian1013
javajson
                                    
            在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 
JSONUtil.java 
package com.bijian.json.study;

import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
    
                                
    • 
                                
  • [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration
                                    bit1129
zookeeper
                                    
    Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类 
  
  
首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher， 
  
    /**
     * Register a watcher for a particular p
    
                                
    • 
                                
  • 【Scala十三】Scala核心七：部分应用函数
                                    bit1129
scala
                                    
    何为部分应用函数？ 
Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
    
                                
    • 
                                
  • Tomcat Error listenerStart 终极大法
                                    ronin47
tomcat
                                    
    Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 
 
Java代码  
handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
    
                                
    • 
                                
  • 不用加减符号实现加减法
                                    BrokenDreams
实现
                                    
            今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。 
        分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。 
   
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-状态模式-State
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 




/*

当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类
状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况
把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化

如果在
    
                                
    • 
                                
  • CUDA程序block和thread超出硬件允许值时的异常
                                    cherishLC
CUDA
                                    
    调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。 
以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！ 
所以验证结果的正确性很重要！！！ 
在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。 
 
 
以下程序在K5000GPU上跑的。
    
                                
    • 
                                
  • 诡异的超长时间GC问题定位
                                    chenchao051
jvmcmsGChbaseswap
                                    
    HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 
2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
    
                                
    • 
                                
  • maven环境快速搭建
                                    daizj
安装mavne环境配置
                                    
    一 下载maven 
 
安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 
 
maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
    
                                
    • 
                                
  • PHP网站安全，避免PHP网站受到攻击的方法
                                    dcj3sjt126com
PHP
                                    
      
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
    
                                
    • 
                                
  • yii中给CGridView设置默认的排序根据时间倒序的方法
                                    dcj3sjt126com
GridView
                                    
    public function searchWithRelated() { 
        $criteria = new CDbCriteria; 
 
        $criteria->together = true; //without th
    
                                
    • 
                                
  • Java集合对象和数组对象的转换
                                    dyy_gusi
java集合
                                    
        在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 
1、数组对象转换为集合对象 
    最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
    
                                
    • 
                                
  • nginx同一主机部署多个应用
                                    geeksun
nginx
                                    
    近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 
1.   在nginx下创建vhosts目录，用以放置vhost文件。 
mkdir vhosts 
  
2.   修改nginx.conf的配置， 在http节点增加下面内容设置，用来包含vhosts里的配置文件 
#
    
                                
    • 
                                
  • ubuntu添加admin权限的用户账号
                                    hongtoushizi
ubuntuuseradd
                                    
    ubuntu创建账号的方式通常用到两种：useradd 和adduser .   本人尝试了useradd方法，步骤如下：  
1:useradd 
   使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。 
顾应该如下操作： 
  
    
                                
    • 
                                
  • 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理
                                    jinnianshilongnian
nginxlua
                                    
       JSON库 
  
在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
    
                                
    • 
                                
  • Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解
                                    yaerfeng1989
timerquartz定时器
                                    
    原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 
代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 
有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 
1.Java Timer定时 
首先继承jav
    
                                
    • 
                                
  • Linux下df与du两个命令的差别？
                                    pda158
linux
                                    
    　一、df显示文件系统的使用情况，与du比較，就是更全盘化。   　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。   　　举比例如以下：   　　[root@localhost ~]# df -T   　　Filesystem                   Type &n
    
                                
    • 
                                
  • [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象
                                    ctfzh
VOandroidsqlite反射Cursor
                                    
    在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。 
  
使用时需要注意：   
考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。  
表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
    
                                
    • 
                                
  • 该学习笔记用到的Employee表
                                    vipbooks
oraclesql工作
                                    
        这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 
 
 

drop table Employee;
-- 员工信息表
create table Employee(
       -- 员工编号
       EmpNo number(3) primary key,
       -- 姓
    
                                
    •