weixin_30767835
weixin_30767835

阿里巴巴大数据竞赛-天池

本人菜鸟，对天池数据写点小理解。天池数据不同于一般的评分数据，有几点比较主要：天池数据存在同用户对同物品的不同操作，这和SVD相背，所以数据处理这块非常重要。又根据啊里的背景来看，会发现数据存在这样一个内部关系。购买的物品必然受到点击到购物车，那么这个时候购物车的分析意义有多大？值得商榷。同时那么多的点击次数是因为对找个商品有购买欲望？还是因为购买过来看看价格波动？同时淘宝的数据存在这样一个问题，例如我买的小零食可以出现多次购买，但是购买例如电脑、冰箱这种大物件基本存在二次购买的几率比较小。而数据经过加密处理，这种情况怎么考虑？等等。其这篇文章主要还是一贯作风，贴代码，留个纪念。效果不是很好，F1只有6.4.仅当纪念。

#include 
#include 
#include 
#include 
#include 

using namespace std;

void load(string);
void train(vector<int>,vector<int>,vector<int>,int);
void ComM(vector<int>,vector<int>,vector<int>);
void ComR(vector<int>,vector<int>,vector<int>);
void TopN(vectorint>,double> >);
double W1 = 1;
double W2 = 1;

mapint>,double> predictScore(int,vector<int>,vector<int>,int);
vector<int> U,I,R;
vector<int> MinRc,MaxRc,MaxRv,MinRv,MaxRp,MinRp,MaxRg,MinRg;
mapint>,int> RCui,RVui,RPui,RGui;
vectorint>,double> > result;


int step = 1;

int main()
{
    string trains_file = "/home/ja/CADATA/ALI/data/New/trains_tmp.dat";
    load(trains_file);
    ComM(U,I,R);


    string train_file = "/home/ja/CADATA/ALI/data/New/trains.dat";

    load(train_file);
    ComR(U,I,R);

    for(size_t i=0;i){
        train(U,I,R,W1);
    }

    U.clear();
    I.clear();
    R.clear();
    RCui.clear();
    RVui.clear();
    RPui.clear();
    RGui.clear();

    string train_file_1 = "/home/ja/CADATA/ALI/data/New/test_s.dat";

    load(train_file_1);
    ComR(U,I,R);

    for(size_t i=0;i){
        train(U,I,R,W2);
    }


    TopN(result);

    return 0;
}

void TopN(vectorint>,double> > r){
    ofstream out("/home/ja/CADATA/ALI/data/New/result/result.dat");
    for(size_t i=0;i){
        for(mapint>,double>::iterator it=r[i].begin();it!=r[i].end();++it){
            out << it->first[0] << "\t" << it->first[1] << "\t" << it->second << endl;
        }
    }
}

mapint>,double> predictScore(int user,vector<int> item,vector<int> rating,int index,int w){
    mapint>,double> TMPc,TMPv,TMPp,TMPg,Tmpresult;
    for(mapint>,int>::iterator it=RCui.begin();it!=RCui.end();++it){
        if(it->first[0] == index){
            double t = w * it->second / (MaxRc[index] * 1.0);
            //double t = it->second / (MaxRc[index] * 1.0);
            vector<int> tmp;
            tmp.push_back(index);
            tmp.push_back(it->first[1]);
            TMPc[tmp] += t;
            //cout << it->second<< "--" << MaxRc[index]<< "--" << t <
        }
    }

    for(mapint>,int>::iterator it=RVui.begin();it!=RVui.end();++it){
        if(it->first[0] == index){
            double t = w * it->second / (MaxRv[index]* 1.0);
            vector<int> tmp;
            tmp.push_back(index);
            tmp.push_back(it->first[1]);
            TMPv[tmp] += t;
        }
    }

    for(mapint>,int>::iterator it=RPui.begin();it!=RPui.end();++it){
        if(it->first[0] == index){
            double t = w * it->second / (MaxRp[index] * 1.0);
            //double t = it->second / (MaxRp[index] * 1.0);
            vector<int> tmp;
            tmp.push_back(index);
            tmp.push_back(it->first[1]);
            TMPp[tmp] += t;
        }
    }

    for(mapint>,int>::iterator it=RGui.begin();it!=RGui.end();++it){
        if(it->first[0] == index){
            double t = w * it->second / (MaxRg[index] * 1.0);
            //double t = it->second / (MaxRg[index] * 1.0);
            vector<int> tmp;
            tmp.push_back(index);
            tmp.push_back(it->first[1]);
            TMPg[tmp] += t;
        }

    }

    mapint>,double> TmpVv,TmpPp,TmpGg,TmpPpp,TmpGgg,TmpGggg;

    for(mapint>,double>::iterator it=TMPc.begin();it!=TMPc.end();++it){
        double score = it->second;
        for(mapint>,double>::iterator itt=TMPv.begin();itt!=TMPv.end();++itt){
            if(it->first[0] == itt->first[0] ){
                if(it->first[1] == itt->first[1]){
                    score += itt->second;
                }
                else{
                    vector<int> tmp;
                    tmp.push_back(itt->first[0]);
                    tmp.push_back(itt->first[1]);
                    TmpVv[tmp] = itt->second;
                    score += 0;
                }
            }
        }

        for(mapint>,double>::iterator itt=TMPp.begin();itt!=TMPp.end();++itt){
            if(it->first[0] == itt->first[0] ){
                if(it->first[1] == itt->first[1]){
                    score += itt->second;
                }
                else{
                    vector<int> tmp;
                    tmp.push_back(itt->first[0]);
                    tmp.push_back(itt->first[1]);
                    TmpPp[tmp] = itt->second;
                    score += 0;
                }
            }
        }

        for(mapint>,double>::iterator itt=TMPg.begin();itt!=TMPg.end();++itt){
            if(it->first[0] == itt->first[0] ){
                if(it->first[1] == itt->first[1]){
                    score += itt->second;
                }
                else{
                    vector<int> tmp;
                    tmp.push_back(itt->first[0]);
                    tmp.push_back(itt->first[1]);
                    TmpGg[tmp] = itt->second;
                    score += 0;
                }
            }
        }
        vector<int> tmp;
        tmp.push_back(it->first[0]);
        tmp.push_back(it->first[1]);
        Tmpresult[tmp] += score;
    }

    double size = Tmpresult.size();

    if(TmpVv.size() != 0){
        for(mapint>,double >::iterator it = TmpVv.begin();it!=TmpVv.end();++it){
            double score = it->second;
            for(mapint>,double>::iterator itt=TmpPp.begin();itt!=TmpPp.end();++itt){
                if(it->first[0] == itt->first[0]){
                    if(it->first[1] == itt->first[1]){
                        score += itt->second;
                    }
                    else{
                        vector<int> tmp;
                        tmp.push_back(itt->first[0]);
                        tmp.push_back(itt->first[1]);
                        TmpPpp[tmp] = itt->second;
                        score += 0;
                    }
                }
            }

            for(mapint>,double>::iterator itt=TmpGg.begin();itt!=TmpGg.end();++itt){
                if(it->first[0] == itt->first[0] ){
                    if(it->first[1] == itt->first[1]){
                        score += itt->second;
                    }
                    else{
                        vector<int> tmp;
                        tmp.push_back(itt->first[0]);
                        tmp.push_back(itt->first[1]);
                        TmpGgg[tmp] = itt->second;
                        score += 0;
                    }
                }
            }
            vector<int> tmp;
            tmp.push_back(it->first[0]);
            tmp.push_back(it->first[1]);
            Tmpresult[tmp] += score;
        }
    }




    if(TmpPp.size() != 0){
        for(mapint>,double >::iterator it = TmpPpp.begin();it!=TmpPpp.end();++it){
            double score = it->second;
            for(mapint>,double>::iterator itt=TmpGgg.begin();itt!=TmpGgg.end();++itt){
                if(it->first[0] == itt->first[0] ){
                    if(it->first[1] == itt->first[1]){
                        score += itt->second;
                    }
                    else{
                        vector<int> tmp;
                        tmp.push_back(itt->first[0]);
                        tmp.push_back(itt->first[1]);
                        TmpGggg[tmp] = itt->second;
                        score += 0;
                    }
                }
            }
            vector<int> tmp;
            tmp.push_back(it->first[0]);
            tmp.push_back(it->first[1]);
            Tmpresult[tmp] += score;
        }
    }






    if(TmpGggg.size() != 0){

        for(mapint>,double >::iterator it = TmpGggg.begin();it!=TmpGggg.end();++it){
            double score = it->second;
            vector<int> tmp;
            tmp.push_back(it->first[0]);
            tmp.push_back(it->first[1]);
            Tmpresult[tmp] += score;
        }
    }
/*
    if(size != result.size()){
        cout << (size - result.size()) << endl;
    }
*/
    return Tmpresult;
}

void train(vector<int> User,vector<int> Item,vector<int> Rating,int W){
    mapint>,double> Score;
    //for(size_t i=0;i
    for(size_t i=0;i<884;i++){
        Score = predictScore(User[i],Item,Rating,i,W);
        result.push_back(Score);
    }
}

void ComR(vector<int> User,vector<int> Item,vector<int> Rating){
    for(size_t i=0;i1;i++){
        if(Rating[i] == 0){
            if(User[i] == User[i+1] && Item[i] == Item[i+1]){
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RCui[tmp] += 1;
            }
            else{
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RCui[tmp] += 1;
            }
        }
        if(i == User.size()-2){
            vector<int> tmp;
            tmp.push_back(User[i+1]);
            tmp.push_back(Item[i+1]);
            RCui[tmp] += 1;
        }
    }

    for(size_t i=0;i1;i++){
        if(Rating[i] == 1){
            if(User[i] == User[i+1] && Item[i] == Item[i+1]){
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RVui[tmp] += 1;
            }
            else{
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RVui[tmp] += 1;
            }
        }
    }

    for(size_t i=0;i1;i++){
        if(Rating[i] == 2){
            if(User[i] == User[i+1] && Item[i] == Item[i+1]){
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RPui[tmp] += 1;
            }
            else{
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RPui[tmp] += 1;
            }
        }
    }

    for(size_t i=0;i1;i++){
        if(Rating[i] == 3){
            if(User[i] == User[i+1] && Item[i] == Item[i+1]){
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RGui[tmp] += 1;
            }
            else{
                vector<int> tmp;
                tmp.push_back(User[i]);
                tmp.push_back(Item[i]);
                RGui[tmp] += 1;
            }
        }
    }
}

void ComM(vector<int> User,vector<int> Item,vector<int> Rating){
    int max = 0;
    int num = 1;
    int min = 1000;
/*
    for(size_t un=0;un<884;un++){
        for(size_t i=0;i max){
                        max = num;
                    }
                }
                else{
                    if(num > max){
                        max = num;
                    }
                    num = 1;
                }
            }
        }
        MaxRc.push_back(max);
        num = 1;
        max = 0;
    }
    */
    for(size_t un=0;un<884;un++){
        for(size_t i=0;i1;i++){
            if(Rating[i] == 0 && User[i] == un){
                if(User[i] == User[i+1] && Rating[i] == Rating[i+1] && Item[i] == Item[i+1]){
                    num += 1;
                    if(num > max){
                        max = num;
                    }
                }
                else{
                    if(num > max){
                        max = num;
                    }
                    num = 1;
                }
            }
        }
        MaxRc.push_back(max);
        num = 1;
        max = 0;
    }

    for(size_t un=0;un<884;un++){
        for(size_t i=0;i1;i++){
            if(Rating[i] == 1 && User[i] == un){
                //cout << i << " " << Rating[i] << " " << un << endl;
                if(User[i] == User[i+1] && Rating[i] == Rating[i+1] && Item[i] == Item[i+1]){
                    num += 1;
                    if(num > max){
                        max = num;
                    }
                }
                else{
                    num = 1;
                    if(num > max){
                        max = num;
                    }
                }
            }
        }
        MaxRv.push_back(max);
        num = 1;
        max = 0;
    }

    for(size_t un=0;un<884;un++){
        for(size_t i=0;i1;i++){
            if(Rating[i] == 2 && User[i] == un){
                //cout << i << " " << Rating[i] << " " << un << endl;
                if(User[i] == User[i+1] && Rating[i] == Rating[i+1] && Item[i] == Item[i+1]){
                    num += 1;
                    if(num > max){
                        max = num;
                    }
                }
                else{
                    num = 1;
                    if(num > max){
                        max = num;
                    }
                }
            }
        }
        MaxRp.push_back(max);
        num = 1;
        max = 0;
    }

    for(size_t un=0;un<884;un++){
        for(size_t i=0;i1;i++){
            if(Rating[i] == 3 && User[i] == un){
                //cout << i << " " << Rating[i] << " " << un << endl;
                if(User[i] == User[i+1] && Rating[i] == Rating[i+1] && Item[i] == Item[i+1]){
                    num += 1;
                    if(num > max){
                        max = num;
                    }
                }
                else{
                    num = 1;
                    if(num > max){
                        max = num;
                    }
                }
            }
        }
        MaxRg.push_back(max);
        num = 1;
        max = 0;
    }

}

void load(string file){
    ifstream fin(file.c_str());
    if(!fin){
        cout << "error for fileName" << endl;
    }

    int userId,itemId,rating;
    while(fin >> userId >> itemId >> rating){
        U.push_back(userId);
        I.push_back(itemId);
        R.push_back(rating);
    }
    fin.close();
}

 

转载于:https://www.cnblogs.com/wn19910213/p/3661891.html

你可能感兴趣的:(阿里巴巴大数据竞赛-天池)

  • Aerospike 小的~~ nosqlAerospike
    文章来源：拉勾教育Java高薪训练营第3期Aerospike介绍Aerospike（简称AS）是一个分布式，可扩展的键值存储的NoSQL数据库。T级别大数据高并发的结构化数据存储读写操作达微妙级，99%的响应可在1毫秒内实现采用混合架构，索引存储在内存中，而数据可存储在机械硬盘(HDD)或固态硬盘(SSD)上（也可存储在内存）AS内部在访问SSD屏蔽了文件系统层级，直接访问地址，保证了数据的读取速
  • 算法竞赛备赛——【背包DP】多重背包 Aurora_wmroy 算法竞赛备赛算法动态规划c++数据结构蓝桥杯
    多重背包基础模型有一个体积为V的背包，商店有n种物品，每种物品有一个价值v和体积w，每种物品有s个，问能够装下物品的最大价值。这里每一种物品只有s+1种状态即“拿0个、1个、2个…s个”在基础版模型中，多重背包就是将每种物品的s个摊开，变为s种相同的物品，从而退化成01背包处理只需要在01背包的基础上稍加改动，对每一个物品循环更新s次即可时间复杂度为O(nsV)例题小明的背包3蓝桥知识点：DP——
  • 6个大数据应用案例 雪兽软件 科技前沿大数据
    根据市场数据预测报告，到2026年，全球大数据市场可能达到2684亿美元。随着大数据市场的快速增长，组织正在利用大数据来获得洞察力，帮助他们做出更好的决策，改善运营，最终推动最佳增长。从医疗保健到金融，从零售到电信，大数据正被用于改变行业的运作方式，使企业能够创造新的收入来源，增强客户体验，提高运营效率。这个全面的博客将探索令人兴奋的大数据用例领域，探索商业组织如何利用数据获得洞察力，推动创新，并
  • Java 大视界 -- Java 大数据在智能体育中的应用与赛事分析（80） 青云交 大数据新视界Java大视界java大数据智能体育数据采集运动员训练赛事分析赛事预测
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- Java 大数据在智能供应链中的应用与优化（76） 青云交 大数据新视界Java大视界大数据智能供应链数据采集整合数据存储管理需求预测物流调度风险管理
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • 【深度学习】计算机视觉（CV）-图像分类-ResNet（Residual Network，残差网络） IT古董 深度学习人工智能深度学习计算机视觉分类
    ResNet（ResidualNetwork，残差网络）是一种深度卷积神经网络（CNN）架构，由何恺明（KaimingHe）等人在2015年提出，最初用于ImageNet竞赛，并在分类任务上取得了冠军。ResNet的核心思想是残差学习（ResidualLearning），它通过跳跃连接（SkipConnections）解决了深度神经网络训练中的梯度消失和梯度爆炸问题，使得非常深的网络（如50层、1
  • Sentinel 华农第一蒟蒻 java修炼sentinel开发语言java
    目录一、Sentinel简介核心特性二、环境准备1.控制台安装2.SpringBoot集成三、核心功能实战1.流量控制2.熔断降级3.热点参数限流四、高级配置1.规则持久化（Nacos集成）2.集群流控五、生产实践建议一、Sentinel简介Sentinel是阿里巴巴开源的分布式系统流量防卫组件，提供流量控制、熔断降级、系统自适应保护等功能。作为SpringCloudAlibaba核心组件，广泛应
  • 基于 GBase 数据库的海量数据处理与性能优化 big crab 数据库oracle
    一、引言随着大数据时代的到来，海量数据的存储和高效处理成为各行业的核心需求。GBase系列数据库（包括GBase8a、GBase8s和GBase8c）以其强大的性能、灵活的存储架构以及高效的查询优化功能，成为处理大规模数据的理想选择。本文将从GBase数据库的特性出发，探讨如何在实际应用中进行海量数据的高效处理，同时提供相关代码示例，帮助开发者更好地理解和应用GBase数据库。二、GBase数据库
  • GBase 8a慢SQL优化案例-2 通过分析函数改写不等值关联排序取值 dudulang8088 sql数据库数据仓库
    某气象现场一条查询语句，大数据场景下，单个机构查询耗时5分钟以上，需要分析，SQL语句如下：SELECTt.station_no,t.collect_time_stamp,t.r2020,t.topFROM(SELECTt1.station_no,t1.collect_time_stamp,t1.r2020,(SELECTCOUNT(*)+1FROM(SELECTstation_no,--站点编号
  • 数据驱动业务增长，E-MapReduce 真实案例解析 Anna_Tong mapreduce大数据云计算数据分析阿里云实时计算数据驱动
    在大数据时代，数据已经成为企业核心竞争力的关键因素之一。无论是电商、金融、物流还是制造业，企业都在探索如何更高效地处理、分析和利用海量数据，以实现精准决策、优化运营并提升业务增长。然而，面对PB级甚至EB级的数据规模，传统的本地大数据计算架构往往难以满足性能和成本的要求。如何在保证计算效率的同时降低运维成本，成为企业数据战略中的关键挑战。阿里云E-MapReduce（EMR）作为一款云原生的大数据
  • GBase 数据库的高性能架构与优化实践 big crab 数据库架构
    引言随着信息技术的快速发展，数据库作为支撑各行各业数据存储和处理的核心技术之一，承担着越来越重要的角色。在现代企业中，大数据量、复杂查询和高并发处理已成为普遍需求。GBase数据库作为国内领先的数据库产品之一，提供了卓越的性能和灵活的架构设计，能够高效处理复杂的事务、分析查询和海量数据。本文将探讨GBase数据库的高性能架构，并结合实际案例展示其优化实践。一、GBase数据库架构概述GBase数据
  • 从零开始入门 K8s | Kubernetes 网络模型进阶 jishulaozhuanjia
    个人博客导航页（点击右侧链接即可打开个人博客）：互联网老兵带你入门技术栈本文整理自《CNCFxAlibaba云原生技术公开课》第25讲，点击直达课程页面。关注“阿里巴巴云原生”公众号，回复关键词**“入门”**，即可下载从零入门K8s系列文章PPT。导读：本文将基于之前介绍的基本网络模型，进行更深入的一些了解，希望给予读者一个更广更深的认知。首先简单回顾一下容器网络的历史沿革，剖析一下Kubern
  • nacos学习笔记 柠檬编程工作室 SpringCloud微服务java面试经验学习笔记
    Nacos（动态服务发现、配置管理与服务管理平台）是阿里巴巴开源的一个分布式系统架构中服务发现和配置管理的基础组件。它的主要目标是提供一个动态服务发现、配置管理和服务管理的解决方案。Nacos主要适用于微服务架构，并在云原生环境下发挥重要作用。Nacos的核心功能服务发现与健康检查Nacos提供了服务发现功能，可以帮助微服务在运行时动态发现其他服务的地址和端口。服务提供者（例如一个微服务实例）将自
  • 大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统_bert+lstm 2301_76348014 程序员深度学习大数据知识图谱
    文章目录大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统一、项目概述二、系统实现基本流程三、项目工具所用的版本号四、所需要软件的安装和使用五、开发技术简介Django技术介绍Neo4j数据库Bootstrap4框架Echarts简介NavicatPremium15简介Layui简介Python语言介绍MySQL数据库深度学习六、核心理论贪心算法A
  • DeepSeek+WPS/Office手把手教你玩转智能办公 herosunly DeepSeek从入门到精通deepseek大模型人工智能officewps智能办公
      大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法Q大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
  • 助力网络安全发展，安全态势攻防赛事可视化 网络安全-杰克 安全web安全网络
    前言互联网网络通讯的不断发展，网络安全就如同一扇门，为我们的日常网络活动起到拦截保护的作用。未知攻、焉知防，从网络诞生的那一刻开始，攻与防的战争就从未停息过，因此衍生出了大量网络信息安全管理技能大赛，以此提升社会网络安全责任意识，加强网络安全技术人才队伍的建设。我们也通过Hightopo的产品HT搭建了一款技术人员之间的技术竞赛可视化大屏。模拟一场网络空间里的竞技守卫战，让原本枯燥的信息竞赛通过H
  • 大数据专业毕业设计选题118例：数据挖掘 数据分析 可视化 HaiLang_IT 毕设选题教程毕业设计大数据数据挖掘
    目录前言毕设选题开题指导建议更多精选选题选题帮助最后前言大家好,这里是海浪学长毕设专题!大四是整个大学期间最忙碌的时光，一边要忙着准备考研、考公、考教资或者实习为毕业后面临的升学就业做准备,一边要为毕业设计耗费大量精力。学长给大家整理了大数据专业最新精选选题，如遇选题困难或选题有任何疑问，都可以问学长哦(见文末)!对毕设有任何疑问都可以问学长哦!更多选题指导:最新最全计算机专业毕设选题精选推荐汇总
  • 大数据之-hdfs+hive+hbase+kudu+presto集群(6节点) 管哥的运维私房菜 大数据hdfshivekuduprestohbase
    几个主要软件的下载地址：prestohttps://prestosql.io/docs/current/index.htmlkudurpm包地址https://github.com/MartinWeindel/kudu-rpm/releaseshivehttp://mirror.bit.edu.cn/apache/hive/hdfshttp://archive.apache.org/dist/ha
  • 使用Docker搭建Flink集群 O_1CxH Flink大数据Kafka大数据dockerflink容器
    目录使用Docker搭建Flink集群docker-compose一键搭建步骤附录参考资料使用Docker搭建Flink集群在学习大数据框架的时候，需要一个真实的环境。我们知道，像spark、flink这些计算框架都有多种运行模式：在本地使用多线程模拟集群真正的分布式集群如果直接在IDE（Intellj）里面编译和运行写好的程序，实际上是用的前一种运行模式；如果想尝试真正的生产环境中任务的提交和管
  • 国家网络安全宣传周 | 2024年网络安全领域重大政策法规一览 网安加社区 安全网络安全政策法规
    随着我国网络安全政策法规不断健全，网络安全工作机制也日渐成熟，各项工作已稳步步入法治化的轨道，与此同时，网络安全标准体系逐步清晰，安全防线日益坚固，为国家的网络安全建设提供了坚实的基础。网安加社区特为大家整理了2024年国内发布的网络安全领域相关政策法规，希望能为广大从业者与关注者提供相关参考，共同促进网络安全生态的健康发展。2024年网络安全重大政策法规一览◉1.《旅游大数据安全与隐私保护要求（
  • 【计算机毕设选题】2025计算机毕业设计选题推荐-高通过率选题指南（二） 计算机YiDian 计算机毕设实战案例毕业设计选题/开题源码计算机毕业设计选题毕业设计选题计算机毕设选题计算机毕业设计
    计算机毕业设计作为大学生涯的收官之作，承载着对学生专业技能、创新思维及实践能力的全面考验。随着信息技术的飞速发展，计算机毕业设计的形式也日益多样化，从传统的网站（Web）开发到新兴的小程序、APP构建，再到大数据分析与处理，每一种形式都代表着不同的技术挑战与实现路径。本文旨在探讨这些多样化的毕业设计形式及其背后的技术支撑，为即将踏上毕业设计征程的学子们提供一份详实的参考指南，对毕设开发需要帮助，以
  • 网络安全从零开始学习CTF——CTF基本概念 Hacker_Oldv web安全学习安全
    这一系列把自己学习的CTF的过程详细写出来，方便大家学习时可以参考。一、CTF简介01」简介中文一般译作夺旗赛（对大部分新手也可以叫签到赛），在网络安全领域中指的是网络安全技术人员之间进行技术竞技的一种比赛形式。CTF起源于1996年DEFCON全球黑客大会，以代替之前黑客们通过互相发起真实攻击进行技术比拼的方式。02」竞赛模式解题模式：在解题模式CTF赛制中，参赛队伍可以通过互联网或者现场网络参
  • Mongodb主从模式最佳方案 Christian Bai mongodb数据库
    我整理的一些关于【Java】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1MongoDB主从模式最佳方案MongoDB是一款开源的文档型数据库，被广泛应用于许多现代应用中。其强大的性能和灵活的数据结构使得它特别适合处理大数据和高并发访问。本文将介绍MongoDB的主从模式，并提供最佳方案和示例代码，帮助你更好地理解这种模式的运作原理。什么
  • DeepSeek推荐未来好就业的十大专业 东锋1.3 人工智能deepseek推荐就业
    一、人工智能与数据科学专业聚焦人工智能、大数据技术、计算机科学与技术、机器学习、数据科学与大数据技术等专业，构成了这一前沿领域的核心。这些专业旨在培养学生掌握从数据收集、处理到模型构建、算法优化的全流程能力。就业前景洞察人工智能已广泛渗透到医疗、金融、制造、交通等众多领域。在医疗领域，AI辅助诊断系统帮助医生更精准地识别疾病；金融行业里，智能风控模型有效防范风险。未来，算法工程师负责开发和优化各种
  • 云桌面主流架构解析与应用场景分析 一休哥助手 架构
    引言随着云计算、大数据和虚拟化技术的快速发展，云桌面作为一种高效、安全、便捷的办公方式，逐渐被企业、教育和政府等多个领域广泛采用。云桌面通过虚拟化技术将计算资源集中管理，并将桌面操作系统、应用程序和数据存储在云端。用户通过终端设备访问云桌面，从而实现随时随地的灵活办公。云桌面架构的设计是其性能、安全性和用户体验的关键因素。目前主流的云桌面架构有多种类型，包括集中式架构、分布式架构、混合式架构等。本
  • 微信视频号中的“多位朋友看过”是真的有朋友看过，还是系统分析过大数据后推荐的？ cda2024 微信大数据
    不知道你有没有注意到，在微信视频号里，经常会出现“多位朋友看过”的提示。这一行小字往往能勾起人们的好奇心，让人不由自主地想要点击观看。那么，这究竟是不是真的意味着我们的朋友确确实实地浏览过这些视频呢？今天，我们就来聊聊这个话题。一、社交网络背后的算法在探讨这个问题之前，我们首先得了解一下社交网络平台背后的算法原理。社交网络平台的推荐机制主要依赖于大数据分析技术，通过用户的行为习惯、兴趣偏好等多维度
  • 云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术 2301_79098963 程序员云计算大数据人工智能
    物联网一、物联网的基本概念二、物联网的特征(一)物体感知(二)信息传输(三)智能处理三、物联网关键技术(一)射频识别技术(二)产品电子编码(三)短距离通信技术(四)互联网(五)感知控制技术(六)无线网络技术(七)中间件技术(八)智能处理技术四、物联网的应用领域虚拟现实技术一、VR的基本概念二、VR的特征(一)沉浸性(二)人交互性(三)多感知性(四)想象性(五)自主性三、VR的技术应用(一)在影视娱
  • 阿里云MWC 2019发布7款重磅产品，助力全球企业迈向智能化 数据库技术分享者 大数据数据库人工智能
    当地时间2月25日，在巴塞罗那举行的MWC2019上，阿里云面向全球发布了7款重磅产品，涵盖无服务器计算、高性能存储、全球网络、企业级数据库、大数据计算等主要云产品，可满足电子商务、物流、金融科技以及制造等各行业企业的数字化转型需求，助力全球企业迈向智能化。在大会期间，阿里云还携手德勤、RedHat以及VMware等合作伙伴展示了从基础设施到企业级应用的智能化解决方案。阿里云在MWC2019上展示
  • Spark 和 Flink 信徒_ sparkflink大数据
    Spark和Flink都是目前流行的大数据处理引擎，但它们在架构设计、应用场景、性能和生态方面有较大区别。以下是详细对比：1.架构与核心概念方面ApacheSparkApacheFlink计算模型微批（Micro-Batch）为主，但支持结构化流（StructuredStreaming）原生流（TrueStreaming），基于事件驱动处理方式以RDD、DataFrame/Dataset作为核心抽
  • 尚硅谷课程【笔记】——大数据之Zookeeper【一】 赶紧写完去睡觉 大数据生态圈大数据zookeeperlinux
    课程视频：【尚硅谷Zookeeper教程】一、Zookeeper入门概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责同志已经在Zookeeper上注册的哪些观察者做出
  • VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite iwindyforest vmwaremac os10.10workstationplayer
    最近尝试了下VMware下安装MacOS 系统， 安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章， 只能提供大概的思路， 但是实际安装起来由于版本问题， 走了不少弯路， 所以我尝试写以下总结， 希望能给有兴趣安装OSX的人提供一点帮助。     写在前面的话： 其实安装好后发现， 由于我的th
  • 关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？ deathwknight JavaScriptjava框架
    本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：[email protected]） 一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下 平台
  • 如何把maven项目转成web项目 Kai_Ge mavenMyEclipse
    创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
  • 主管？？？ Array_06 工作
    转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html 很久以前跟同事参加的培训，同事整理得很详细，必须得转！ 前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
  • python内置函数大全 2002wmj python
    最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
  • JSP页面通过JQUERY合并行 357029540 JavaScriptjquery
    在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示 如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码 function mergeCell(){         var trs = $("#table tr"); &nb
  • Java基础 冰天百华 java基础
    学习函数式编程 package base; import java.text.DecimalFormat; public class Main { public static void main(String[] args) { // Integer a = 4; // Double aa = (double)a / 100000; // Decimal
  • unix时间戳相互转换 adminjun 转换unix时间戳
    如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000) getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
  • 作为一个合格程序员该做的事 aijuans 程序员
    作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多 2、考虑自己明天应该做的主要工作 把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作 3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法 出错不要紧，最重
  • 由html5视频播放引发的总结 ayaoxinchao html5视频video
    前言   项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。   视频结构   本该直接介绍html5的<video>的，但鉴于本人对视频
  • 解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat bewithme httpclient
         如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误   javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
  • Jedis连接池的入门级使用 bijian1013 redisredis数据库jedis
    Jedis连接池操作步骤如下：         a.获取Jedis实例需要从JedisPool中获取；         b.用完Jedis实例需要返还给JedisPool；         c.如果Jedis在使用过程中出错，则也需要还给JedisPool； packag
  • 变与不变 bingyingao 不变变亲情永恒
    变与不变    周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，    各种店铺都换了好几茬，这些是变的。    三年前还很流行的一款手机在今天看起来已经落后的不像样子。    三年前还运行的好好的一家公司，今天也已经不复存在。    一座座高楼拔地而起，
  • 【Scala十】Scala核心四：集合框架之List bit1129 scala
    Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解   1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量   2. 给变量赋值(注意val关键字，a，b
  • Nested Functions in C bookjovi cclosure
      Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。   既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
  • Java-Collections Framework学习与总结-WeakHashMap BrokenDreams Collections
            总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。         强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
  • 读《研磨设计模式》-代码笔记-解释器模式-Interpret bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象 * * 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值 * 多
  • After Effects操作&快捷键 cherishLC After Effects
    1、快捷键官方文档 中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html 英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html 2、常用快捷键
  • Maven 常用命令 crabdave maven
    Maven 常用命令   mvn archetype:generate mvn install mvn clean mvn clean complie mvn clean test mvn clean install mvn clean package mvn test mvn package mvn site   mvn dependency:res
  • shell bad substitution daizj shell脚本
    #!/bin/sh /data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
  • Java SE 第二讲（原生数据类型 Primitive Data Type） dcj3sjt126com java
    Java SE  第二讲： 1.   Windows: notepad, editplus, ultraedit, gvim Linux: vi, vim, gedit 2.   Java 中的数据类型分为两大类： 1）原生数据类型  （Primitive Data Type） 2）引用类型（对象类型）  （R
  • CGridView中实现批量删除 dcj3sjt126com PHPyii
    1，CGridView中的columns添加 array( 'selectableRows' => 2, 'footer' => '<button type="button" onclick="GetCheckbox();" style=&
  • Java中泛型的各种使用 dyy_gusi java泛型
    Java中的泛型的使用：1.普通的泛型使用 在使用类的时候后面的<>中的类型就是我们确定的类型。 public class MyClass1<T> {//此处定义的泛型是T private T var; public T getVar() { return var; } public void setVa
  • Web开发技术十年发展历程 gcq511120594 Web浏览器数据挖掘
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • openSession()与getCurrentSession()区别： hetongfei javaDAOHibernate
    来自 http://blog.csdn.net/dy511/article/details/6166134 1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。 2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。 这里getCurrentSession本地事务(本地
  • 第一章 安装Nginx+Lua开发环境 jinnianshilongnian nginxluaopenresty
    首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
  • HSQLDB In-Process方式访问内存数据库 liyonghui160com
        HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。   先睹为快！   下面是一个In-Process方式访问内存数据库的代码示例：     下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）   import java.s
  • Java线程的5个使用技巧 pda158 java数据结构
    Java线程有哪些不太为人所知的技巧与用法？ 　　萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常 工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。
  • 开发资源大整合：编程语言篇——JavaScript（1） shoothao JavaScript
    概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。     程序包管理器   管理javascript库并提供对这些库的快速使用与打包的服务。 Bower - 用于web的程序包管理。 component - 用于客户端的程序包管理，构建更好的web应用程序。 spm - 全新的静态的文件包管
  • 避免使用终结函数 vahoa.ma javajvmC++
    终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。       我自己总结了一下这一条的综合性结论是这样的： 1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他