fanru_bigdata

HQL练习题及答案-有了它妈妈再也不用担心我的SQL面试了

本文通过简单易懂的业务场景，旨在提高大家的 SQL 水平。把文中所有的 SQL 全理解了，工作中遇到的各种 SQL 场景和面试中遇到的各种 SQL 问题都能灵活应对。文中所有的 SQL 都支持 Hive 语法，学会了 Hive 的 SQL，那么 MySQL 的 SQL 题也都可以 cover 住，下面的题目难度从简单到困难的都有。笔者在之前练习 SQL 过程中，发现了网上一些比较好的 SQL 题目，但是苦于好多博客提供的 SQL 可读性、规范性、执行效率并不高，因此才有了今天这篇博文，后续如果发现有可优化的的 SQL，笔者会持续更新本博文。

数据表介绍

学生表

create table study.student (
     student_id   string  -- 学生编号
    ,name         string  -- 学生姓名
    ,birthday     string  -- 学生生日
    ,sex          string  -- 学生性别
)
stored as parquet
tblproperties("orc.compress"="snappy");

教师表

create table study.teacher (
     teacher_id   string  -- 教师编号
    ,name         string  -- 教师姓名
)
stored as parquet
tblproperties("orc.compress"="snappy");

课程表

create table study.course (
     course_id    string  -- 课程编号
    ,name         string  -- 课程名
    ,teacher_id   string  -- 课程对应的教师编号
)
stored as parquet
tblproperties("orc.compress"="snappy");

成绩表

create table study.score (
     student_id   string  -- 学生编号
    ,course_id    string  -- 课程编号
    ,score        int     -- 对应的成绩
)
stored as parquet
tblproperties("orc.compress"="snappy");

答题时请注意：

这里认为课程可能是选修课，学生不一定学了所有课程
成绩表里的课程都应该在课程表里存在，而且每门课程都应该有对应的教师，且在教师表里可以找到
成绩表里的学生也应该在学生表里存在
下面的导入数据也是随机写的，读者也可以自己随机制造生成数据导入

导入数据

学生表

insert overwrite table study.student VALUES
('01' , '赵雷' , '1990-01-01' , '男'),
('02' , '钱电' , '1990-12-21' , '男'),
('03' , '孙风' , '1990-12-20' , '男'),
('04' , '李云' , '1990-12-06' , '男'),
('05' , '周梅' , '1991-12-01' , '女'),
('06' , '吴兰' , '1992-01-01' , '女'),
('07' , '郑竹' , '1989-01-01' , '女'),
('09' , '张三' , '2017-12-20' , '女'),
('10' , '李四' , '2017-12-25' , '女'),
('11' , '李四' , '2012-06-06' , '女'),
('12' , '赵六' , '2013-06-13' , '女'),
('13' , '孙七' , '2014-06-01' , '女');

教师表

insert overwrite table study.teacher VALUES
('01' , '张三'),
('02' , '李四'),
('03' , '王五');

课程表

insert overwrite table study.course VALUES
('01' , '语文' , '02'),
('02' , '数学' , '01'),
('03' , '英语' , '03');

成绩表

insert overwrite table study.score VALUES
('01' , '01' , 80),
('01' , '02' , 90),
('01' , '03' , 99),
('02' , '01' , 70),
('02' , '02' , 60),
('02' , '03' , 80),
('03' , '01' , 80),
('03' , '02' , 80),
('03' , '03' , 80),
('04' , '01' , 50),
('04' , '02' , 30),
('04' , '03' , 20),
('05' , '01' , 76),
('05' , '02' , 87),
('06' , '01' , 31),
('06' , '03' , 34),
('07' , '02' , 89),
('07' , '03' , 98);

练习题

查询所有教师的全部信息（教师编号和姓名）
输出所有学生中男生的全部信息
查询所有学生中男生的全部信息，按照生日排降序
查询所有学生的全部信息，先按照性别排序，再按照生日排降序
求出学生总数
查询学生中男生、女生人数
参加考试的学生中，查出每个学生的学生编号、选了几门课
检索至少选修三门课程的学生学号
查询存在不及格的课程编号
输出所有课程的课程编号、课程名、对应的教师姓名
求每门课程的学生人数及平均分，输出课程编号、对应学生人数、平均分
求每门课程的学生人数及平均分，输出课程名称、对应学生人数、平均分
查询同时学习" 01 “课程和” 02 "课程的学生编号及01和02课程分数
查询" 01 “课程比” 02 "课程成绩高的学生编号及01和02课程分数
查询" 01 “课程比” 02 "课程成绩高的学生姓名及01和02课程分数
查询选择了 "01"课程但没选择 "02"课程的学生姓名
查询学过 ‘张三’ 老师课程的所有同学姓名、生日、性别
查询同时学习 “01”、"02"课程学生的学生编号以及"01"和"02"课程成绩
查询学习 "01"课程但没有学习 "02"课程学生的学生编号以及"01"课程成绩
查询学习 "02"课程但没有学习 "01"课程学生的学生编号以及"02"课程成绩
查询选课的同学的学生姓名、选课总数、所有课程的成绩总和、课程平均分
查询考试平均分大于 60 分同学的学生姓名、选课总数、所有课程的成绩总和、课程平均分，按照科目数排降序、科目数相同按照分数排降序
检索 “01” 课程分数小于 60 分的学生信息及"01" 课程分数，按照分数排降序
查询两门及其以上不及格课程的同学的姓名及其平均成绩
查询没有学全所有课程的同学的编号（包含无选课的同学）
查询 1990 年出生的学生名单
查询名字中含有「风」字的学生信息
查询「李」姓老师的数量
查询至少有两门课与学号为" 01 "的学生所学相同的学生id
查询选修了全部课程的学生id的姓名和姓名
查询和" 01 "号的同学学习的课程完全相同的其他同学的学生id
统计各科成绩各分数段人数：课程编号，课程名称，[100-85]，[85-70]，[70-60]，[60-0] 及所占百分比
查询学生的总成绩，并进行排名
查询各科成绩前三名的记录
查询出只选修两门课程的学生学号和姓名
查询每门课程的平均成绩，结果按平均成绩降序排列，平均成绩相同时，按课程编号升序排列
查询平均成绩大于等于 85 的所有学生的学号、姓名和平均成绩
查询课程名称为「数学」，且分数低于 60 的学生姓名和分数
查询课程编号为 01 且课程成绩在 80 分及以上的学生的学号和姓名
查询选修「张三」老师所授课程的学生中，成绩最高的学生编号、课程编号及其成绩
统计每门课程的学生选修人数（超过 5 人的课程才统计）。
查询该学生有不同课程但成绩相同的学生编号、课程编号、学生成绩

答案（请大家先独立思考后，再参考答案）

查询所有教师的全部信息（教师编号和姓名）
```
select *
  from study.teacher
;
```

输出所有学生中男生的全部信息

select *
  from study.student
where sex = '男'
;

查询所有学生中男生的全部信息，按照生日排降序

select *
  from study.student
where sex = '男'
order by birthday desc
;

查询所有学生的全部信息，先按照性别排序，再按照生日排降序

select *
  from study.student
order by sex
        ,birthday desc
;

求出学生总数
```
select count(*)
  from study.student
;
```

查询学生中男生、女生人数

select sex 
      ,count(*)
  from study.student
group by sex

参加考试的学生中，查出每个学生的学生编号、选了几门课

select student_id
    ,count(*) as course_count
  from study.score
group by student_id
;

检索至少选修三门课程的学生学号

select student_id
      ,count(*) as course_num
  from score
group by student_id
having course_num >= 3
;

查询存在不及格的课程编号

-- 写法一
select distinct course_id
  from score
where score < 60

-- 写法二
select course_id
  from score
where score< 60
group by course_id

输出所有课程的课程编号、课程名、对应的教师姓名

select course_id
      ,a.name as course_name
      ,b.name as teacher_name
  from 
    (
        select course_id 
              ,name 
              ,teacher_id
          from study.course
    ) a 
join 
    (
        select teacher_id 
              ,name
          from study.teacher
    ) b 
  on a.teacher_id = b.teacher_id

求每门课程的学生人数及平均分，输出课程编号、对应学生人数、平均分

select course_id
      ,count(*) as student_count
      ,avg(score) as avg_score
  from score
group by course_id

求每门课程的学生人数及平均分，输出课程名称、对应学生人数、平均分

select name
      ,student_count
      ,avg(score) as avg_score
  from 
    (
        select *
          from study.course
    ) a 
join
    (
        select course_id
              ,count(*) as student_count
          from score
        group by course_id

    ) b
  on a.course_id = b.course_id

查询同时学习" 01 “课程和” 02 "课程的学生编号及01和02课程分数

select a.student_id
      ,a.score as score_01
      ,b.score as score_02
  from 
    (
      select * 
        from score 
        where course_id = '01'
    ) a  
join
    (
      select * 
        from score 
        where course_id = '02'
    ) b 
  on a.student_id = b.student_id;

查询" 01 “课程比” 02 "课程成绩高的学生编号及01和02课程分数

select a.student_id
      ,a.score as score_01
      ,b.score as score_02
  from 
    (
      select * 
        from score 
        where course_id = '01'
    ) a  
join
    (
      select * 
        from score 
        where course_id = '02'
    ) b 
  on a.student_id = b.student_id
where a.score > b.score

查询" 01 “课程比” 02 "课程成绩高的学生姓名及01和02课程分数

连续三道题都是有关联的，前两道题给这道题做铺垫，所以当我们拿到一个向这种比较复杂的需求时，可以进行拆分需求，先拆分成1、在做2，最后达到完整的需求

select name
      ,score_01
      ,score_02
  from
    (
        select *
          from student
    ) a 
join      
    (
      select a.student_id
            ,a.score as score_01
            ,b.score as score_02
        from 
          (
            select * 
              from score 
              where course_id = '01'
          ) a  
      join
          (
            select * 
              from score 
              where course_id = '02'
          ) b 
        on a.student_id = b.student_id
      where a.score > b.score
    ) b 
  on a.student_id=b.student_id

查询选择了 "01"课程但没选择 "02"课程的学生姓名

首先我们先找出选择了 "01"课程但没选择 "02"课程的学生编号，再拿着学生编号关联学生表找到姓名即可

-- 找出选择了 "01"课程但没选择 "02"课程的学生编号
select a.student_id
  from 
    (
      select * 
        from score 
        where course_id = '01'
    ) a  
left outer join
    (
      select * 
        from score 
        where course_id = '02'
    ) b 
  on a.student_id = b.student_id
where b.student_id is null

-- 拿着学生编号关联学生表找到姓名
select name
  from 
    (
        select a.student_id as student_id
          from 
            (
              select * 
                from score 
                where course_id = '01'
            ) a  
        left outer join
            (
              select * 
                from score 
                where course_id = '02'
            ) b 
          on a.student_id = b.student_id
          where b.student_id is null
    ) a 
join 
    (
        select *
          from student
    ) b 
  on a.student_id = b.student_id

查询学过 ‘张三’ 老师课程的所有同学姓名、生日、性别

解题思路
- 找出 ‘张三’ 老师的教师编号
- 找出 ‘张三’ 老师所有教授的课程编号
- 找出这些课程对应的学生编号
- 根据学生编号找到对应的学生信息
根据上述四个步骤，依次书写 SQL

select name
      ,birthday
      ,sex
  from 
    (
        select student_id
          from 
            (
                select course_id
                  from 
                    (
                        select teacher_id
                          from teacher
                        where name='张三'
                    ) a
                join
                    (
                        select course_id
                              ,teacher_id    
                          from course  
                    ) b
                  on a.teacher_id = b.teacher_id
            ) a 
        join 
            (
                select student_id
                      ,course_id 
                  from score            
            ) b 
          on a.course_id = b.course_id
        group by student_id
    ) a 
join 
    (
        select * 
          from student
    ) b 
  on a.student_id = b.student_id

查询同时学习 “01”、"02"课程学生的学生编号以及"01"和"02"课程成绩

select a.student_id as student_id
      ,a.score as score_01
      ,b.score as score_02
  from 
    (
        select * 
          from score 
        where course_id = '01'
    ) a  
join
    (
      select * 
        from score 
        where course_id = '02'
    ) b 
  on a.student_id = b.student_id;

查询学习 "01"课程但没有学习 "02"课程学生的学生编号以及"01"课程成绩

select a.student_id as student_id
      ,a.score as score_01
  from 
    (
        select * 
          from score 
        where course_id = '01'
    ) a  
left outer join
    (
      select * 
        from score 
        where course_id = '02'
    ) b 
  on a.student_id = b.student_id
where b.student_id is null

查询学习 "02"课程但没有学习 "01"课程学生的学生编号以及"02"课程成绩

select b.student_id as student_id
      ,b.score as score_02
  from 
    (
        select * 
          from score 
        where course_id = '01'
    ) a  
right outer join
    (
      select * 
        from score 
        where course_id = '02'
    ) b 
  on a.student_id = b.student_id
where a.student_id is null

查询选课的同学的学生姓名、选课总数、所有课程的成绩总和、课程平均分

select a.name as name
      ,course_num
      ,score_sum
      ,score_avg
  from
    (
        select student_id
              ,name
          from student
    ) a
join
    (
        select student_id
              ,count(course_id) as course_num
              ,sum(score) as score_sum  
              ,avg(score) as score_avg
           from score
           group by student_id
    ) b 
  on a.student_id=b.student_id
order by course_num desc 
        ,score_sum desc

查询考试平均分大于 60 分同学的学生姓名、选课总数、所有课程的成绩总和、课程平均分，按照科目数排降序、科目数相同按照分数排降序

select a.name as name
      ,course_num
      ,score_sum
      ,score_avg
  from
    (
        select student_id
              ,name
          from student
    ) a
join
    (
        select student_id
              ,count(course_id) as course_num
              ,sum(score) as score_sum  
              ,avg(score) as score_avg
           from score
        group by student_id
    ) b 
  on a.student_id=b.student_id
where score_avg > 60
order by course_num desc 
        ,score_sum desc

检索 “01” 课程分数小于 60 分的学生信息及"01" 课程分数，按照分数排降序

select a.student_id as student_id
      ,name
      ,birthday
      ,sex
      ,score
  from 
    (
        select *
          from student
    ) a 
join 
    (
        select student_id
              ,score
          from score
        where course_id='01'
            and score < 60
    ) b 
  on a.student_id = b.student_id
order by score desc

查询两门及其以上不及格课程的同学的姓名及其平均成绩

select name
      ,score_avg
  from 
    (
        select * 
          from student
    ) a
join
    (
        select student_id
              ,score_avg
          from 
            (
                select student_id
                      ,avg(score) as score_avg
                      ,count(case when score < 60 then 1 end) as fail_count
                  from score
                group by student_id
            ) a 
        where fail_count > 1 
    ) b
  on a.student_id = b.student_id
;

查询没有学全所有课程的同学的编号（包含无选课的同学）

-在成绩表中找出不满足课程总数的学生id
-找出学生表中无成绩的学生id
-二者之和

select b.student_id
    (
        select count(*) as course_num
          from score
    ) a
join
    (
        select student_id
              ,count(*) as course_num 
          from score 
    ) b
  on a.course_num = b.course_num
union 
    (
        select a.student_id
          from
            (
                select *
                  from student
            ) a 
        left join
            (
                select *
                  from score
            ) b   
          on a.student_id = b.student_id
        where course_id is null
    ) b

查询 1990 年出生的学生名单

select *
  from student
where substr(birthday,1,4)='1990'

查询名字中含有「风」字的学生信息

select *
  from student
where name like '%风%'

查询「李」姓老师的数量

select count(*)
  from teacher
where name like '李%'

查询至少有两门课与学号为" 01 "的学生所学相同的学生id

select a.student_id
  from
    (
        select b.student_id as student_id
              ,b.course_id as course_id
          from
            (
                select course_id
                  from score
                where student_id='01'
            ) a
        join
            (
                select student_id
                      ,course_id 
                  from score
                where student_id <> '01'
            ) b
          on a.course_id = b.course_id
    ) a
group by a.student_id
having count(course_id)>1;

查询选修了全部课程的学生id的姓名和姓名

select b.student_id as student_id
    ,b.name as name
    ,a.course_num as course_num
from
  (
      select student_id
            ,a.course_num as course_num   
        from
          (
              select student_id
                    ,count(course_id) as course_num
                from course
          ) a 
      join
          (
              select student_id
                    ,count(*) as course_num
                from score
              group by student_id
          ) b 
        on a.course_num = b.course_num
  ) a 
join
  (
      select * 
        from student
  ) b 
on  a.student_id = b.student_id

查询和" 01 "号的同学学习的课程完全相同的其他同学的学生id

先选出‘01’同学所学的课程id
然后选出学过这些课程id的学生id及其选过这些课程数的课程总数
匹配“01”同学学的课程总数（存在某同学学的课程超过“01”同学学的课程）
匹配成绩表中学生的课程总数

select  student_id
  from
    (
        select student_id
              ,count(course_id) as course_num
          from
            (                
                select student_id
                      ,course_id
                  from score 
                where student_id <> '01'
                  and course_id in ( 
                                       select course_id 
                                         from score 
                                       where student_id = '01' 
                                   )
            ) a
        group by student_id
    ) a
join
    (
        select count(course_id) as course_num
          from score
        where student_id = '01'             
    ) b
  on a.course_num = b.course_num
join
    (
        select student_id
              ,count(*) as num_course
          from score
        group by student_id
    ) c
  on a.course_num = c.course_num

统计各科成绩各分数段人数：课程编号，课程名称，[100-85]，[85-70]，[70-60]，[60-0] 及所占百分比

-根据课程号在成绩表中查询分数段的个数除以该学习该课程的总数

  select a.course_id as course_id
        ,b.name as name
        ,round(sum(case when score > 85 then 1 else 0 end)/count(*),2) as '100-85'
        ,round(sum(case when score between 70 and 84 then 1 else 0 end)/count(*),2) as '85-70'
        ,round(sum(case when score between 60 and  69 then 1 else 0 end)/count(*),2) as '70-60'
        ,round(sum(case when score < 60 then 1 else 0 end)/count(*),2) as '60-0'
    from
      (
          select course_id
                ,score
            from score
      ) a
  join
      (
          select course_id
                ,name
            from course
      ) b
    on a.course_id = b.course_id
  group by a.course_id
          ,b.name

查询学生的总成绩，并进行排名

select student_id
      ,sum(score) score_sum
      ,row_number() over(order by sum(score) desc) as rank
  from score 
group by student_id

查询各科成绩前三名的记录

select *
  from(
          select *
                ,row_number() over(partition by course_id order by score desc) as rank
            from score 
      ) a
where rank <= 3

查询出只选修两门课程的学生学号和姓名

select a.student_id as student_id
      ,a.name as name
  from
    (
        select student_id
              ,name 
          from student 
    ) a
join 
    (
        select student_id 
          from score 
        group by student_id 
        having count(course_id) = 2
    ) b
    on a.student_id = b.student_id;

查询每门课程的平均成绩，结果按平均成绩降序排列，平均成绩相同时，按课程编号升序排列

select course_id
      ,avg(score) as score_avg
  from score
order by score_avg desc
        ,course_id asc

查询平均成绩大于等于 85 的所有学生的学号、姓名和平均成绩

select a.student_id as student_id
      ,a.name as name
      ,b.score_avg
  from
    (     
        select student_id
              ,name
          from student
    ) a
join
    (
        select student_id
              ,avg(score) as score_avg
          from score
        group by student_id
        having avg(score) >= 85
    ) b
  on a.student_id = b.student_id

查询课程名称为「数学」，且分数低于 60 的学生姓名和分数

select name 
      ,score
  from
    (
        select student_id
              ,score
          from 
            (
                select course_id
                  from course
                where name = '数学'
            ) a
        join 
            (
                select student_id
                      ,course_id
                      ,score
                  from score
                where score < 60
            ) b
          on a.course_id = b.course_id
    ) a
join
    (
        select student_id
              ,name
          from student
    ) b          
  on a.student_id = b.student_id

查询课程编号为 01 且课程成绩在 80 分及以上的学生的学号和姓名

select a.student_id as student_id
    ,name 
  from
    (       
        select student_id
          from score
        where course_id = '01'
          and score >= 80          
    ) a
join
    (
        select student_id
              ,name
          from student
    ) b          
  on a.student_id = b.student_id

查询选修「张三」老师所授课程的学生中，成绩最高的学生编号、课程编号及其成绩

select student_id
      ,a.course_id as course_id
      ,score
  from
    (
        select course_id
          from 
            (
                select course_id
                      ,teacher_id
                  from course
              ) a
        join
            (
                select teacher_id
                  from teacher
                where name = '张三'
            ) b
          on a.teacher_id = b.teacher_id
    ) a
join 
    (
        select student_id
              ,course_id
              ,score
          from score
    ) b
  on a.course_id = b.course_id
order by score desc
limit 1
;

统计每门课程的学生选修人数（超过 5 人的课程才统计）。

select a.course_id as course_id
      ,b.name
      ,a.num as num
  from
    (
        select course_id
              ,count(*) as num
          from score
        group by course_id
        having count(*) >= 5
    ) a
join
    (
        select course_id
              ,name
          from course
    ) b
  on a.course_id =b.course_id

查询该学生有不同课程但成绩相同的学生编号、课程编号、学生成绩

select a.student_id as student_id
      ,a.course_id as course_id
      ,a.score as score
  from 
    (
        select student_id
              ,course_id
              ,score
          from score
    ) a
join 
    (
        select student_id
              ,course_id
              ,score
          from score
    ) b
  on a.student_id = b.student_id
  and a.score = b.score
  and a.course_id <> b.course_id
group by student_id
        ,course_id
        ,score

引用：

50道SQL练习题及答案与详细分析

你可能感兴趣的:(Hive)

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
hive血缘关系之输入表与目标表的解析 zxfBdd hive 大数据治理大数据
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
初级练习[3]:Hive SQL子查询应用大数据深度洞察 Hive hive sql hadoop 数据仓库大数据数据库
目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linux linux 运维服务器后端 bash shell
在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
Anaconda版本和Python版本对应关系纬领网络 python anaconda3
官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
R语言包AMORE安装报错问题以及RStudio与Rtools环境配置卡卡_R-Python R语言数据分析与可视化 r语言开发语言
在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
中级练习[3]：Hive SQL用户行为与商品销售数据分析大数据深度洞察 Hive hive 数据仓库大数据 sql
目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
编程常用命令总结 Yellow0523 Linux BigData 大数据
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
博客园怎么了？ YYH1992
新年好，给大家拜个早年！今年来到安徽过年，无聊中，不知不觉中又来到博客园了（忠实粉丝哦），却发现一件奇怪的事情，请看截图难道博客园被挂马了？抑或其它问题？如果真有问题，还请dudu抓紧时间修正，免得影响我们园子的声誉！我要下线了，出去买回家的车票了，只能年后回家了。。。转载于:https://www.cnblogs.com/HollisYao/archive/2008/02/06/1065351.
linux下文件的复制、移动与删除搬砖中年人
一、文件复制命令cp命令格式：cp[-adfilprsu]源文件(source)目标文件(destination)cp[option]source1source2source3...directory参数说明：-a:是指archive的意思，也说是指复制所有的目录-d:若源文件为连接文件(linkfile)，则复制连接文件属性而非文件本身-f:强制(force)，若有重复或其它疑问时，不会询问用户
2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册 vvvae1234 apache
ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
SAP HANA makaitai BW sap 数据库工具报表 layer 服务器
原文地址：http://LiuAlex.com/archives/1776也是刚刚开始学习HANA的一些知识，一边看书一遍做笔记，说到底无非是用自己的语言来理解标准帮组文档所讲解的意思，肯定有理解失误的地方，毕竟没有参加过标准培训，即使有培训，从老师那边来的知识也不可能是完整的传授过来，中间多少的知识遗漏是正常的，所以多看看HELP的文档，应该可以原汁原味的理解作者的意思。这张图片是从SAPHAN
Hive SQL查询汇总分析大数据深度洞察 Hive hive sql hadoop 数据仓库数据库大数据
目录SQL查询汇总分析成绩查询查询编号为“02”的课程的总成绩查询参加考试的学生个数分组查询查询各科成绩最高和最低的分查询每门课程有多少学生参加了考试（有考试成绩）查询男生、女生人数分组结果的条件查询平均成绩大于60分的学生的学号和平均成绩查询至少选修四门课程的学生学号查询同姓（假设每个学生姓名的第一个字为姓）的学生名单并统计同姓人数大于2的姓查询每门课程的平均成绩，结果按平均成绩升序排序，平均成
RMAN-08137 rman delete archivelog force jnrjian 数据库 oracle
deleteforcearchiveloguntiltime'trunc(sysdate-4)'backedup1timestodevicetypedisk;SymptomsDatabaseAClonedtoDatabaseBonCloneserver.GoldenGateisConfiguredonSourcedatbaseA.DatabaseBwhichisclonedfromSourcedo
hive表格统计信息不准确 weixin_41956627 hive hive hadoop 数据仓库
问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs对应目录下查看，也能看到有数据文件解决执行如下sqlANALYZETABLEdb.table1PARTITION(dt='20240908')COMPU
Conda创建环境失败：000和404错误柚柚柚柚柚 conda
一、首先下载Anaconda1.打开网址Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror，滑到最底部，下载Anaconda3-5.3.1-Linux-x86_64.sh。2.使用winscp拖动本地的Anaconda3-5.3.1-Linux-x86_64.sh到服务器的个人工作目录下。二、安装Anaconda软件，创建虚
C#中两个问号的含义 weixin_30363981 测试
stringstrParam=Request.Params["param"]??"";取??左边的值,如果??左边的值为null则取右边的值转载于:https://www.cnblogs.com/shadowtale/archive/2012/10/19/2731152.html
如何下载各个版本的tomcat-比如tomcat9 耳边轻语999 tomcat java
1，找到tomcat官网https://tomcat.apache.org/ApacheTomcat®-Welcome!找到tomcat9，或者archives1.1，找到对应版本1.2，找到小版本1.3，找到bin2，Indexof/dist/tomcat/tomcat-9/v9.0.39/bin2.1，下载对应的解压版本或者安装版本
Percona-toolkit工具详解小一_d28d
1.pt工具安装[root@master~]#yuminstall-ypercona-toolkit-3.1.0-2.el7.x86_64.rpm2.常用工具使用介绍2.1pt-archiver归档表#重要参数--limit100每次取100行数据用pt-archive处理--txn-size100设置100行为一个事务提交一次，--where'id>/root/db/checksum.logpt
Ubuntu更换apt-get的下载源愤愤的有痣青年
将以下内容替换/etc/apt/sources.list中的内容deb-srchttp://archive.ubuntu.com/ubuntuxenialmainrestricted#Addedbysoftware-propertiesdebhttp://mirrors.aliyun.com/ubuntu/xenialmainrestricteddeb-srchttp://mirrors.aliy
apt 下载指定架构的包及离线安装的方法错误重复学习记录 linux
#设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt/postgresql-client-common#仅下载安装包sudoapt-getinstall--download-onlysudomv/var/cache/apt/archives/*/
游戏运营环节的一些关键转化率 turtle081025 数据分析游戏网络游戏运营
转载于http://www.gamedatas.com/archives/134转化率这个指标在各行各业的数据分析中运用的非常之广泛，例如：电商中就会存在，点击到订单生成的一系列转化率，传统的销售行业也会在做广告的时候考虑该广告能够转化多少订单，而在游戏行业，转化率同样是一个不容忽视的指标。一般来说，游戏运营的过程中主要会关注到这些转化率：1.下载-安装（激活）转化率；2.安装（激活）-注册转化率
Python API操作RocketMQ 京城小筑 #Python编程 python
背景：开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~开发环境:本地调试系统MacPython3.7.5rocketmq0.4.4(Python模块)rocketmq-client-python2.0.0(Python模块)服务器
hive搭建 -----内嵌模式和本地模式 lzhlizihang hive hadoop
文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
xml解析小猪猪08 xml
1、DOM解析的步奏准备工作： 1.创建DocumentBuilderFactory的对象 2.创建DocumentBuilder对象 3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件 4.通过Document的getElem
每个开发人员都需要了解的一个SQL技巧 brotherlamp linux linux视频 linux教程 linux自学 linux资料
对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式： CREATE TABLE books ( id &
Quartz——CronTrigger触发器 eksliang quartz CronTrigger
转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述 CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。二.Cron表达式介绍 1）Cron表达式规则表 Quartz
Informatica基础 18289753290 Informatica Monitor manager workflow Designer
1. 1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。 2）Workflow Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度 3）Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告 4）Repository Manager：
linux下为程序创建启动和关闭的的sh文件，scrapyd为例酷的飞上天空 scrapy
对于一些未提供service管理的程序每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件下面以scrapy启动server为例，文件名为run.sh： #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口
人--自私与无私永夜-极光
今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么? 从客观的角度来看,人有自私的行为,也有无私的
Ubuntu安装NS-3 环境脚本随便小屋 ubuntu
将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令： sudo ./ns3environment.sh >>result 这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示 com
创业的简单感受 aijuans 创业的简单感受
2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
如何经营自己的独立人脉 aoyouzi 如何经营自己的独立人脉
独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。以一个普通的银行柜员
JSP基础百合不是茶 jsp 注释隐式对象
1,JSP语句的声明 <%! 声明 %> 　　声明：这个就是提供java代码声明变量、方法等的场所。表达式 <%= 表达式 %> 　　这个相当于赋值，可以在页面上显示表达式的结果，程序代码段/小型指令　<% 程序代码片段 %> 2,JSP的注释
web.xml之session-config、mime-mapping bijian1013 java web.xml servlet session-config mime-mapping
session-config 1.定义： <session-config> <session-timeout>20</session-timeout> </session-config> 2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。 mime-mapping 1.定义： <mime-m
互联网开放平台（1） Bill_chen 互联网 qq 新浪微博百度腾讯
现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下： 1.淘宝开放平台(TOP) 网址：http://open.taobao.com/ 依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。目前TOP的三条主线： TOP访问网站：open.taobao.com ISV后台：my.open.ta
【MongoDB学习笔记九】MongoDB索引 bit1129 mongodb
索引可以在任意列上建立索引索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb 使用索引可以加快查询,但同时会降低修改,插入等的性能内嵌文档照样可以建立使用索引测试数据 var p1 = { "name":"Jack", "age&q
JDBC常用API之外的总结白糖_ jdbc
做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。 ResultSetMetaData获取ResultSet对象的元数据信息
apache VelocityEngine使用记录 bozch VelocityEngine
VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。使用方法如下： VelocityEngine engine = new VelocityEngine();// 定义模板引擎 Properties properties = new Properties();// 模板引擎属
编程之美-快速找出故障机器 bylijinnan 编程之美
package beautyOfCoding; import java.util.Arrays; public class TheLostID { /*编程之美假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。 1.假设在某个时间得到一个数据文件ID的列表，是
关于Java中redirect与forward的区别 chenbowen00 java servlet
在Servlet中两种实现： forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response); redirect方式：response.sendRedirect(“/somePage.jsp”); forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
[信号与系统]人体最关键的两个信号节点 comsci 系统
如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做百汇穴, 另外一个节点在腰部,中医的名称叫做命门如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
oracle 存储过程执行权限 daizj oracle 存储过程权限执行者调用者
在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。 CREATE OR REPLACE PROCEDURE TestProc IS fla
为mysql数据库建立索引 dengkane mysql 性能索引
前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
学习C语言常见误区如何看懂一个程序如何掌握一个程序以及几个小题目示例 dcj3sjt126com c 算法
如果看懂一个程序，分三步 1、流程 2、每个语句的功能 3、试数如何学习一些小算法的程序尝试自己去编程解决它，大部分人都自己无法解决如果解决不了就看答案关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义照着答案去敲调试错误
centos6.3安装php5.4报错 dcj3sjt126com centos6
报错内容如下: Resolving Dependencies --> Running transaction check ---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed --> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
JSONP请求 flyer0126 jsonp
使用jsonp不能发起POST请求。 It is not possible to make a JSONP POST request. JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
Spring Security（03）——核心类简介 234390216 Authentication
核心类简介目录 1.1 Authentication 1.2 SecurityContextHolder 1.3 AuthenticationManager和AuthenticationProvider 1.3.1 &nb
在CentOS上部署JAVA服务 java--hhf java jdk centos Java服务
本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行第一步：卸载旧Linux自带的JDK ①查看本机JDK版本 java -version 结果如下 java version "1.6.0"
oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date] ldzyz007 oracle mysql SQL Server
oracle &n
记Protocol Oriented Programming in Swift of WWDC 2015 ningandjin protocol WWDC 2015 Swift2.0
其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭，把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS rensanning keepalived
（一）Keepalived （1）安装 # cd /usr/local/src # wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz # tar zxvf keepalived-1.2.15.tar.gz # cd keepalived-1.2.15 # ./configure # make &a
ORACLE数据库SCN和时间的互相转换 tomcat_oracle oracle sql
SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换；　　用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了；　　操作方法：　　1、通过dbms_f
Spring MVC 方法注解拦截器 xp9802 spring mvc
应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。 python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理先看一个实例,使用@access_required拦截： ?