数大招疯

spark sql 功能测试及总结 (1.4.1版本)

spark sql在项目中使用越来越多，spark sql都支持哪些功能？官网没有明确说明，只能在class SqlParserd代码中看到一些Keyword，所以准备测试下spark对常用sql的支持情况。

一、测试总结

1、结果默认正向排序
2、distinct 去重：大小写敏感，可作用于其后多个字段
3、limit 限制返回结果条数：前n条
4、排序 order by：作用于其后多列(可分别指定排序方式)；排序字段可为非选择列；默认正续；不支持列位置排序(不抛异常，按第一列正续)
5、支持的where子句操作符：=,<>,!=,<,<=,>,>=,between,is null,is not null
6、组合where子句：and、or、in、not，and 优先级高于 or；not 可修饰in；为表达方便，or与in建议优先选择in
7、模糊查找like通配符：%，- ，通配符对数据类型也起作用
8、支持表和字段别名
9、不支持字段拼接
10、支持算术计算：+,-,*,/,%
11、字符串函数：lower、upper，没去空格函数
12、数值函数 ：abs、sqrt，没三角函数
13、聚集函数：avg、count、sum、max、min，avg忽略为空的行，作用于字符串返回null；count 不忽略空行；max、min也可以作用于字符串列，分别返回第一行最后一行；avg，max，min 不支持去重后求值
14、支持分组 group by及分组过滤having
15、支持表内联结、左外联结、右外联结、全联结
16、组合union：union结果去重，union all不去重(功能同unionAll函数)
17、不支持子查询(2.0版本支持：https://issues.apache.org/jira/browse/SPARK-4226)

二、测试数据

表1：Products

+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
|   BR01|  BRS01|  8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01| 12 inch teddy bear|      8.99|  12 inch teddy bear|
|   BR03|  BRS01| 18 inch teddy bear|     11.99|  18 inch teddy bear|
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
|  RYL01|  FNG01|          King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|         Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|         Queen doll|       0.0|12 inch queen dol...|
+-------+-------+-------------------+----------+--------------------+

表2：Vendors

+-------+---------------+---------------+----------+----------+--------+------------+
|vend_id|      vend_name|   vend_address| vend_city|vend_state|vend_zip|vend_country|
+-------+---------------+---------------+----------+----------+--------+------------+
|  BRS01|     Bears R Us|123 Main Street| Bear Town|        MI|   44444|         USA|
|  BRE02|  Bear Emporium|500 Park Street|   Anytown|        OH|   44333|         USA|
|  DLL01|Doll House Inc.|555 High Street|Dollsville|        CA|   99999|         USA|
|  FRB01|   Furball Inc.|1000 5th Avenue|  New York|        NY|   11111|         USA|
|  FNG01|  Fun and Games| 42 Galaxy Road|    London|      NULL| N16 6PS|     England|
|  JTS01| Jouets et ours|1 Rue Amusement|     Paris|      NULL|   45678|      France|
+-------+---------------+---------------+----------+----------+--------+------------+

三、测试sql及结果

1、数据检索

1）检索列

ssc.sql("select prod_name from Products").show
+-------------------+
|          prod_name|
+-------------------+
|  8 inch teddy bear|
| 12 inch teddy bear|
| 18 inch teddy bear|
|  Fish bean bag toy|
|  Bird bean bag toy|
|Rabbit bean bag toy|
|        Raggedy Ann|
|          King doll|
|         Queen doll|
|         Queen doll|
+-------------------+
ssc.sql("select prod_id, prod_name,prod_price from Products").show
+-------+-------------------+----------+
|prod_id|          prod_name|prod_price|
+-------+-------------------+----------+
|   BR01|  8 inch teddy bear|      5.99|
|   BR02| 12 inch teddy bear|      8.99|
|   BR03| 18 inch teddy bear|     11.99|
| BNBG01|  Fish bean bag toy|      3.49|
| BNBG02|  Bird bean bag toy|      3.49|
| BNBG03|Rabbit bean bag toy|      3.49|
| RGAN01|        Raggedy Ann|      4.99|
|  RYL01|          King doll|      9.49|
|  RYL02|         Queen doll|      9.49|
|  ryl02|         Queen doll|       0.0|
+-------+-------------------+----------+
select * from Products
+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
|   BR01|  BRS01|  8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01| 12 inch teddy bear|      8.99|  12 inch teddy bear|
|   BR03|  BRS01| 18 inch teddy bear|     11.99|  18 inch teddy bear|
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
|  RYL01|  FNG01|          King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|         Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|         Queen doll|       0.0|12 inch queen dol...|
+-------+-------+-------------------+----------+--------------------+

说明：返回结果默认按第一列正向排序

2）检索不同的值 distinct

ssc.sql("select distinct vend_id from Products").show
+-------+
|vend_id|
+-------+
|  DLL01|
|  FNG01|
|  BRS01|
|  fng01|
+-------+

说明：大小写敏感；可作用于其后多列

3）限制结果条数 limit

ssc.sql("select prod_name from Products limit 5")
+------------------+
|         prod_name|
+------------------+
| 8 inch teddy bear|
|12 inch teddy bear|
|18 inch teddy bear|
| Fish bean bag toy|
| Bird bean bag toy|
+------------------+

说明：取前n条

4）数据排序 order by

ssc.sql("select prod_id, prod_name from Products order by prod_id desc,prod_price").show
+-------+-------------------+
|prod_id|          prod_name|
+-------+-------------------+
|  ryl02|         Queen doll|
|  RYL02|         Queen doll|
|  RYL01|          King doll|
| RGAN01|        Raggedy Ann|
|   BR03| 18 inch teddy bear|
|   BR02| 12 inch teddy bear|
|   BR01|  8 inch teddy bear|
| BNBG03|Rabbit bean bag toy|
| BNBG02|  Bird bean bag toy|
| BNBG01|  Fish bean bag toy|
+-------+-------------------+
ssc.sql("select prod_id, prod_name from Products order by 0 desc,22,prod_price").show
+-------+-------------------+
|prod_id|          prod_name|
+-------+-------------------+
|   BR01|  8 inch teddy bear|
|   BR02| 12 inch teddy bear|
|   BR03| 18 inch teddy bear|
| BNBG01|  Fish bean bag toy|
| BNBG02|  Bird bean bag toy|
| BNBG03|Rabbit bean bag toy|
| RGAN01|        Raggedy Ann|
|  RYL01|          King doll|
|  RYL02|         Queen doll|
|  ryl02|         Queen doll|
+-------+-------------------+

说明：order by要作为select的最后一个子句；作用于其后多列(可分别指定排序方式)；排序字段可为非选择列；默认正续；不支持列位置排序(不抛异常，按第一列正续)

二、数据过滤

1）where 子句操作符：=,<>,!=,<,<=,>,>=,between,is null,is not null；

select * from Products where prod_price = 3.49
+-------+-------+-------------------+----------+-------------------+
|prod_id|vend_id|          prod_name|prod_price|          prod_desc|
+-------+-------+-------------------+----------+-------------------+
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|  Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|  Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49|Rabbit bean bag toy|
+-------+-------+-------------------+----------+-------------------+
ssc.sql("select * from Products where prod_price != 3.49").show
+-------+-------+------------------+----------+--------------------+
|prod_id|vend_id|         prod_name|prod_price|           prod_desc|
+-------+-------+------------------+----------+--------------------+
|   BR01|  BRS01| 8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01|12 inch teddy bear|      8.99|  12 inch teddy bear|
|   BR03|  BRS01|18 inch teddy bear|     11.99|  18 inch teddy bear|
| RGAN01|  DLL01|       Raggedy Ann|      4.99|18 inch Raggedy A...|
|  RYL01|  FNG01|         King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|        Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|        Queen doll|       0.0|12 inch queen dol...|
+-------+-------+------------------+----------+--------------------+
ssc.sql("select * from Products where prod_price <= 5").show
+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
|  ryl02|  fng01|         Queen doll|       0.0|12 inch queen dol...|
+-------+-------+-------------------+----------+--------------------+
ssc.sql("select * from Products where vend_id != 'DLL01'").show
+-------+-------+------------------+----------+--------------------+
|prod_id|vend_id|         prod_name|prod_price|           prod_desc|
+-------+-------+------------------+----------+--------------------+
|   BR01|  BRS01| 8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01|12 inch teddy bear|      8.99|  12 inch teddy bear|
|   BR03|  BRS01|18 inch teddy bear|     11.99|  18 inch teddy bear|
|  RYL01|  FNG01|         King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|        Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|        Queen doll|       0.0|12 inch queen dol...|
+-------+-------+------------------+----------+--------------------+
ssc.sql("select * from Products where prod_price between 5 and 10").show
+-------+-------+------------------+----------+--------------------+
|prod_id|vend_id|         prod_name|prod_price|           prod_desc|
+-------+-------+------------------+----------+--------------------+
|   BR01|  BRS01| 8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01|12 inch teddy bear|      8.99|  12 inch teddy bear|
|  RYL01|  FNG01|         King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|        Queen doll|      9.49|12 inch queen dol...|
+-------+-------+------------------+----------+--------------------+
ssc.sql("select * from Products where prod_price is null ").show
+-------+-------+---------+----------+---------+
|prod_id|vend_id|prod_name|prod_price|prod_desc|
+-------+-------+---------+----------+---------+
+-------+-------+---------+----------+---------+
ssc.sql("select * from Products where prod_price is not null ").show
+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
|   BR01|  BRS01|  8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01| 12 inch teddy bear|      8.99|  12 inch teddy bear|
|   BR03|  BRS01| 18 inch teddy bear|     11.99|  18 inch teddy bear|
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
|  RYL01|  FNG01|          King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|         Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|         Queen doll|       0.0|12 inch queen dol...|
+-------+-------+-------------------+----------+--------------------+

2）组合where子句

ssc.sql("select * from Products where vend_id = 'DLL01' or vend_id = 'BRS01'").show
+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
|   BR01|  BRS01|  8 inch teddy bear|      5.99|   8 inch teddy bear|
|   BR02|  BRS01| 12 inch teddy bear|      8.99|  12 inch teddy bear|
|   BR03|  BRS01| 18 inch teddy bear|     11.99|  18 inch teddy bear|
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
+-------+-------+-------------------+----------+--------------------+
ssc.sql("select * from Products where vend_id = 'DLL01' or vend_id = 'BRS01' and prod_price > 10").show
+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
|   BR03|  BRS01| 18 inch teddy bear|     11.99|  18 inch teddy bear|
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
+-------+-------+-------------------+----------+--------------------+
ssc.sql("select * from Products where (vend_id = 'DLL01' or vend_id = 'BRS01') and prod_price > 10").show
+-------+-------+------------------+----------+------------------+
|prod_id|vend_id|         prod_name|prod_price|         prod_desc|
+-------+-------+------------------+----------+------------------+
|   BR03|  BRS01|18 inch teddy bear|     11.99|18 inch teddy bear|
+-------+-------+------------------+----------+------------------+
ssc.sql("select * from Products where vend_id in ('DLL01','BRS01') and prod_price > 10").show
+-------+-------+------------------+----------+------------------+
|prod_id|vend_id|         prod_name|prod_price|         prod_desc|
+-------+-------+------------------+----------+------------------+
|   BR03|  BRS01|18 inch teddy bear|     11.99|18 inch teddy bear|
+-------+-------+------------------+----------+------------------+
ssc.sql("select * from Products where vend_id not in ('DLL01','BRS01')").show
+-------+-------+----------+----------+--------------------+
|prod_id|vend_id| prod_name|prod_price|           prod_desc|
+-------+-------+----------+----------+--------------------+
|  RYL01|  FNG01| King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|Queen doll|       0.0|12 inch queen dol...|
+-------+-------+----------+----------+--------------------+

总结：and 优先级高于 or；not 可修饰in；为表达方便，or与in建议优先选择in

3）通配符

ssc.sql("select * from Products where prod_name like '%doll%'").show
+-------+-------+----------+----------+--------------------+
|prod_id|vend_id| prod_name|prod_price|           prod_desc|
+-------+-------+----------+----------+--------------------+
|  RYL01|  FNG01| King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|Queen doll|      9.49|12 inch queen dol...|
|  ryl02|  fng01|Queen doll|       0.0|12 inch queen dol...|
+-------+-------+----------+----------+--------------------+
ssc.sql("select * from Products where prod_price like '%4%'").show
+-------+-------+-------------------+----------+--------------------+
|prod_id|vend_id|          prod_name|prod_price|           prod_desc|
+-------+-------+-------------------+----------+--------------------+
| BNBG01|  DLL01|  Fish bean bag toy|      3.49|   Fish bean bag toy|
| BNBG02|  DLL01|  Bird bean bag toy|      3.49|   Bird bean bag toy|
| BNBG03|  DLL01|Rabbit bean bag toy|      3.49| Rabbit bean bag toy|
| RGAN01|  DLL01|        Raggedy Ann|      4.99|18 inch Raggedy A...|
|  RYL01|  FNG01|          King doll|      9.49|12 inch king doll...|
|  RYL02|  FNG01|         Queen doll|      9.49|12 inch queen dol...|
+-------+-------+-------------------+----------+--------------------+
ssc.sql("select * from Products where prod_name like '__ inch teddy bear'"
+-------+-------+------------------+----------+------------------+
|prod_id|vend_id|         prod_name|prod_price|         prod_desc|
+-------+-------+------------------+----------+------------------+
|   BR02|  BRS01|12 inch teddy bear|      8.99|12 inch teddy bear|
|   BR03|  BRS01|18 inch teddy bear|     11.99|18 inch teddy bear|
+-------+-------+------------------+----------+------------------+

总结：通配符竟然对数值类型有用；不支持[]

4）不支持字段拼接

ssc.sql("select prod_name  + '-' + prod_id from Products").show
+----+
|  c0|
+----+
|null|
|null|
|null|
|null|
|null|
|null|
|null|
|null|
|null|
|null|
+----+

5）字段算数运算 (+,-,*,/,%)

ssc.sql("select prod_name ,prod_price,prod_price*2 from Products").show
+-------------------+----------+-----+
|          prod_name|prod_price|   c2|
+-------------------+----------+-----+
|  8 inch teddy bear|      5.99|11.98|
| 12 inch teddy bear|      8.99|17.98|
| 18 inch teddy bear|     11.99|23.98|
|  Fish bean bag toy|      3.49| 6.98|
|  Bird bean bag toy|      3.49| 6.98|
|Rabbit bean bag toy|      3.49| 6.98|
|        Raggedy Ann|      4.99| 9.98|
|          King doll|      9.49|18.98|
|         Queen doll|      9.49|18.98|
|         Queen doll|       0.0|  0.0|
+-------------------+----------+-----+

6）字符串函数（不支持去空格）

ssc.sql("select lower(prod_name),upper(prod_name),prod_price from Products").show
+-------------------+-------------------+----------+
|                 c0|                 c1|prod_price|
+-------------------+-------------------+----------+
|  8 inch teddy bear|  8 INCH TEDDY BEAR|      5.99|
| 12 inch teddy bear| 12 INCH TEDDY BEAR|      8.99|
| 18 inch teddy bear| 18 INCH TEDDY BEAR|     11.99|
|  fish bean bag toy|  FISH BEAN BAG TOY|      3.49|
|  bird bean bag toy|  BIRD BEAN BAG TOY|      3.49|
|rabbit bean bag toy|RABBIT BEAN BAG TOY|      3.49|
|        raggedy ann|        RAGGEDY ANN|      4.99|
|          king doll|          KING DOLL|      9.49|
|         queen doll|         QUEEN DOLL|      9.49|
|         queen doll|         QUEEN DOLL|       0.0|
+-------------------+-------------------+----------+

7）数值函数

ssc.sql("select prod_price, abs(prod_price), sqrt(prod_price) from Products").show 
+----------+-----+------------------+
|prod_price|   c1|                c2|
+----------+-----+------------------+
|      5.99| 5.99|2.4474476501040834|
|      8.99| 8.99|  2.99833287011299|
|     11.99|11.99| 3.462657938636157|
|      3.49| 3.49|1.8681541692269406|
|      3.49| 3.49|1.8681541692269406|
|      3.49| 3.49|1.8681541692269406|
|      4.99| 4.99| 2.233830790368868|
|      9.49| 9.49|3.0805843601498726|
|      9.49| 9.49|3.0805843601498726|
|       0.0|  0.0|               0.0|
+----------+-----+------------------+

8）聚集函数

ssc.sql("select avg(prod_price) avg_price from Products").show
+-----------------+
|        avg_price|
+-----------------+
|6.141000000000001|
+-----------------+
ssc.sql("select count(prod_price) c from Products").show
+--+
| c|
+--+
|10|
+--+

说明：avg忽略为空的行，作用于字符串返回null；count 不忽略空行

ssc.sql("select max(prod_price) m from Products").show
+-----+
|    m|
+-----+
|11.99|
+-----+

说明：同min也可以作用于字符串列，分别返回第一行最后一行

ssc.sql("select sum(prod_name) s from Products").show
+---+
|  s|
+---+
|0.0|
+---+
ssc.sql("select sum(distinct prod_price),count(distinct prod_price)from Products").show
+------------------+--+
|                c0|c1|
+------------------+--+
|44.940000000000005| 7|
+------------------+--+

说明：avg，max，min 不支持去重后求值

9）分组 group by

ssc.sql("select vend_id ,count(*),max(prod_price),avg(prod_price) from Products group by vend_id").show
+-------+--+-----+-----+
|vend_id|c1|   c2|   c3|
+-------+--+-----+-----+
|  DLL01| 4| 4.99|3.865|
|  FNG01| 2| 9.49| 9.49|
|  BRS01| 3|11.99| 8.99|
|  fng01| 1|  0.0|  0.0|
+-------+--+-----+-----+
ssc.sql("select vend_id ,count(*) c,max(prod_price) m,avg(prod_price)  from Products where prod_price > 0 group by vend_id having m > 5 and c > 2").show
+-------+-+-----+----+
|vend_id|c|    m|  c3|
+-------+-+-----+----+
|  BRS01|3|11.99|8.99|
+-------+-+-----+----+
ssc.sql("select vend_id ,count(*) c,max(prod_price) m,avg(prod_price)  from Products where prod_price > 0 group by vend_id having m > 5 order by c3").show
+-------+-+-----+----+
|vend_id|c|    m|  c3|
+-------+-+-----+----+
|  BRS01|3|11.99|8.99|
|  FNG01|2| 9.49|9.49|
+-------+-+-----+----+

10）过滤分组

ssc.sql("select vend_id from Products group by vend_id having avg(prod_price) > 3").show
+-------+
|vend_id|
+-------+
|  DLL01|
|  FNG01|
|  BRS01|
+-------+

11）表联结

ssc.sql("select vend_name,prod_name,prod_price from Vendors v,Products p where v.vend_id = p.vend_id ").show
ssc.sql("select vend_name,prod_name,prod_price from Vendors v inner join Products p on v.vend_id = p.vend_id ").show
+---------------+-------------------+----------+
|      vend_name|          prod_name|prod_price|
+---------------+-------------------+----------+
|Doll House Inc.|  Fish bean bag toy|      3.49|
|Doll House Inc.|  Bird bean bag toy|      3.49|
|Doll House Inc.|Rabbit bean bag toy|      3.49|
|Doll House Inc.|        Raggedy Ann|      4.99|
|  Fun and Games|          King doll|      9.49|
|  Fun and Games|         Queen doll|      9.49|
|     Bears R Us|  8 inch teddy bear|      5.99|
|     Bears R Us| 12 inch teddy bear|      8.99|
|     Bears R Us| 18 inch teddy bear|     11.99|
+---------------+-------------------+----------+
ssc.sql("select vend_name,prod_name,prod_price from Vendors v left join Products p on v.vend_id = p.vend_id ").show
+---------------+-------------------+----------+
|      vend_name|          prod_name|prod_price|
+---------------+-------------------+----------+
|  Bear Emporium|               null|      null|
|   Furball Inc.|               null|      null|
| Jouets et ours|               null|      null|
|Doll House Inc.|  Fish bean bag toy|      3.49|
|Doll House Inc.|  Bird bean bag toy|      3.49|
|Doll House Inc.|Rabbit bean bag toy|      3.49|
|Doll House Inc.|        Raggedy Ann|      4.99|
|  Fun and Games|          King doll|      9.49|
|  Fun and Games|         Queen doll|      9.49|
|     Bears R Us|  8 inch teddy bear|      5.99|
|     Bears R Us| 12 inch teddy bear|      8.99|
|     Bears R Us| 18 inch teddy bear|     11.99|
+---------------+-------------------+----------+
ssc.sql("select vend_name,prod_name,prod_price from Vendors v right outer join Products p on v.vend_id = p.vend_id ").show
+---------------+-------------------+----------+
|      vend_name|          prod_name|prod_price|
+---------------+-------------------+----------+
|Doll House Inc.|  Fish bean bag toy|      3.49|
|Doll House Inc.|  Bird bean bag toy|      3.49|
|Doll House Inc.|Rabbit bean bag toy|      3.49|
|Doll House Inc.|        Raggedy Ann|      4.99|
|  Fun and Games|          King doll|      9.49|
|  Fun and Games|         Queen doll|      9.49|
|     Bears R Us|  8 inch teddy bear|      5.99|
|     Bears R Us| 12 inch teddy bear|      8.99|
|     Bears R Us| 18 inch teddy bear|     11.99|
|           null|         Queen doll|       0.0|
+---------------+-------------------+----------+
ssc.sql("select vend_name,prod_name,prod_price from Vendors v full outer join Products p on v.vend_id = p.vend_id ").show
+---------------+-------------------+----------+
|      vend_name|          prod_name|prod_price|
+---------------+-------------------+----------+
|   Furball Inc.|               null|      null|
|  Bear Emporium|               null|      null|
| Jouets et ours|               null|      null|
|Doll House Inc.|  Fish bean bag toy|      3.49|
|Doll House Inc.|  Bird bean bag toy|      3.49|
|Doll House Inc.|Rabbit bean bag toy|      3.49|
|Doll House Inc.|        Raggedy Ann|      4.99|
|  Fun and Games|          King doll|      9.49|
|  Fun and Games|         Queen doll|      9.49|
|     Bears R Us|  8 inch teddy bear|      5.99|
|     Bears R Us| 12 inch teddy bear|      8.99|
|     Bears R Us| 18 inch teddy bear|     11.99|
|           null|         Queen doll|       0.0|
+---------------+-------------------+----------+
ssc.sql("select vend_name ,count(prod_id) c  from Products p left outer join  Vendors v on v.vend_id = p.vend_id group by vend_name").show
+---------------+-+
|      vend_name|c|
+---------------+-+
|  Fun and Games|2|
|Doll House Inc.|4|
|     Bears R Us|3|
|           null|1|
+---------------+-+

12）组合查询

ssc.sql("select * from Vendors v where vend_id = 'JTS01' or vend_state= 'MI'").unionAll(ssc.sql("select * from Vendors v where v.vend_state in ('MI','OH')")).show
+-------+--------------+---------------+---------+----------+--------+------------+
|vend_id|     vend_name|   vend_address|vend_city|vend_state|vend_zip|vend_country|
+-------+--------------+---------------+---------+----------+--------+------------+
|  BRS01|    Bears R Us|123 Main Street|Bear Town|        MI|   44444|         USA|
|  JTS01|Jouets et ours|1 Rue Amusement|    Paris|      NULL|   45678|      France|
|  BRS01|    Bears R Us|123 Main Street|Bear Town|        MI|   44444|         USA|
|  BRE02| Bear Emporium|500 Park Street|  Anytown|        OH|   44333|         USA|
+-------+--------------+---------------+---------+----------+--------+------------+
ssc.sql("select * from Vendors v where vend_id = 'JTS01' or vend_state= 'MI' union select * from Vendors v where v.vend_state in ('MI','OH')").show
+-------+--------------+---------------+---------+----------+--------+------------+
|vend_id|     vend_name|   vend_address|vend_city|vend_state|vend_zip|vend_country|
+-------+--------------+---------------+---------+----------+--------+------------+
|  BRS01|    Bears R Us|123 Main Street|Bear Town|        MI|   44444|         USA|
|  JTS01|Jouets et ours|1 Rue Amusement|    Paris|      NULL|   45678|      France|
|  BRE02| Bear Emporium|500 Park Street|  Anytown|        OH|   44333|         USA|
+-------+--------------+---------------+---------+----------+--------+------------+
ssc.sql("select * from Vendors v where vend_id = 'JTS01' or vend_state= 'MI' union all select * from Vendors v where v.vend_state in ('MI','OH')").show
+-------+--------------+---------------+---------+----------+--------+------------+
|vend_id|     vend_name|   vend_address|vend_city|vend_state|vend_zip|vend_country|
+-------+--------------+---------------+---------+----------+--------+------------+
|  BRS01|    Bears R Us|123 Main Street|Bear Town|        MI|   44444|         USA|
|  JTS01|Jouets et ours|1 Rue Amusement|    Paris|      NULL|   45678|      France|
|  BRS01|    Bears R Us|123 Main Street|Bear Town|        MI|   44444|         USA|
|  BRE02| Bear Emporium|500 Park Street|  Anytown|        OH|   44333|         USA|
+-------+--------------+---------------+---------+----------+--------+------------+

说明：union 排重

四、代码

import org.apache.spark.sql.types._
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
 * Created by xuemin.zhang on 16/6/12.
 */
object SqlTestOnParquet {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("test")
    val sc = new SparkContext(conf)
    val ssc = new SQLContext(sc)

    val products_data = Array(
      "BR01,BRS01,8 inch teddy bear,5.99,8 inch teddy bear,comes with cap and jacket",
      "BR02,BRS01,12 inch teddy bear,8.99,12 inch teddy bear,comes with cap and jacket",
      "BR03,BRS01,18 inch teddy bear,11.99,18 inch teddy bear,comes with cap and jacket",
      "BNBG01,DLL01,Fish bean bag toy,3.49,Fish bean bag toy,complete with bean bag worms with which to feed it",
      "BNBG02,DLL01,Bird bean bag toy,3.49,Bird bean bag toy,eggs are not included",
      "BNBG03,DLL01,Rabbit bean bag toy,3.49,Rabbit bean bag toy,comes with bean bag carrots",
      "RGAN01,DLL01,Raggedy Ann,4.990,18 inch Raggedy Ann doll",
      "RYL01,FNG01,King doll,9.49,12 inch king doll with royal garments and crown",
      "RYL02,FNG01,Queen doll,9.49,12 inch queen doll with royal garments and crown",
      "ryl02,fng01,Queen doll,0,12 inch queen doll with royal garments and crown"
    )

    val productsRdd = sc.parallelize(products_data).map(_.split(",")).map(p => Row(p(0), p(1), p(2), p(3).toDouble, p(4)))
    val productsFields = Array(
      StructField("prod_id",StringType,true),
      StructField("vend_id",StringType,true),
      StructField("prod_name",StringType,true),
      StructField("prod_price",DoubleType,true),
      //StructField("prod_price",StringType,true),
      //StructField("prod_price",IntegerType,true),
      StructField("prod_desc",StringType,true)//介绍
    )
    val productsSchema = StructType(productsFields)
    val productsDf = ssc.createDataFrame(productsRdd,productsSchema)
    productsDf.registerTempTable("Products")

    productsDf.printSchema()
    productsDf.show()

    ssc.sql("select prod_name from Products").show
    ssc.sql("select prod_id, prod_name,prod_price from Products").show
    ssc.sql("select * from Products").show
    ssc.sql("select vend_id from Products").show
    ssc.sql("select distinct vend_id from Products").show //大小写敏感；作用于其后多列
    ssc.sql("select prod_name from Products limit 5").show
    ssc.sql("select prod_id, prod_name from Products order by prod_id desc,prod_price").show //select 语句的最后一个子句 ；作用于其后多列（可分别指定排序方式）；排序字段可为非显示列
    ssc.sql("select prod_id, prod_name from Products order by 22 desc,prod_price").show //select 语句的最后一个子句 ；作用于其后多列（可分别指定排序方式）；排序字段可为非显示列

    ssc.sql("select * from Products where prod_price = 3.49").show
    ssc.sql("select * from Products where prod_price !< 3.49").show
    ssc.sql("select * from Products where prod_price <= 5").show
    ssc.sql("select * from Products where vend_id != 'DLL01'").show //字符串类型比较，使用单引号
    ssc.sql("select * from Products where prod_price between 5 and 10").show
    ssc.sql("select * from Products where prod_price is null ").show
    ssc.sql("select * from Products where prod_price is not null ").show

    ssc.sql("select * from Products where vend_id = 'DLL01' or vend_id = 'BRS01'").show
    ssc.sql("select * from Products where vend_id = 'DLL01' or vend_id = 'BRS01' and prod_price > 10").show
    ssc.sql("select * from Products where (vend_id = 'DLL01' or vend_id = 'BRS01') and prod_price > 10").show
    ssc.sql("select * from Products where vend_id in ('DLL01','BRS01')").show //建议优先使用in
    ssc.sql("select * from Products where vend_id in ('DLL01','BRS01') and prod_price > 10").show
    ssc.sql("select * from Products where vend_id not in ('DLL01','BRS01')").show //建议优先使用in


    ssc.sql("select * from Products where prod_name like '%doll%'").show
    ssc.sql("select * from Products where prod_price like '%4%'").show //不仅仅字符能用通配符
    ssc.sql("select * from Products where prod_name like '__ inch teddy bear'").show
    ssc.sql("select * from Products where prod_name like '% inch teddy bear'").show
    ssc.sql("select * from Products where prod_name like '1[2,8] inch teddy bear'").show //不支持[]

    ssc.sql("select prod_name  + '-' + prod_id from Products").show // 不支持列拼接
    ssc.sql("select prod_name ,prod_price,prod_price*2 from Products").show // 执行运算 + - * /
    ssc.sql("select prod_name ,prod_price,prod_price%2 from Products").show // 执行运算 + - * /


    ssc.sql("select lower(prod_name),upper(prod_name),prod_price from Products").show //
    ssc.sql("select trim(prod_name) from Products").show // 不支持去空格
    ssc.sql("select prod_price, abs(prod_price), sqrt(prod_price) from Products").show

    ssc.sql("select avg(prod_price) avg_price from Products").show //avg忽略为空的行 ，作用于字符串返回null
    ssc.sql("select count(prod_price) c from Products").show //不忽略为空的行
    ssc.sql("select max(prod_price) m from Products").show // 同min也可以作用于字符串列，分别返回第一行最后一行
    ssc.sql("select sum(prod_name) s from Products").show //作用于字符串返回0.0
    ssc.sql("select sum(distinct prod_price),count(distinct prod_price)from Products").show //avg，max，min 不支持去重后求值

    ssc.sql("select vend_id ,count(*),max(prod_price),avg(prod_price) from Products group by vend_id").show
    ssc.sql("select vend_id ,count(*) c,max(prod_price) m,avg(prod_price)  from Products where prod_price > 0 group by vend_id having m > 5 and c > 2").show
    ssc.sql("select vend_id ,count(*) c,max(prod_price) m,avg(prod_price)  from Products where prod_price > 0 group by vend_id having m > 5 order by c3").show

    ssc.sql("select prod_name p from Products").show // 别名
    ssc.sql("select prod_name,upper(prod_name),prod_price from Products").show //

    val vendorsData = Array(
      "BRS01,Bears R Us,123 Main Street,Bear Town,MI,44444,USA",
      "BRE02,Bear Emporium,500 Park Street,Anytown,OH,44333,USA",
      "DLL01,Doll House Inc.,555 High Street,Dollsville,CA,99999,USA",
      "FRB01,Furball Inc.,1000 5th Avenue,New York,NY,11111,USA",
      "FNG01,Fun and Games,42 Galaxy Road,London,NULL,N16 6PS,England",
      "JTS01,Jouets et ours,1 Rue Amusement,Paris,NULL,45678,France"
    )
    val vendorsRdd = sc.parallelize(vendorsData).map(_.split(",")).map(p => Row(p(0), p(1), p(2), p(3), p(4), p(5), p(6)))
    val vendorsFields = Array(
      StructField("vend_id",StringType,false),
      StructField("vend_name",StringType,false),
      StructField("vend_address",StringType,true),
      StructField("vend_city",StringType,true),
      StructField("vend_state",StringType,true),
      StructField("vend_zip",StringType,true),
      StructField("vend_country",StringType,true))
    val vendorsSchema = StructType(vendorsFields)
    val vendorsDf = ssc.createDataFrame(vendorsRdd,vendorsSchema)
    vendorsDf.registerTempTable("Vendors")

    vendorsDf.printSchema()
    vendorsDf.show()
    ssc.sql("select vend_id from Products group by vend_id having avg(prod_price) > 3").show
    // ssc.sql("select * from Vendors where vend_id in (select vend_id from Products group by vend_id having avg(prod_price) > 3)").show //subquery在2.0支持https://issues.apache.org/jira/browse/SPARK-4226

    ssc.sql("select vend_name,prod_name,prod_price from Vendors v,Products p where v.vend_id = p.vend_id ").show
    ssc.sql("select vend_name,prod_name,prod_price from Vendors v inner join Products p on v.vend_id = p.vend_id ").show

    ssc.sql("select vend_name,prod_name,prod_price from Vendors v left join Products p on v.vend_id = p.vend_id ").show
    ssc.sql("select vend_name,prod_name,prod_price from Vendors v right outer join Products p on v.vend_id = p.vend_id ").show
    ssc.sql("select vend_name,prod_name,prod_price from Vendors v full outer join Products p on v.vend_id = p.vend_id ").show

    ssc.sql("select vend_name ,count(prod_id) c  from Products p left outer join  Vendors v on v.vend_id = p.vend_id group by vend_name").show

    ssc.sql("select * from Vendors v where vend_id = 'JTS01' or vend_state= 'MI'").unionAll(ssc.sql("select * from Vendors v where v.vend_state in ('MI','OH')")).show
    ssc.sql("select * from Vendors v where vend_id = 'JTS01' or vend_state= 'MI' union select * from Vendors v where v.vend_state in ('MI','OH')").show
    ssc.sql("select * from Vendors v where vend_id = 'JTS01' or vend_state= 'MI' union all select * from Vendors v where v.vend_state in ('MI','OH')").show

    ssc.sql("INSERT into table Vendors select * from Vendors").show

  }
}

你可能感兴趣的:(spark,hadoop,spark,sql,spark,功能,函数,举例)

QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
C语言宏函数南林yan C语言 c语言
一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
C语言如何定义宏函数？小九格物 c语言
在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务 java 架构
在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
c++ 的iostream 和 c++的stdio的区别和联系黄卷青灯77 c++算法开发语言 iostream stdio
在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
mysql禁用远程登录 igotyback mysql
去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
扫地机类清洁产品之直流无刷电机控制悟空胆好小清洁服务机器人单片机人工智能
扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数广龙宇一起学Rust #Rust设计模式 rust 设计模式开发语言
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
每日一题——第八十四题互联网打工人no1 C语言程序设计每日一练 c语言
题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）编程经验分享开发工具服务器 ssh linux
目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python 人工智能开发语言
本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twitter easyui 前端 python
#使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchain java 服务器 python
标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
Day17笔记-高阶函数 ~在杰难逃~ Python 笔记 python 开发语言 pycharm 数据分析
高阶函数【重点掌握】函数的本质：函数是一个变量，函数名是一个变量名，一个函数可以作为另一个函数的参数或返回值使用如果A函数作为B函数的参数，B函数调用完成之后，会得到一个结果，则B函数被称为高阶函数常用的高阶函数：map(),reduce(),filter(),sorted()1.map()map(func,iterable)，返回值是一个iterator【容器，迭代器】func:函数iterab
MYSQL面试系列-04 king01299 面试 mysql 面试
MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
【华为OD技术面试真题 - 技术面】-测试八股文真题题库（1）算法大师华为od 面试 python 算法前端
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.黑盒测试和白盒测试的区别2.假设我们公司现在开发一个类似于微信的软件1.0版本，现在要你测试这个功能：打开聊天窗口，输入文本，限制字数在200字以内。问你怎么提取测试点。功能测试性能测试安全性测试可用性测试跨平台兼容性测试网络环境测试3.接口测试的工具你了解哪些
闲鱼鱼小铺怎么开通？鱼小铺开通需要哪些流程？高省APP大九
闲鱼鱼小铺是平台推出的一个专业程度的店铺，与普通店铺相比会有更多的权益，比如说发布的商品数量从50增加到500；拥有专业的店铺数据看板与分析的功能，这对于专门在闲鱼做生意的用户来说是非常有帮助的，那么鱼小铺每个人都能开通吗？大家好，我是高省APP联合创始人蓓蓓导师，高省APP是2021年推出的电商导购平台，0投资，0风险、高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个可省钱佣金高，能
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
基于CODESYS的多轴运动控制程序框架：逻辑与运动控制分离，快速开发灵活操作 GPJnCrbBdl python 开发语言
基于codesys开发的多轴运动控制程序框架，将逻辑与运动控制分离，将单轴控制封装成功能块，对该功能块的操作包含了所有的单轴控制（归零、点动、相对定位、绝对定位、设置当前位置、伺服模式切换等等）。程序框架由主程序按照状态调用分归零模式、手动模式、自动模式、故障模式，程序状态的跳转都已完成，只需要根据不同的工艺要求完成所需的动作即可。变量的声明、地址的规划都严格按照C++的标准定义，能帮助开发者快速
Rust基础知识 GRKF15 rust 开发语言后端
1.Rust语言简介1.1基础语法变量声明：let关键字用于声明变量，可以指定或不指定类型，如leta=10;和letmutc=30i32;。函数定义：使用fn关键字定义函数，并指定参数类型及返回类型，如fnadd(i:i32,j:i32)->i32{i+j}。控制流：包括if、else等，控制语句后需要使用;来结束语句。1.2数据类型整数类型：i8、i16、i32、i64、i128，以及无符号的
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
广州会刊小程序开发公司哪家好｜开发多少钱费用｜专业外包服务红匣子实力推荐
在选择广州会刊小程序开发公司时，有几个关键因素需要考虑。首先，您应该确定自己的需求和目标，以便找到最合适的开发公司。其次，您需要考虑公司的经验和专业知识。最后，您还应该考虑公司的信誉和口碑。开发-联系电话：13642679953（微信同号）首先，您应该明确自己的需求和目标。会刊小程序是一种用于展示会议信息和日程安排的应用程序。在选择开发公司之前，您应该明确自己的需求，包括功能要求、设计风格和用户体
如何选择最适合你的项目研发管理软件？TAPD卓越版全面解析北京云巴巴信息技术有限公司产品经理需求分析
在当今快速发展的科技时代，项目研发管理软件已成为企业不可或缺的重要工具。面对市场上琳琅满目的产品，如何选择一款适合自己团队的项目研发管理软件呢？本文将围绕项目研发管理软件的选择标准，重点介绍TAPD卓越版的特点、优势以及使用体验，让你更好地理解和选择适合自己的项目研发管理软件。项目研发管理软件的选择标准在选择项目研发管理软件时，我们需要考虑以下几个方面的因素：功能全面性：软件是否覆盖了从需求管理、
SpringBlade dict-biz/list 接口 SQL 注入漏洞文章永久免费只为良心 oracle 数据库
SpringBladedict-biz/list接口SQL注入漏洞POC:构造请求包查看返回包你的网址/api/blade-system/dict-biz/list?updatexml(1,concat(0x7e,md5(1),0x7e),1)=1漏洞概述在SpringBlade框架中，如果dict-biz/list接口的后台处理逻辑没有正确地对用户输入进行过滤或参数化查询（PreparedSta
java杨辉三角 3213213333332132 java基础
package com.algorithm; /** * @Description 杨辉三角 * @author FuJianyong * 2015-1-22上午10:10:59 */ public class YangHui { public static void main(String[] args) { //初始化二维数组长度 int[][] y
《大话重构》之大布局的辛酸历史白糖_ 重构
《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。背景公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
电驴链接在线视频播放源码 dubinwei 源码电驴播放器视频 ed2k
本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。项目源码： http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。项目源码依赖于两个库项目，库项目一链接： http://git.oschina.
Javascript中函数的toString()方法周凡杨 JavaScript js toString function object
简述 The toString() method returns a string representing the source code of the function. 简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。句法 function.
struts处理自定义异常 g21121 struts
很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。此处我们用的是非运行时异常，首先定义一个异常LoginException: /** * 类描述：登录相
Linux中find常见用法示例 510888780 linux
Linux中find常见用法示例 ·find path -option [ -print ] [ -exec -ok command ] {} \; find命令的参数；
SpringMVC的各种参数绑定方式 Harry642 springMVC 绑定表单
1. 基本数据类型(以int为例，其他类似)： Controller代码： @RequestMapping("saysth.do") public void test(int count) { } 表单代码： <form action="saysth.do" method="post&q
Java 获取Oracle ROWID aijuans java oracle
A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. The oracle.sql.ROWID class i
java获取方法的参数名 antlove java jdk parameter method reflect
reflect.ClassInformationUtil.java package reflect; import javassist.ClassPool; import javassist.CtClass; import javassist.CtMethod; import javassist.Modifier; import javassist.bytecode.CodeAtt
JAVA正则表达式匹配查找替换提取操作百合不是茶 java 正则表达式替换提取查找
正则表达式的查找;主要是用到String类中的split(); String str; str.split();方法中传入按照什么规则截取,返回一个String数组常见的截取规则: str.split("\\.")按照.来截取 str.
Java中equals()与hashCode()方法详解 bijian1013 java set equals()hashCode()
一.equals()方法详解 equals()方法在object类中定义如下： public boolean equals(Object obj) { return (this == obj); } 很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
精通Oracle10编程SQL(4)使用SQL语句 bijian1013 oracle 数据库 plsql
--工资级别表 create table SALGRADE ( GRADE NUMBER(10), LOSAL NUMBER(10,2), HISAL NUMBER(10,2) ) insert into SALGRADE values(1,0,100); insert into SALGRADE values(2,100,200); inser
【Nginx二】Nginx作为静态文件HTTP服务器 bit1129 HTTP服务器
Nginx作为静态文件HTTP服务器在本地系统中创建/data/www目录，存放html文件(包括index.html) 创建/data/images目录，存放imags图片在主配置文件中添加http指令 http { server { listen 80; server_name
kafka获得最新partition offset blackproof kafka partition offset 最新
kafka获得partition下标，需要用到kafka的simpleconsumer import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.
centos 7安装docker两种方式 ronin47
第一种是采用yum 方式 yum install -y docker
java-60-在O(1)时间删除链表结点 bylijinnan java
public class DeleteNode_O1_Time { /** * Q 60 在O(1)时间删除链表结点 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点 * * Assume the list is: * head->...->nodeToDelete->mNode->nNode->..
nginx利用proxy_cache来缓存文件 cfyme cache
user zhangy users; worker_processes 10; error_log /var/vlogs/nginx_error.log crit; pid /var/vlogs/nginx.pid; #Specifies the value for ma
[JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题 comsci 嵌入式
假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做： string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))" 定义一个0整数c,然后用这个整数c去
如何集成支付宝官方文档 dai_lm android
官方文档下载地址 https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 集成的必要条件 1. 需要有自己的Server接收支付宝的消息 2. 需要先制作app，然后提交支付宝审核，通过后才能集成调试的时候估计会真的扣款，请注意
应该在什么时候使用Hadoop datamachine hadoop
原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 --------------------------------------------万能的分割线-------------------------------- 有人问我，“你在大数据和Hado
在GridView中对于有外键的字段使用关联模型进行搜索和排序 dcj3sjt126com yii
在GridView中使用关联模型进行搜索和排序首先我们有两个模型它们直接有关联: class Author extends CActiveRecord { ... } class Post extends CActiveRecord { ... function relations() { return array( '
使用NSString 的格式化大全 dcj3sjt126com Objective-C
格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
使用activeX插件对象object滚动有重影蕃薯耀 activeX插件滚动有重影
使用activeX插件对象object滚动有重影 <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
SpringMVC4零配置 hanqunfeng springmvc4
基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。项目说明如下： 1.db.sql是项目中用到的表，数据库使用的是oracle11g 2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 3.默认项目为零配置启动，如果需要更改启动方式，请
《开源框架那点事儿16》：缓存相关代码的演变 j2eetop 开源框架
问题引入上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。当然去看相关实现代代码的时候，大致是下面的样子。 [java] view plain copy print ? public vo
AngularJS浅析 kvhur JavaScript
概念 AngularJS is a structural framework for dynamic web apps. 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm Directive 扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
架构师之jdk的bug排查(一)---------------split的点号陷阱 nannan408 split
1.前言. jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 2.代码 String[] paths = "object.object2.prop11".split("'"); System.ou
如何对10亿数据量级的mongoDB作高效的全表扫描 quentinXXZ mongodb
本文链接: http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下，不应该有这种需求首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。说一下，
C语言算法之水仙花数 qiufeihu c 算法
/** * 水仙花数 */ #include <stdio.h> #define N 10 int main() { int x,y,z; for(x=1;x<=N;x++) for(y=0;y<=N;y++) for(z=0;z<=N;z++) if(x*100+y*10+z == x*x*x
JSP指令 wyzuomumu jsp
jsp指令的一般语法格式： <%@ 指令名属性 =”值 ” %> 常用的三种指令： page,include,taglib page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include