IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)

【1】 windows  10  版本的 Anaconda3  安装 后 目录下是没有bin 目录的,(虽然网上很多帖子写到了要把 anaconda 下的 3个目录加入环境变量,如下图,但是 对于IDEA来说 ,没有一个管用! 也就是说是只能用 Anaconda 的自带编辑器去写东西)

也许是技术不够,不会配置的原因,实在感觉windows  不如  mac 来的方便

IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)_第1张图片

【2】在linux  安装Anaconda   并且 用命令  pyj4   和 pyspark 

《以下操作为    windows 环境 》

【3】IDEA  加入环境变量  (远程服务器的SDK)

        project structru --------SDKs--------"+"--------Python  Sdk------------Add Remote-------------SSH credentials-----填写服务器的 相关信息   

IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)_第2张图片

【4】项目上传:

            选取准备好的model   ---------Tools----------Deployment -------Configration--------填写相关信息-----Mapping  选择 model (那个需要写那个)

IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)_第3张图片

IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)_第4张图片

【5】上传代码:

   选取准备好的model   ---------Tools----------Deployment -------Upload  to  "路径"(如果显示这一项 说明之前的配置成功)

【6】配置运行环境

IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)_第5张图片

【7】 运行代码即可:

Warning: Ignoring non-spark config property: executor-memory=512m
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
+------------------------+
|items                   |
+------------------------+
|[r, z, h, k, p]         |
|[z, y, x, w, v, u, t, s]|
|[s, x, o, n, r]         |
|[x, z, y, m, t, s, q, e]|
|[z]                     |
|[x, z, y, r, q, t, p]   |
+------------------------+


18/06/22 11:10:01 WARN FPGrowth: Input data is not cached.
+---------+----+
|    items|freq|
+---------+----+
|      [s]|   3|
|   [s, x]|   3|
|[s, x, z]|   2|
|   [s, z]|   2|
|      [r]|   3|
+---------+----+
only showing top 5 rows


+----------+----------+----------+
|antecedent|consequent|confidence|
+----------+----------+----------+
|    [t, s]|       [y]|       1.0|
|    [t, s]|       [x]|       1.0|
|    [t, s]|       [z]|       1.0|
|       [p]|       [r]|       1.0|
|       [p]|       [z]|       1.0|
+----------+----------+----------+
only showing top 5 rows




Process finished with exit code 0

你可能感兴趣的:(spark,IDEA)