lei_charles
lei_charles

在 idea 中以 yarn-client 远程提交 Spark 作业

  1. 示例代码
    1. RemoteSubmitApp 主类
      package com.cloudera

import org.apache.kafka.clients.consumer.ConsumerConfig
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j.Logger
import org.apache.spark
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.{SparkConf, rdd}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}

object RemoteSubmitApp {
  val logger = Logger.getLogger(this.getClass)

  def main(args: Array[String]): Unit = {
    
    // 设置提交任务的用户
    //    System.setProperty("HADOOP_USER_NAME", "root")
    val conf = new SparkConf().setAppName("Remote_Submit_App")
      // 设置yarn-client模式提交
      .setMaster("yarn-client") // 设置resourcemanager的ip
      .set("yarn.resourcemanager.hostname", "cdh02")
      // 设置driver的内存大小
      .set("spark.driver.memory", "1024M")
      // 设置executor的内存大小
      .set("spark.executor.memory", "800M")
      // 设置executor的个数
      .set("spark.executor.instance", "2")
      // 设置提交任务的 yarn 队列
      //      .set("spark.yarn.queue", "defalut")
      // 设置driver的 ip 地址,即本机的 ip 地址
      .set("spark.driver.host", "192.168.1.26")
      // 设置序列化
//      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      // 设置jar包的路径,如果有其他的依赖包,可以在这里添加,逗号隔开
      .setJars(List("E:\\RemoteSubmitSparkToYarn\\target\\RemoteSubmitSparkToYarn-1.0-SNAPSHOT.jar"))
    val scc = new StreamingContext(conf, Seconds(30))

    scc.sparkContext.setLogLevel("WARN")
//    scc.checkpoint("checkpoint")
    val topic = "remote_submit_test"
    val topicSet = topic.split(",").toSet

    val kafkaParams = Map[String, Object](
      ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG -> "10.101.75.190:9092,10.101.75.191:9092,10.101.75.192:9092",
      ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG -> classOf[StringDeserializer],
      ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG -> classOf[StringDeserializer],
      ConsumerConfig.GROUP_ID_CONFIG -> "remote_test",
      ConsumerConfig.AUTO_OFFSET_RESET_CONFIG -> "earliest",
      ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG -> (false: java.lang.Boolean)
    )

    val kafkaStreams = KafkaUtils.createDirectStream[String, String](
      scc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](topicSet, kafkaParams)
    )

    val wordCounts: DStream[(String, Long)] = kafkaStreams.map(_.value())
      .flatMap(_.split(" "))
      .map(x => (x, 1L))
      .reduceByKey(_ + _)
    wordCounts.print()

    //启动流
    scc.start()
    scc.awaitTermination()
  }
}
    2. pom.xml 文件
      

    4.0.0
    com.cloudera
    RemoteSubmitSparkToYarn
    1.0-SNAPSHOT

    jar
    RemoteSubmitSparkToYarn

    
        
        
            cloudera
            https://repository.cloudera.com/artifactory/cloudera-repos/
            Cloudera Repositories
            
                true
            
            
                false
            
        
    

    
        UTF-8
        UTF-8
        1.8
        
        2.2.0
        compile
        
    

    
        
        
            org.scala-lang
            scala-library
            2.11.7
            ${provided.scope}
        
        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.spark
            spark-streaming_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.spark
            spark-sql_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.spark
            spark-hive_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.spark
            spark-yarn_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.spark
            spark-sql-kafka-0-10_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.spark
            spark-streaming-kafka-0-10_2.11
            ${spark.version}
            ${provided.scope}
        
        
            org.apache.kafka
            kafka_2.11
            0.10.0.1
            
        
        
            org.apache.kafka
            kafka-clients
            0.11.0.2
            
        
    

    
        
            
                
                    org.apache.maven.plugins
                    maven-compiler-plugin
                    3.8.0
                    
                        1.8
                        1.8
                    
                
                
                    org.apache.maven.plugins
                    maven-resources-plugin
                    3.0.2
                    
                        UTF-8
                    
                
                
                    net.alchim31.maven
                    scala-maven-plugin
                    3.2.2
                    
                        
                            
                                compile
                                testCompile
                            
                        
                    
                
                
                    org.apache.maven.plugins
                    maven-resources-plugin
                    3.0.2
                    
                        UTF-8
                    
                
            
        
        
            
                net.alchim31.maven
                scala-maven-plugin
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            

            
                org.apache.maven.plugins
                maven-compiler-plugin
                
                    
                        compile
                        
                            compile
                        
                    
                
            

            
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA
                                    
                                
                            
                        
                    
                
            
        
        
            
                ${basedir}/src/main/resources
                
                    env/*/*
                
                
                    **/*
                
            
            
                ${basedir}/src/main/resources/env/${profile.active}
                
                    **/*.properties
                    **/*.xml
                
            
        
    
    
        
            dev
            
                dev
            
            
                true
            
        
        
            test
            
                test
            
        
        
            prod
            
                prod
    3. 运行结果
      ......
Connected to the target VM, address: '127.0.0.1:49723', transport: 'socket'
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
19/09/27 15:32:47 INFO SparkContext: Running Spark version 2.2.0
19/09/27 15:32:47 WARN SparkConf: spark.master yarn-client is deprecated in Spark 2.0+, please instead use "yarn" with specified deploy mode.
19/09/27 15:32:47 INFO SparkContext: Submitted application: Remote_Submit_App
19/09/27 15:32:47 INFO SecurityManager: Changing view acls to: 110610172
19/09/27 15:32:47 INFO SecurityManager: Changing modify acls to: 110610172
19/09/27 15:32:47 INFO SecurityManager: Changing view acls groups to: 
19/09/27 15:32:47 INFO SecurityManager: Changing modify acls groups to: 
19/09/27 15:32:47 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(110610172); groups with view permissions: Set(); users  with modify permissions: Set(110610172); groups with modify permissions: Set()
19/09/27 15:32:48 INFO Utils: Successfully started service 'sparkDriver' on port 49747.
19/09/27 15:32:48 INFO SparkEnv: Registering MapOutputTracker
19/09/27 15:32:48 INFO SparkEnv: Registering BlockManagerMaster
19/09/27 15:32:48 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
19/09/27 15:32:48 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
19/09/27 15:32:48 INFO DiskBlockManager: Created local directory at C:\Users\110610172\AppData\Local\Temp\blockmgr-c580e3ec-3b0f-4365-8766-387e0c4a3947
19/09/27 15:32:48 INFO MemoryStore: MemoryStore started with capacity 1989.6 MB
19/09/27 15:32:48 INFO SparkEnv: Registering OutputCommitCoordinator
19/09/27 15:32:48 INFO Utils: Successfully started service 'SparkUI' on port 4040.
19/09/27 15:32:48 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://192.168.1.26:4040
19/09/27 15:32:48 INFO SparkContext: Added JAR E:\RemoteSubmitSparkToYarn\target\RemoteSubmitSparkToYarn-1.0-SNAPSHOT.jar at spark://192.168.1.26:49747/jars/RemoteSubmitSparkToYarn-1.0-SNAPSHOT.jar with timestamp 1569569568596
19/09/27 15:32:50 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm381
19/09/27 15:32:50 INFO Client: Requesting a new application from cluster with 7 NodeManagers
19/09/27 15:32:50 INFO Client: Verifying our application has not requested more than the maximum memory capability of the cluster (12288 MB per container)
19/09/27 15:32:50 INFO Client: Will allocate AM container, with 896 MB memory including 384 MB overhead
19/09/27 15:32:50 INFO Client: Setting up container launch context for our AM
19/09/27 15:32:50 INFO Client: Setting up the launch environment for our AM container
19/09/27 15:32:50 INFO Client: Preparing resources for our AM container
19/09/27 15:32:51 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
19/09/27 15:32:54 INFO Client: Uploading resource file:/C:/Users/110610172/AppData/Local/Temp/spark-46819e6c-4520-4e75-b7b0-0374e0020d36/__spark_libs__4420363360244802432.zip -> hdfs://cdh01:8020/user/110610172/.sparkStaging/application_1568096913481_0456/__spark_libs__4420363360244802432.zip
19/09/27 15:32:54 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/09/27 15:32:57 INFO Client: Uploading resource file:/C:/Users/110610172/AppData/Local/Temp/spark-46819e6c-4520-4e75-b7b0-0374e0020d36/__spark_conf__4989294758151956703.zip -> hdfs://cdh01:8020/user/110610172/.sparkStaging/application_1568096913481_0456/__spark_conf__.zip
19/09/27 15:32:57 INFO SecurityManager: Changing view acls to: 110610172
19/09/27 15:32:57 INFO SecurityManager: Changing modify acls to: 110610172
19/09/27 15:32:57 INFO SecurityManager: Changing view acls groups to: 
19/09/27 15:32:57 INFO SecurityManager: Changing modify acls groups to: 
19/09/27 15:32:57 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(110610172); groups with view permissions: Set(); users  with modify permissions: Set(110610172); groups with modify permissions: Set()
19/09/27 15:32:57 INFO Client: Submitting application application_1568096913481_0456 to ResourceManager
19/09/27 15:32:57 INFO YarnClientImpl: Submitted application application_1568096913481_0456
19/09/27 15:32:57 INFO SchedulerExtensionServices: Starting Yarn extension services with app application_1568096913481_0456 and attemptId None
19/09/27 15:32:58 INFO Client: Application report for application_1568096913481_0456 (state: ACCEPTED)
19/09/27 15:32:58 INFO Client: 
   client token: N/A
   diagnostics: N/A
   ApplicationMaster host: N/A
   ApplicationMaster RPC port: -1
   queue: root.users.110610172
   start time: 1569569577390
   final status: UNDEFINED
   tracking URL: http://cdh02:8088/proxy/application_1568096913481_0456/
   user: 110610172
19/09/27 15:32:59 INFO Client: Application report for application_1568096913481_0456 (state: ACCEPTED)
19/09/27 15:33:00 INFO Client: Application report for application_1568096913481_0456 (state: ACCEPTED)
19/09/27 15:33:01 INFO Client: Application report for application_1568096913481_0456 (state: ACCEPTED)
19/09/27 15:33:01 INFO YarnSchedulerBackend$YarnSchedulerEndpoint: ApplicationMaster registered as NettyRpcEndpointRef(spark-client://YarnAM)
19/09/27 15:33:01 INFO YarnClientSchedulerBackend: Add WebUI Filter. org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter, Map(PROXY_HOSTS -> cdh01,cdh02, PROXY_URI_BASES -> http://cdh01:8088/proxy/application_1568096913481_0456,http://cdh02:8088/proxy/application_1568096913481_0456), /proxy/application_1568096913481_0456
19/09/27 15:33:01 INFO JettyUtils: Adding filter: org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter
19/09/27 15:33:02 INFO Client: Application report for application_1568096913481_0456 (state: RUNNING)
19/09/27 15:33:02 INFO Client: 
   client token: N/A
   diagnostics: N/A
   ApplicationMaster host: 10.101.75.194
   ApplicationMaster RPC port: 0
   queue: root.users.110610172
   start time: 1569569577390
   final status: UNDEFINED
   tracking URL: http://cdh02:8088/proxy/application_1568096913481_0456/
   user: 110610172
19/09/27 15:33:02 INFO YarnClientSchedulerBackend: Application application_1568096913481_0456 has started running.
19/09/27 15:33:02 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 49796.
19/09/27 15:33:02 INFO NettyBlockTransferService: Server created on 192.168.1.26:49796
19/09/27 15:33:02 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
19/09/27 15:33:02 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.1.26, 49796, None)
19/09/27 15:33:02 INFO BlockManagerMasterEndpoint: Registering block manager 192.168.1.26:49796 with 1989.6 MB RAM, BlockManagerId(driver, 192.168.1.26, 49796, None)
19/09/27 15:33:02 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 192.168.1.26, 49796, None)
19/09/27 15:33:02 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 192.168.1.26, 49796, None)
19/09/27 15:33:07 INFO YarnSchedulerBackend$YarnDriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (10.101.75.190:10332) with ID 1
19/09/27 15:33:07 INFO BlockManagerMasterEndpoint: Registering block manager cdh04:24916 with 246.9 MB RAM, BlockManagerId(1, cdh04, 24916, None)
19/09/27 15:33:07 INFO YarnSchedulerBackend$YarnDriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (10.101.75.190:10334) with ID 2
19/09/27 15:33:08 INFO BlockManagerMasterEndpoint: Registering block manager cdh04:27337 with 246.9 MB RAM, BlockManagerId(2, cdh04, 27337, None)
19/09/27 15:33:08 INFO YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.8
19/09/27 15:33:08 WARN KafkaUtils: overriding enable.auto.commit to false for executor
19/09/27 15:33:08 WARN KafkaUtils: overriding auto.offset.reset to none for executor
19/09/27 15:33:08 WARN KafkaUtils: overriding executor group.id to spark-executor-remote_test
19/09/27 15:33:08 WARN KafkaUtils: overriding receive.buffer.bytes to 65536 see KAFKA-3135
-------------------------------------------
Time: 1569569610000 ms
-------------------------------------------
(assigned,10)
(serializer,2)
(Setting,10)
(rdd.count(),1)
(class,2)
(=,2)
(newly,10)
(partitions,10)

-------------------------------------------
Time: 1569569640000 ms
-------------------------------------------

-------------------------------------------
Time: 1569569670000 ms
-------------------------------------------
......
    4. 集群上查看

      Yarn --> 应用程序


      image
  1. 遇到的问题
    1. Spark 版本不一致导致的问题

      问题日志:

      19/09/27 11:01:38 ERROR TransportRequestHandler: Error while invoking RpcHandler#receive() for one-way message.
java.io.InvalidClassException: org.apache.spark.rpc.RpcEndpointRef; local class incompatible: stream classdesc serialVersionUID = -1329125091869941550, local class serialVersionUID = 1835832137613908542
  at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:616)
  at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1630)
  at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1521)
  at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1630)
  at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1521)
  at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1781)
  at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1353)
  at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2018)
  at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1942)
  at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1808)
  at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1353)
  at java.io.ObjectInputStream.readObject(ObjectInputStream.java:373)
  at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:75)
  at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:108)
  at org.apache.spark.rpc.netty.NettyRpcEnv$$anonfun$deserialize$1$$anonfun$apply$1.apply(NettyRpcEnv.scala:267)
  at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
  at org.apache.spark.rpc.netty.NettyRpcEnv.deserialize(NettyRpcEnv.scala:316)
  at org.apache.spark.rpc.netty.NettyRpcEnv$$anonfun$deserialize$1.apply(NettyRpcEnv.scala:266)
  at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
  at org.apache.spark.rpc.netty.NettyRpcEnv.deserialize(NettyRpcEnv.scala:265)
  at org.apache.spark.rpc.netty.RequestMessage$.apply(NettyRpcEnv.scala:600)
  at org.apache.spark.rpc.netty.NettyRpcHandler.internalReceive(NettyRpcEnv.scala:651)
  at org.apache.spark.rpc.netty.NettyRpcHandler.receive(NettyRpcEnv.scala:643)
  at org.apache.spark.network.server.TransportRequestHandler.processOneWayMessage(TransportRequestHandler.java:178)
  at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:107)
  at org.apache.spark.network.server.TransportChannelHandler.channelRead(TransportChannelHandler.java:118)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:357)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:343)
  at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:336)
  at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:287)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:357)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:343)
  at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:336)
  at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:102)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:357)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:343)
  at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:336)
  at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:357)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:343)
  at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:336)
  at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1294)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:357)
  at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:343)
  at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:911)
  at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)
  at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:643)
  at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:566)
  at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:480)
  at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:442)
  at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:131)
  at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:144)
  at java.lang.Thread.run(Thread.java:745)

      解决办法:

      下载Spark相同的版本。下载地址: https://archive.apache.org/dist/spark/

    2. 环境变量问题

      问题日志:

      Exception in thread "main" java.lang.IllegalStateException: Library directory 'E:\RemoteSubmitSparkToYarn\assembly\target\scala-2.11\jars' does not exist; make sure Spark is built.
  at org.apache.spark.launcher.CommandBuilderUtils.checkState(CommandBuilderUtils.java:248)
  at org.apache.spark.launcher.CommandBuilderUtils.findJarsDir(CommandBuilderUtils.java:347)
  at org.apache.spark.launcher.YarnCommandBuilderUtils$.findJarsDir(YarnCommandBuilderUtils.scala:38)
  at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:526)
  at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:814)
  at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:169)
  at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
  at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:173)
  at org.apache.spark.SparkContext.(SparkContext.scala:509)
  at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:839)
  at org.apache.spark.streaming.StreamingContext.(StreamingContext.scala:85)
  at com.cloudera.RemoteSubmitApp$.main(RemoteSubmitApp.scala:33)
  at com.cloudera.RemoteSubmitApp.main(RemoteSubmitApp.scala)

      解决办法:
      在本地机器中设置 SPARK_HOME 环境变量

      image

      或在 idea 中运行参数设置 SPARK_HOME


      image
  1. 权限问题 Permission denied

    问题日志:

    Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=charles, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x
  at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:342)
  at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:251)
  at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189)
  at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1744)
  at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1728)
  at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1687)
  at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:60)
  at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2980)
  at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1096)
  at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:652)
  at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
  at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:503)
  at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989)
  at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:868)
  at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:814)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:422)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1886)
  at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2603)

    解决办法:
    在代码中添加下面代码，设置为以 root 用户提交。

    System.setProperty("HADOOP_USER_NAME", "root")
  1. /etc/hadoop/conf.cloudera.yarn/topology.py 问题

    问题日志:

    java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn/topology.py" (in directory "E:\RemoteSubmitSparkToYarn"): CreateProcess error=2, 系统找不到指定的文件。
  at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048)
  at org.apache.hadoop.util.Shell.runCommand(Shell.java:519)
  at org.apache.hadoop.util.Shell.run(Shell.java:478)
  at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:766)
  at org.apache.hadoop.net.ScriptBasedMapping$RawScriptBasedMapping.runResolveCommand(ScriptBasedMapping.java:251)
  at org.apache.hadoop.net.ScriptBasedMapping$RawScriptBasedMapping.resolve(ScriptBasedMapping.java:188)
  at org.apache.hadoop.net.CachedDNSToSwitchMapping.resolve(CachedDNSToSwitchMapping.java:119)
  at org.apache.hadoop.yarn.util.RackResolver.coreResolve(RackResolver.java:101)
  at org.apache.hadoop.yarn.util.RackResolver.resolve(RackResolver.java:81)
  at org.apache.spark.scheduler.cluster.YarnScheduler.getRackForHost(YarnScheduler.scala:37)
  at org.apache.spark.scheduler.TaskSchedulerImpl$$anonfun$resourceOffers$1.apply(TaskSchedulerImpl.scala:337)
  at org.apache.spark.scheduler.TaskSchedulerImpl$$anonfun$resourceOffers$1.apply(TaskSchedulerImpl.scala:326)
  at scala.collection.Iterator$class.foreach(Iterator.scala:742)
  at scala.collection.AbstractIterator.foreach(Iterator.scala:1194)
  at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
  at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
  at org.apache.spark.scheduler.TaskSchedulerImpl.resourceOffers(TaskSchedulerImpl.scala:326)
  at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend$DriverEndpoint.org$apache$spark$scheduler$cluster$CoarseGrainedSchedulerBackend$DriverEndpoint$$makeOffers(CoarseGrainedSchedulerBackend.scala:237)
  at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend$DriverEndpoint$$anonfun$receiveAndReply$1.applyOrElse(CoarseGrainedSchedulerBackend.scala:200)
  at org.apache.spark.rpc.netty.Inbox$$anonfun$process$1.apply$mcV$sp(Inbox.scala:105)
  at org.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:205)
  at org.apache.spark.rpc.netty.Inbox.process(Inbox.scala:101)
  at org.apache.spark.rpc.netty.Dispatcher$MessageLoop.run(Dispatcher.scala:213)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
  at java.lang.Thread.run(Thread.java:745)

    解决办法:
    在配置文件 core-site.xml 中修改 net.topology.script.file.name 属性值，将 /etc/hadoop/conf.cloudera.yarn/topology.py 注释掉。

      
    net.topology.script.file.name
  2. 没有设置 driver 的 ip 问题

    问题日志:

    cationMaster: Failed to connect to driver at 192.168.1.26:34010, retrying ...
19/09/27 15:12:48 ERROR ApplicationMaster: Failed to connect to driver at 192.168.1.26:34010, retrying ...
19/09/27 15:12:48 ERROR ApplicationMaster: Uncaught exception: 
org.apache.spark.SparkException: Failed to connect to driver!
  at org.apache.spark.deploy.yarn.ApplicationMaster.waitForSparkDriver(ApplicationMaster.scala:577)
  at org.apache.spark.deploy.yarn.ApplicationMaster.runExecutorLauncher(ApplicationMaster.scala:433)
  at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:256)
  at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:764)
  at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67)
  at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:422)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
  at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66)
  at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:762)
  at org.apache.spark.deploy.yarn.ExecutorLauncher$.main(ApplicationMaster.scala:785)
  at org.apache.spark.deploy.yarn.ExecutorLauncher.main(ApplicationMaster.scala)

    解决办法:

    这个报错是因为没有设置 driver host, 由于运行的是 yarn-client 模式, driver 就是我们的本机, 所以要设置为本地的ip,不然找不到driver.

    .set("spark.driver.host","192.168.1.26")

注意:

  1. 需要将 core-site.xml,hdfs-site.xml 和 yarn-site.xml 放到 resource 下面,程序运行的时候需要这些环境。
  2. 修改代码后需要重新编译打包否则会报ERROR YarnScheduler: Lost executor 2 on cdh03: Container container_e01_1568096913481_0453_01_000005 exited from explicit termination异常

你可能感兴趣的:(在 idea 中以 yarn-client 远程提交 Spark 作业)

  • [python系列] 创建虚拟环境 venv en-route pythonvirtualenv
    虚拟环境定义Python中的虚拟环境是一个隔离的运行环境，旨在为每个Python项目提供独立的执行空间，支持在不同的项目中分别管理依赖关系，而不会影响到其他项目或系统的原始Python安装。可以将虚拟环境视为每个Python项目的“独立容器”，每个容器具备以下特点：拥有独立的Python解释器拥有各自独立的包管理和安装的软件包与其他虚拟环境相互隔离允许同一包存在不同版本使用虚拟环境的重要性体现在以
  • 【.net core】【sqlsugar】在where条件查询时使用原生SQL MoFe1 .netcoresql数据库
    //初始化查询varquery=repository.IQueryable();//添加原生SQLWHERE条件query=query.Where("fieldAWhere(stringwhereString,objectparameters=null);
  • uniapp vue3版本的一些小细节！ 养乐多～ch uniuni-appvue.js前端
    1,生命周期的引用import{onShow,onHide,onLoad}from"@dcloudio/uni-app"onShow(()=>{showLog('onShow')})onLoad((options)=>{showLog('onLoad')})需要引入，才可以调用2，全局引入css在main.js或者ts中，导入就可以//例如引入全局CSS文件import'./util/baseCs
  • 杭州西湖断桥不断：3D扫描还原‘残雪‘视觉骗局 未来读啥科教资讯 3d
    “断桥残雪”是西湖十景之一，所谓“视觉骗局”指的是在特定条件下，从远处看断桥仿佛断开的奇妙视觉效果。利用3D扫描技术还原这一效果可按以下步骤进行：数据采集3D扫描断桥：使用高精度的3D激光扫描仪对断桥及其周边环境进行全面扫描。从多个角度、不同距离对断桥的整体轮廓、桥身细节（如栏杆、石块纹理）进行数据采集，确保获取完整且精确的三维数据。收集周边环境数据：扫描断桥周边的湖水、堤岸、树木等环境元素，因为
  • 给群晖6.2.4(NAS)实现免费的内网穿透_以zerotier-One实现 牛奶咖啡13 NAS系统zerotier群晖内网穿透实现外网访问家里的群晖
    一、实现效果①实现通过外网访问家里的群晖NAS，随时方便访问调取自己家里的群晖资料、视屏等资源。②实现群晖重启后依然能够启动zerotier-one服务，让外网能够访问。二、实现方法2.1、需要先到ZeroTier官网注册账号ZeroTier官网https://www.zerotier.com/download/具体的注册操作请参考如下连接：
  • uniapp uts 插件开发指南 ReyZhang uniappios原生插件与混合开发教程uni-apputs插件开发
    一、了解基本概念1.什么是uts语言?官方：uts，全称unitypescript，统一、强类型、脚本语言。它可以被编译为不同平台的编程语言，如：web平台，编译为JavaScriptAndroid平台，编译为KotliniOS平台，编译为Swift（HX3.6.7+版本支持）harmonyOS平台，编译为ArkTS（HX4.22+版本支持）在现有架构下，ArkTS和JS在同一环境下执行，不涉及通
  • 亚马逊云科技助力全球电子发票合规化进程 taibaili2023 AWS
    亚马逊云科技助力全球电子发票合规化进程关键字:[亚马逊云科技，Peppol，电子发票合规化，全球电子发票，税务合规，发票管理，增值税申报]导读在这场演讲中，演讲者分享了亚马逊云科技如何助力全球电子发票合规化进程。他解释了电子发票的重要性，以及各国政府为何推行电子发票系统。他介绍了电子发票的发展趋势，包括监管模式、持续交易控制模式、标准化格式等。他还分享了亚马逊云科技与经典发票员的合作，利用云服务提
  • 浏览器移动端html右边有一点白_手机端页面在项目中遇到的一些问题及解决办法... weixin_39804335
    1.解决页面使用overflow:scroll在iOS上滑动卡顿的问题?首先你可能会给页面的html和body增加了height:100%,然后就可能造成IOS上页面滑动的卡顿问题。解决方案是：(1)看是否能把body和html的height:100%去除掉。(2)在滚动的容器中增加：-webkit-overflow-scrolling:touch或者给body增加：body{overflow-x
  • java课程设计体会_Java课程设计（阶段一） XY LIU java课程设计体会
    1选题选题一算术运算测试题目要求实现十道100以内加减法数学题，能根据题目计算出答案，与输入答案对比，判断做题是否正确，最后计算分数。添加排行榜功能存放到文件或数据库中。使用Java知识String类IO：Reader、Writer类集合：ArrayLiastsort()方法选题二猜数游戏题目要求计算机产生随机数，猜中即胜，猜不中，提示是大了还是小了，继续猜，直至猜到，给出所用时间和评语。保留用户
  • java项目打包_Java项目打包方式分析 weixin_39727402 java项目打包
    概述在项目实践过程中，有个需求需要做一个引擎能执行指定jar包的指定main方法。起初我们以一个简单的spring-boot项目进行测试，使用spring-boot-maven-plugin进行打包，使用java-cpdemo.jar.执行，结果报错找不到对应的类。我分析了spring-boot-maven-plugin打包的结构，又回头复习了java原生jar命令打包的结果，以及其他Maven打
  • Python代理池的构建与应用：实现高效爬虫与防封禁策略 程序员威哥 python爬虫开发语言
    在进行大规模网络数据抓取时，IP封禁是最常见的反爬虫手段之一。为了应对这一挑战，代理池成为了一个重要工具。通过构建代理池，爬虫程序可以随机切换代理IP，避免同一IP被频繁访问而导致封禁，确保数据抓取任务的稳定性和持续性。本文将详细介绍如何使用Python构建一个高效的代理池，并结合实际应用场景，讲解如何使用代理池提升爬虫的抓取能力和防封禁策略。一、代理池的工作原理代理池的基本工作原理是，爬虫请求时
  • Python爬虫实战：用Tushare和Baostock爬取股票历史数据及K线图与技术指标计算
    在金融数据分析和量化交易中，股票历史数据的获取是进行技术分析、回测和策略研究的第一步。传统上，投资者需要依赖付费数据服务，然而如今，借助Python强大的爬虫工具和开源数据接口，我们能够轻松地爬取免费的历史股票数据，并结合K线图与技术指标来进行深入分析。Tushare和Baostock是两个非常流行的开源金融数据接口。Tushare提供了丰富的国内外金融数据，特别是A股市场的历史数据和实时数据，而
  • 推荐几本创业者需要掌握的财务管理类书籍 AI布道师阿彬 单独的博客资料创业者财务管理书籍推荐创业
    作为创业者，需要建立一个坚实的财务和管理知识体系。这不仅仅是“看书”，而是通过阅读经典来构建商业思维框架。以下是精心挑选的一系列书籍，并按照从**“入门认知”到“高手进阶”**的逻辑进行分类，每本书都附上了推荐理由，确保它们能精准地解决创业者在创业不同阶段可能遇到的问题。第一部分：财务思维篇(让您看懂钱、管好钱、用好钱)对于技术出身的创始人来说，财务知识不是为了让您成为会计，而是为了让您拥有**“
  • iOS 13 报错:[Assert] Unsupported use of UIKit view-customization API off the main thread 干志雄 iOSios
    萤石摄像头回看，在iOS11上运行好好，在iOS13上却报错了，报错如下：2021-05-1115:36:38.174462+0800App-Beta[1141:430280][Assert]UnsupporteduseofUIKitview-customizationAPIoffthemainthread.-setBackgroundColor:sentto;layer=;contentOffs
  • “2025制造业数字化博览会” 成功举办，商派亮相并赋能制造业数字化转型！ 徐礼昭｜商派软件市场负责人 MRO电商MRO工业品商城家居出海商派
    6月17日，备受瞩目的“2025制造业数字化博览会”暨WOD世界制造业数字化大会在上海新国际博览中心盛大启幕。作为全球首个专注于制造业数字化全场景的专业展会，此次盛会以“数智破局・生态共生：重构全球制造新引擎”为主题，汇聚了来自10个国家和地区的200余家领军企业，吸引约2万名专业观众纷至沓来，共同打造了一个制造业数字化转型、智能化改造的供需精准链接枢纽，为推动全球制造业高质量发展注入强大动力。展
  • C# 与串口通信：解决常见问题的调试技巧与实用建议 威哥说编程 c#单片机stm32
    串口通信作为一种经典的通信方式，在很多领域中仍然广泛应用，尤其是在嵌入式系统、工业自动化、测控系统等场景中。通过串口接口，可以实现设备间的短距离、低速数据传输。C#提供了强大的System.IO.Ports.SerialPort类来支持串口通信的开发，但在实际开发中，开发者常常遇到一些问题，比如数据丢失、串口冲突、波特率不匹配等。本文将深入探讨如何使用C#进行串口通信，结合调试技巧和实用建议，帮助
  • Fiddler中文版抓包工具在跨域与OAuth调试中的深度应用 2501_91600747 httpudphttpswebsocket网络安全网络协议tcp/ip
    跨域和OAuth授权流程一直是Web和移动开发中最容易踩坑的领域。复杂的CORS配置、重定向中的Token传递、授权码流程的跳转，以及多域名环境下的Cookie共享，常常让开发者陷入调试困境。此时，一款能够精准捕获、修改、重放请求的抓包工具显得至关重要，而Fiddler抓包工具正是解决此类难题的核心武器。Fiddler中文网（https://telerik.com.cn/）为跨域和OAuth接入场
  • Fiddler抓包工具在多端调试中的实战应用：结合Postman与Charles构建调试工作流 2501_91600747 httpudphttpswebsocket网络安全网络协议tcp/ip
    在如今前后端分离、接口驱动开发逐渐成为主流的背景下，开发者越来越依赖于各类调试工具，以应对复杂的网络请求管理、多设备调试和跨团队协作等问题。而在诸多网络分析工具中，Fiddler抓包工具以其功能全面、扩展灵活、支持HTTPS抓包和断点调试等特性，在开发者圈中拥有稳定的口碑。本文将从一个更贴近日常开发流程的角度，探讨如何在多端调试、接口测试、数据模拟等环节中，灵活运用Fiddler，并与Postma
  • 荣耀手机应用使用时间查看方法详解 游戏开发爱好者8 httpudphttpswebsocket网络安全网络协议tcp/ip
    荣耀手机如何查看应用使用时间想要了解荣耀手机中各个应用的使用时间吗？接下来，我们将为您详细介绍如何查看这些信息。一、引言在当下智能手机广泛应用的时代，手机应用已然成为我们生活中不可或缺的助手。荣耀手机，作为华为旗下的出色品牌，凭借其出色的性能与丰富的功能，赢得了众多用户的青睐。为了更有效地管理手机使用时间，洞悉个人的应用使用习惯，掌握查看应用使用时间的技巧显得尤为关键。接下来，我们将一步步引导您了
  • 移动端iOS调试与问题解决：WebView调试多工具协作 游戏开发爱好者8 httpudphttpswebsocket网络安全网络协议tcp/ip
    在开发过程中，调试工作不仅仅是前端开发者的职责。当出现复杂的线上问题，调试往往需要涉及到多个团队的协作：前端、后端、测试和运营等。尤其是在移动端WebView页面和原生页面混合开发中，调试工作通常是多部门之间的互动与配合。这篇文章分享了我们在一个社交平台项目中的调试实践，重点讲解了跨团队合作调试中的问题解决策略，并介绍了我们如何通过工具协同与有效沟通，解决了上线后部分用户出现的问题。背景：移动端W
  • 程序员面试中的故障排查：展现问题解决能力的黄金法则
    程序员面试中的故障排查：展现问题解决能力的黄金法则关键词：故障排查、面试技巧、问题解决能力、结构化思维、技术沟通、根因分析、面试场景模拟摘要：在程序员面试中，故障排查类问题是考察候选人“实战能力”的核心环节——它不仅检验技术知识的深度，更能暴露逻辑思维、沟通表达和抗压能力的真实水平。本文将通过“侦探破案”式的类比，结合真实面试场景，拆解故障排查的黄金法则，帮助你在面试中从“解题者”升级为“问题解决
  • 基于OpenCv的图片倾斜校正系统详细设计与具体代码实现 AI大模型应用之禅 人工智能数学基础计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    基于OpenCv的图片倾斜校正系统详细设计与具体代码实现1.背景介绍1.1图像处理的重要性在当今数字时代,图像处理技术在各个领域都扮演着重要角色。无论是在计算机视觉、模式识别、医学影像、遥感探测还是多媒体处理等领域,图像处理都是不可或缺的核心技术。通过对图像进行预处理、增强、分割、特征提取等操作,可以从图像中获取有价值的信息,为后续的分析和决策提供支持。1.2图像倾斜问题及其影响在实际应用中,由于
  • iOS 抓包工具排查接口时区异常：国际化产品调试实战分享 2501_91600747 httpudphttpswebsocket网络安全网络协议tcp/ip
    在开发面向全球用户的应用时，“时间”这个维度的处理远比预期复杂。近期在一个国际化版本中，我们遭遇了一个特殊问题：同一接口在不同国家用户手机上表现不一致，有时返回数据为空，有时返回过期内容。服务端逻辑看似正常，客户端日志也无报错，最终我们通过一套多工具组合的抓包流程，还原出隐藏在跨时区处理差异背后的根因。问题背景与初步症状该功能是一个活动弹窗判断接口：根据当前时间返回用户是否可见活动入口。接口响应结
  • iOS App 上架常见问题解决方案：六大难点与实战工具分工详解 游戏开发爱好者8 httpudphttpswebsocket网络安全网络协议tcp/ip
    作为一名主要负责移动端交付的工程师，iOS上架过程向来是开发周期中最容易“卡壳”的一环，特别是在跨平台项目、资源有限的团队中更为明显。在最近一个智能出行类App项目中，我们团队采用Flutter开发，最终要将成品应用发布至AppStore。在整个过程中，我们遇到了不少实际问题。本文将围绕“上架过程中最棘手的6个典型难点”，结合我们的解决方法和所用工具，进行一次全面复盘。难点一：没有Mac电脑，无法
  • iOS 远程调试与离线排查实战：构建非现场问题复现机制 HTTPwise httpudphttpswebsocket网络安全网络协议tcp/ip
    iOS开发者都知道，调试最怕两个字：“偶发”。用户说App闪退了，你点了十遍也没问题；测试说功能卡顿了，你抓日志时它又顺滑如新。最麻烦的是，这种“现场问题”往往在你连接不到用户设备时发生。面对这种情况，我们团队过去一年逐渐搭建起一套以离线分析为核心的调试流程，即使设备不在身边，也能高效定位问题。本篇文章将围绕以下四类典型场景，拆解我们如何借助一套工具组合来解决：无法重现的崩溃问题用户侧偶发卡顿非越
  • 手机控制载货汽车一键启动无钥匙进入广泛应用
    移动管家载货汽车一键启动无钥匙进入手机控车系统‌，该系统广泛应用于物流运输、工程作业等货车场景，为车主提供了高效、便捷的启动和熄火解决方案，体现了科技进步对物流行业的积极影响‌核心功能‌：简化启动流程，提高便捷性与安全性。‌无钥匙进入‌：车主携带智能钥匙靠近车辆，车门自动解锁并解除防盗；离开时自动上锁防盗‌。‌一键启动‌：踩下刹车，按下一键启动按钮即可启动或熄火车辆，替代传统钥匙‌。‌智能控制‌：
  • 电动汽车一键启动手机撑控无钥匙进入
    移动管家汽车手机智能控制系统具有汽车远程启动、汽车远程熄火、远程开关车门锁、远程断油、远程供油、远程监听车内动态、入侵报警提示、GPS定位、车辆状态信息实时定位等各种智能化实用功能，安装时不改动任何原车线路，适用于所有车型。将手机的控制功能整合到汽车模块，实现手机与汽车之间的智能对接，手机控制汽车,新增APP远程启动熄火,微信云钥匙等多项功能集成一体，用手机控制汽车，实现汽车智能钥匙的成功开启，为
  • 大模型RLHF强化学习笔记（一）：强化学习基础梳理Part1 Gravity! 大模型笔记大模型LLM算法机器学习强化学习人工智能
    【如果笔记对你有帮助，欢迎关注&点赞&收藏，收到正反馈会加快更新！谢谢支持！】一、强化学习基础1.1Intro定义：强化学习是一种机器学习方法，需要智能体通过与环境交互学习最优策略基本要素：状态（State）：智能体在决策过程中需要考虑的所有相关信息（环境描述）动作（Action）：在环境中可以采取的行为策略（Policy）：定义了在给定状态下智能体应该选择哪个动作，目标是最大化智能体的长期累积奖
  • 【k近邻】 K-Nearest Neighbors算法原理及流程 F_D_Z 机器学习方法数理算法学习机器学习k近邻算法k-近邻算法
    【k近邻】K-NearestNeighbors算法原理及流程【k近邻】K-NearestNeighbors算法距离度量选择与数据维度归一化【k近邻】K-NearestNeighbors算法k值的选择【k近邻】Kd树的构造与最近邻搜索算法【k近邻】Kd树构造与最近邻搜索示例k近邻算法（K-NearestNeighbors，简称KNN）是一种常用的监督学习算法，可以用于分类和回归问题。在OpenCV中
  • C++正则表达式语法 Coding小公仔 c/c++c++正则表达式开发语言
    在C++中，正则表达式是处理文本模式匹配和字符串操作的强大工具。C++11及以后的标准库提供了头文件，支持正则表达式的使用。下面是C++正则表达式的核心语法规则和用法：一、基本正则表达式语法1.普通字符直接匹配自身，例如：a匹配字符a。2.元字符（需转义）具有特殊含义的字符，需用反斜杠\转义（在C++字符串中需用双反斜杠\\）。.：匹配除换行符外的任意字符。^：匹配字符串的开头。$：匹配字符串的结
  • java类加载顺序 3213213333332132 java
    package com.demo; /** * @Description 类加载顺序 * @author FuJianyong * 2015-2-6上午11:21:37 */ public class ClassLoaderSequence { String s1 = "成员属性"; static String s2 = "
  • Hibernate与mybitas的比较 BlueSkator sqlHibernate框架ibatisorm
    第一章     Hibernate与MyBatis Hibernate 是当前最流行的O/R mapping框架，它出身于sf.net，现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/R mapping框架。目前属于apache的一个子项目。 MyBatis 参考资料官网：http:
  • php多维数组排序以及实际工作中的应用 dcj3sjt126com PHPusortuasort
    自定义排序函数返回false或负数意味着第一个参数应该排在第二个参数的前面, 正数或true反之, 0相等usort不保存键名uasort 键名会保存下来uksort 排序是对键名进行的 <!doctype html> <html lang="en"> <head> <meta charset="utf-8&q
  • DOM改变字体大小 周华华 前端
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • c3p0的配置 g21121 c3p0
    c3p0是一个开源的JDBC连接池，它实现了数据源和JNDI绑定，支持JDBC3规范和JDBC2的标准扩展。c3p0的下载地址是：http://sourceforge.net/projects/c3p0/这里可以下载到c3p0最新版本。 以在spring中配置dataSource为例： <!-- spring加载资源文件 --> <bean name="prope
  • Java获取工程路径的几种方法 510888780 java
    第一种： File f = new File(this.getClass().getResource("/").getPath()); System.out.println(f); 结果: C:\Documents%20and%20Settings\Administrator\workspace\projectName\bin 获取当前类的所在工程路径; 如果不加“
  • 在类Unix系统下实现SSH免密码登录服务器 Harry642 免密ssh
    1.客户机     (1)执行ssh-keygen -t rsa -C "[email protected]"生成公钥，xxx为自定义大email地址     (2)执行scp ~/.ssh/id_rsa.pub root@xxxxxxxxx:/tmp将公钥拷贝到服务器上，xxx为服务器地址     (3)执行cat
  • Java新手入门的30个基本概念一 aijuans javajava 入门新手
    在我们学习Java的过程中,掌握其中的基本概念对我们的学习无论是J2SE,J2EE,J2ME都是很重要的,J2SE是Java的基础,所以有必要对其中的基本概念做以归纳,以便大家在以后的学习过程中更好的理解java的精髓,在此我总结了30条基本的概念。　　Java概述:　　目前Java主要应用于中间件的开发(middleware)---处理客户机于服务器之间的通信技术,早期的实践证明,Java不适合
  • Memcached for windows 简单介绍 antlove javaWebwindowscachememcached
    1. 安装memcached server a. 下载memcached-1.2.6-win32-bin.zip b. 解压缩，dos 窗口切换到 memcached.exe所在目录，运行memcached.exe -d install c.启动memcached Server,直接在dos窗口键入 net start "memcached Server&quo
  • 数据库对象的视图和索引 百合不是茶 索引oeacle数据库视图
      视图     视图是从一个表或视图导出的表，也可以是从多个表或视图导出的表。视图是一个虚表，数据库不对视图所对应的数据进行实际存储，只存储视图的定义，对视图的数据进行操作时,只能将字段定义为视图,不能将具体的数据定义为视图       为什么oracle需要视图;    &
  • Mockito(一) --入门篇 bijian1013 持续集成mockito单元测试
            Mockito是一个针对Java的mocking框架，它与EasyMock和jMock很相似，但是通过在执行后校验什么已经被调用，它消除了对期望 行为（expectations）的需要。其它的mocking库需要你在执行前记录期望行为（expectations），而这导致了丑陋的初始化代码。  &nb
  • 精通Oracle10编程SQL(5)SQL函数 bijian1013 oracle数据库plsql
    /* * SQL函数 */ --数字函数 --ABS(n):返回数字n的绝对值 declare v_abs number(6,2); begin v_abs:=abs(&no); dbms_output.put_line('绝对值：'||v_abs); end; --ACOS(n):返回数字n的反余弦值，输入值的范围是-1~1，输出值的单位为弧度
  • 【Log4j一】Log4j总体介绍 bit1129 log4j
    Log4j组件：Logger、Appender、Layout   Log4j核心包含三个组件：logger、appender和layout。这三个组件协作提供日志功能： 日志的输出目标 日志的输出格式 日志的输出级别(是否抑制日志的输出)  logger继承特性 A logger is said to be an ancestor of anothe
  • Java IO笔记 白糖_ java
    public static void main(String[] args) throws IOException { //输入流 InputStream in = Test.class.getResourceAsStream("/test"); InputStreamReader isr = new InputStreamReader(in); Bu
  • Docker 监控 ronin47 docker监控
             目前项目内部署了docker，于是涉及到关于监控的事情，参考一些经典实例以及一些自己的想法，总结一下思路。 1、关于监控的内容 监控宿主机本身 监控宿主机本身还是比较简单的，同其他服务器监控类似，对cpu、network、io、disk等做通用的检查，这里不再细说。 额外的，因为是docker的
  • java-顺时针打印图形 bylijinnan java
    一个画图程序 要求打印出： 1.int i=5; 2.1 2 3 4 5 3.16 17 18 19 6 4.15 24 25 20 7 5.14 23 22 21 8 6.13 12 11 10 9 7. 8.int i=6 9.1 2 3 4 5 6 10.20 21 22 23 24 7 11.19
  • 关于iReport汉化版强制使用英文的配置方法 Kai_Ge iReport汉化英文版
    对于那些具有强迫症的工程师来说，软件汉化固然好用，但是汉化不完整却极为头疼，本方法针对iReport汉化不完整的情况，强制使用英文版，方法如下： 在 iReport 安装路径下的 etc/ireport.conf 里增加红色部分启动参数，即可变为英文版。   # ${HOME} will be replaced by user home directory accordin
  • [并行计算]论宇宙的可计算性 comsci 并行计算
          现在我们知道,一个涡旋系统具有并行计算能力.按照自然运动理论,这个系统也同时具有存储能力,同时具备计算和存储能力的系统,在某种条件下一般都会产生意识......       那么,这种概念让我们推论出一个结论     &nb
  • 用OpenGL实现无限循环的coverflow dai_lm androidcoverflow
    网上找了很久，都是用Gallery实现的，效果不是很满意，结果发现这个用OpenGL实现的，稍微修改了一下源码，实现了无限循环功能 源码地址： https://github.com/jackfengji/glcoverflow public class CoverFlowOpenGL extends GLSurfaceView implements GLSurfaceV
  • JAVA数据计算的几个解决方案1 datamachine javaHibernate计算
    老大丢过来的软件跑了10天，摸到点门道，正好跟以前攒的私房有关联，整理存档。 -----------------------------华丽的分割线-------------------------------------     数据计算层是指介于数据存储和应用程序之间，负责计算数据存储层的数据，并将计算结果返回应用程序的层次。J  &nbs
  • 简单的用户授权系统,利用给user表添加一个字段标识管理员的方式 dcj3sjt126com yii
    怎么创建一个简单的(非 RBAC)用户授权系统 通过查看论坛，我发现这是一个常见的问题，所以我决定写这篇文章。 本文只包括授权系统.假设你已经知道怎么创建身份验证系统(登录)。 数据库 首先在 user 表创建一个新的字段(integer 类型),字段名 'accessLevel',它定义了用户的访问权限 扩展 CWebUser 类 在配置文件(一般为 protecte
  • 未选之路 dcj3sjt126com 诗
    作者:罗伯特*费罗斯特   黄色的树林里分出两条路, 可惜我不能同时去涉足, 我在那路口久久伫立, 我向着一条路极目望去, 直到它消失在丛林深处.   但我却选了另外一条路, 它荒草萋萋,十分幽寂; 显得更诱人,更美丽, 虽然在这两条小路上, 都很少留下旅人的足迹.   那天清晨落叶满地, 两条路都未见脚印痕迹. 呵,留下一条路等改日再
  • Java处理15位身份证变18位 蕃薯耀 18位身份证变15位15位身份证变18位身份证转换
      15位身份证变18位，18位身份证变15位 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 201
  • SpringMVC4零配置--应用上下文配置【AppConfig】 hanqunfeng springmvc4
    从spring3.0开始，Spring将JavaConfig整合到核心模块，普通的POJO只需要标注@Configuration注解，就可以成为spring配置类，并通过在方法上标注@Bean注解的方式注入bean。   Xml配置和Java类配置对比如下： applicationContext-AppConfig.xml   <!-- 激活自动代理功能 参看：
  • Android中webview跟JAVASCRIPT中的交互 jackyrong JavaScripthtmlandroid脚本
      在android的应用程序中,可以直接调用webview中的javascript代码,而webview中的javascript代码,也可以去调用ANDROID应用程序(也就是JAVA部分的代码).下面举例说明之: 1 JAVASCRIPT脚本调用android程序    要在webview中,调用addJavascriptInterface(OBJ,int
  • 8个最佳Web开发资源推荐 lampcy 编程Web程序员
    Web开发对程序员来说是一项较为复杂的工作，程序员需要快速地满足用户需求。如今很多的在线资源可以给程序员提供帮助，比如指导手册、在线课程和一些参考资料，而且这些资源基本都是免费和适合初学者的。无论你是需要选择一门新的编程语言，或是了解最新的标准，还是需要从其他地方找到一些灵感，我们这里为你整理了一些很好的Web开发资源，帮助你更成功地进行Web开发。 这里列出10个最佳Web开发资源，它们都是受
  • 架构师之面试------jdk的hashMap实现 nannan408 HashMap
    1.前言。   如题。 2.详述。   (1)hashMap算法就是数组链表。数组存放的元素是键值对。jdk通过移位算法（其实也就是简单的加乘算法），如下代码来生成数组下标(生成后indexFor一下就成下标了）。 static int hash(int h) { h ^= (h >>> 20) ^ (h >>>
  • html禁止清除input文本输入缓存 Rainbow702 html缓存input输入框change
    多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。 如果不想让浏览器缓存input的值，有2种方法： 方法一： 在不想使用缓存的input中添加 autocomplete="off";  <input type="text" autocomplete="off" n
  • POJO和JavaBean的区别和联系 tjmljw POJOjava beans
    POJO 和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Pure Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比 POJO复杂很多， Java Bean 是可复用的组件，对 Java Bean 并没有严格的规
  • java中单例的五种写法 liuxiaoling java单例
    /** * 单例模式的五种写法： * 1、懒汉 * 2、恶汉 * 3、静态内部类 * 4、枚举 * 5、双重校验锁 */ /** * 五、 双重校验锁，在当前的内存模型中无效 */ class LockSingleton { private volatile static LockSingleton singleton; pri
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他