in

hadoop – ¿Dónde están los registros en Spark en YARN?

apple touch icon@2

Soy nuevo en la chispa. Ahora puedo ejecutar Spark 0.9.1 en hilo (2.0.0-cdh4.2.1). Pero no hay ningún registro después de la ejecución.

El siguiente comando se usa para ejecutar un ejemplo de Spark. Pero los registros no se encuentran en el servidor de historial como en un trabajo MapReduce normal.

SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar 
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar 
--class SimpleApp --args yarn-standalone  --num-workers 3 --master-memory 1g 
--worker-memory 1g --worker-cores 1

¿Dónde puedo encontrar los registros / stderr / stdout?

¿Hay algún lugar para establecer la configuración? Encontré una salida de la consola que decía:

14/04/14 18:51:52 Cliente INFO: Comando para ApplicationMaster: $ JAVA_HOME / bin / java -server -Xmx640m -Djava.io.tmpdir = $ PWD / tmp org.apache.spark.deploy.yarn.ApplicationMaster –class SimpleApp –jar ./spark-example-1.0.0.jar –args ‘yarn-standalone’ –worker-memory 1024 –worker-cores 1 –num-Workers 3 1> / stdout 2> / stderr

En esta línea, observe 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr

¿Dónde se puede configurar LOG_DIR?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

swift

Tutorial rápido

hZJfCt6xQ37NHDEaVzuULN 1200 80

10 juegos como The Witcher 3 que son monstruosamente divertidos