1. <wbr id="cnjas"><legend id="cnjas"></legend></wbr>

          Linux培訓
          達內IT學院

          400-111-8989

          簡略Spark輸出--Spark入門

          • 發布:Linux培訓
          • 來源:Linux教程
          • 時間:2016-10-24 14:53

          簡略Spark輸出

          Spark(和PySpark)的執行可以特別詳細,很多INFO日志消息都會打印到屏幕。開發過程中,這些非常惱人,因為可能丟失Python棧跟蹤或者print的輸出。為了減少Spark輸出 – 你可以設置$SPARK_HOME/conf下的log4j。首先,拷貝一份$SPARK_HOME/conf/log4j.properties.template文件,去掉“.template”擴展名。

          ~$ cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties

          編輯新文件,用WARN替換代碼中出現的INFO。你的log4j.properties文件類似:

          # Set everything to be logged to the console
           log4j.rootCategory=WARN, console
           log4j.appender.console=org.apache.log4j.ConsoleAppender
           log4j.appender.console.target=System.err
           log4j.appender.console.layout=org.apache.log4j.PatternLayout
           log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
          # Settings to quiet third party logs that are too verbose
           log4j.logger.org.eclipse.jetty=WARN
           log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
           log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=WARN
           log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=WARN

          現在運行PySpark,輸出消息將會更簡略!感謝@genomegeek在一次District Data Labs的研討會中指出這一點。

          預約申請免費試聽課

          填寫下面表單即可預約申請免費試聽!怕錢不夠?可就業掙錢后再付學費! 怕學不會?助教全程陪讀,隨時解惑!擔心就業?一地學習,可全國推薦就業!

          上一篇:設置Spark方法流程--Spark入門
          下一篇:在Spark中使用IPython Notebook

          對Spark編程

          Spark是什么?Spark核心組件

          在EC2上使用Spark

          簡略Spark輸出--Spark入門

          • 掃碼領取資料

            回復關鍵字:視頻資料

            免費領取 達內課程視頻學習資料

          • 視頻學習QQ群

            添加QQ群:1143617948

            免費領取達內課程視頻學習資料

          Copyright ? 2021 Tedu.cn All Rights Reserved 京ICP備08000853號-56 京公網安備 11010802029508號 達內時代科技集團有限公司 版權所有

          選擇城市和中心
          黑龍江省

          吉林省

          河北省

          湖南省

          貴州省

          云南省

          廣西省

          海南省

          欧美做爰视频免费播放_做暖全过程免费的视频_性爱免费视频 百度 好搜 搜狗
          <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>