zeppelin(zeppelin該如何入門使用)

Display System

1. text
   

• 默認使用scala語言輸出text內容
  

• shell
  

2. html
   

• scala 輸出html
  

• shell 輸出html
  

3. table
   

• scala
  

• shell
  

• table
  scala:
  
  shell:
  
  html:
  

Manual

1. 動態表格

• 使用表格模板
  文本輸入格式:
  使用formName模板,使用{formName=defaultValue} 提供默認值
  
  

• 下拉選擇表格
  ${formName=defaultValue,option1|option2…}
  
  k-v格式,${formName=defaultValue,
  option1(DisplayName)|option2(DisplayName)…}
  

• 動態編程
  
  z 是ZeppelinContext對象

• 文本輸入格式
  

• 帶默認值的文本輸入格式
  

• 下拉選擇表格
  

2. Notebook as Homepage
   這部分不是很重,直接看這個鏈接吧,http://zeppelin.incubator.apache.org/docs/manual/notebookashomepage.html

Interpreter

1. spark,http://zeppelin.incubator.apache.org/docs/interpreter/spark.html

2. hive

3. md

4. sh

5. flink

6. and so on
   上面都有涉及,如何使用

Tutorial with Local File

• Data Refine
  下載需要bank數據,http://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank.zip
  首先,將csv格式數據轉成Bank對象RDD,并過濾表頭列

valbankText=sc.textFile("/home/cluster/data/test/bank/bank-full.csv")caseclassBank(age:Integer,job:String,marital:String,education:String,balance:Integer)valbank=bankText.map(s=>s.split(";")).filter(s=>s(0)!="\"age\"").map(s=>Bank(s(0).toInt,s(1).replaceAll("\"",""),s(2).replaceAll("\"",""),s(3).replaceAll("\"",""),s(5).replaceAll("\"","").toInt))//Belowlineworksonlyinspark1.3.0.//Forspark1.1.xandspark1.2.x,//usebank.registerTempTable("bank")instead.bank.toDF().registerTempTable("bank")1234567891011121314151617

• Data Retrieval
  Suppose we want to see age distribution from bank. To do this, run:
  執行以下語句,可看到年齡的分布:

%sqlselectage,count(1)frombankwhereage<30groupbyageorderbyage1

動態輸入maxAge參數(默認是30歲):

%sqlselectage,count(1)frombankwhereage<${maxAge=30}groupbyageorderbyage1

根據婚姻狀況選項,查看年齡分布狀況:

%sqlselectage,count(1)frombankwheremarital="${marital=single,single|porced|married}"groupbyageorderbyage1

Zeppelin的工作方式和Spark的Thrift Server很像,都是向Spark提交一個應用(Application),然后每一個查詢對應一個stage。

因此,在啟動Zeppelin前,可以通過配置環境變量ZEPPELIN_JAVA_OPTS來對即將啟動的Spark driver進行配置,例如“-Dspark.executor.memory=6g -Dspark.cores.max=32”。

關于zeppelin該如何入門使用問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注本站行業資訊頻道了解更多相關知識。