[Hadoop]傳參數給Map ro Reduce Job
傳參數這部份稿了我好久
因為hadoop 分配jobj我們只能傳進Map根Reduce的class 定義由hadoop 自行分配產生物件
想要傳參數給每個map /reduce job我查了一下hadoop wiki看到了一個方法
透過 JobConf 來傳遞參數
再啟動job之前可以設定config
jobconf.set(String name,String value);
ex : jobconf.set("time","123333");
再要取得參數的mapper reducer中繼承MapReduceBase
複寫他的public void configure(JobConf job)
ex:
public void configure(JobConf job){
String time = job.get("time");
}
如此一來就可以塞參數進去了
因為hadoop 分配jobj我們只能傳進Map根Reduce的class 定義由hadoop 自行分配產生物件
想要傳參數給每個map /reduce job我查了一下hadoop wiki看到了一個方法
透過 JobConf 來傳遞參數
再啟動job之前可以設定config
jobconf.set(String name,String value);
ex : jobconf.set("time","123333");
再要取得參數的mapper reducer中繼承MapReduceBase
複寫他的public void configure(JobConf job)
ex:
public void configure(JobConf job){
String time = job.get("time");
}
如此一來就可以塞參數進去了
留言
張貼留言