我有一个4G文件，大约有16条铣削线，地图正在与15张地图中的6张地图并行分布地运行。生成35000个密钥。我正在使用MultipleTextoutput，因此每个减速器均独立于其他减速器生成输出。
我已经用25-50个reducer配置了conf，但是它总是一次运行1个reducer。
机器-运行hortonworks堆栈的4核32 G ram单机
如何获得多于1个的reduce任务以并行运行？
通过指定2 GB的低级Reduce内存，映射站点xml中的默认值为6GB，该框架将并行启动3个Reducer，而不是1个。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句