当前位置: 首页 > news >正文

购买域名后 可以做网站么软件开发培训机构

购买域名后 可以做网站么,软件开发培训机构,wordpress交流论坛,国外免费wordpress空间Job那块的断点代码截图省略,直接进入切片逻辑 参考:Hadoop3:MapReduce源码解读之Map阶段的Job任务提交流程(1) 6、CombineFileInputFormat原理解析 类的继承关系 与TextInputFormat切片机制的区别 框架默认的TextI…

Job那块的断点代码截图省略,直接进入切片逻辑
参考:Hadoop3:MapReduce源码解读之Map阶段的Job任务提交流程(1)

6、CombineFileInputFormat原理解析

类的继承关系
在这里插入图片描述
TextInputFormat切片机制的区别

框架默认的TextInputFormat切片机制是对任务按文件规划切片,不管文件多小,都会是一个单独的切片,都会交给一个MapTask,这样如果有大量小文件,就会产生大量的MapTask,处理效率极其低下。
CombineTextInputFormat用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,这样,多个小文件就可以交给一个MapTask处理。

所以,这个切片机制是针对处理大量小文件的,效率比TextInputFormat更高。

切片过程说明
生成切片过程包括:虚拟存储过程和切片过程二部分。
在这里插入图片描述
注意
当剩余数据大小超过设置的最大值且不大于最大值2倍,此时将文件均分成2个虚拟存储块(防止出现太小切片)。
例如setMaxInputSplitSize值为4M,输入文件大小为8.02M,则先逻辑上分成一个4M。剩余的大小为4.02M,如果按照4M逻辑划分,就会出现0.02M的小的虚拟存储文件,所以将剩余的4.02M文件切分成(2.01M和2.01M)两个文件。

案例

准备4个文件
在这里插入图片描述
依然用wordcount案例进行演练
指定文件路径和切片类CombineFileInputFormat

		// 如果不设置InputFormat,它默认用的是TextInputFormat.classjob.setInputFormatClass(CombineTextInputFormat.class);//虚拟存储切片最大值设置4mCombineTextInputFormat.setMaxInputSplitSize(job, 4194304);

在这里插入图片描述

查看执行日志:
number of splits:3
在这里插入图片描述
所以,对应的MapTask线程数量就是3个,Reducer线程数是1个。

http://www.khdw.cn/news/55663.html

相关文章:

  • 市政府网站开发小程序模板
  • html5可以做网站吗农技推广
  • 南京电子商务网站建设合肥做网站公司哪家好
  • 网站建设 重庆汽车营销活动策划方案
  • 深圳外包公司网站广州专业网络推广公司
  • wordpress结构化数据插件优化设计三年级下册数学答案
  • 律师网站模版深圳百度seo整站
  • 检测网站名 注册seo流量排行榜神器
  • 学校网站搭建免费发布活动的平台
  • 衡水外贸网站建设免费建网页
  • o2o苗木网站建设一句简短走心文案
  • wordpress科技网站模板今日军事头条
  • 邯郸wap网站制作网站建设的意义和目的
  • 我是一条龙深圳百度seo代理
  • 淮安谁家做网站今日油价92汽油价格表
  • 网站建设banner官方推广平台
  • 莘县网站建设价格全网营销推广方式
  • 制作网站品牌公司简介微信推广广告在哪里做
  • 如何删除在凡科上做的网站百度搜索风云榜官网
  • 申请公司广州seo推广优化
  • 如何做网站免费推广制作网站需要什么软件
  • 爱网卡微信搜一搜seo
  • 租服务器做网站百度竞价排名价格查询
  • 有哪些网站是做采购招标的seo公司培训课程
  • 网页ui设计流程搜索引擎优化叫什么
  • 做网站要哪些架包能打开各种网站的搜索引擎
  • 在线制作个人网站湖南网站建设工作室
  • 陕西网站建设公司排名神马推广登录
  • wordpress多域名不稳定系统清理优化工具
  • 北京做网站建设价格国外搜索引擎网址