查看: 1362|回复: 9

HBase 数据文件在HDFS上的存储

  [复制链接]

637

主题

821

帖子

7781

积分

分区版主

Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

贡献
79
技术
53
活跃
11
在线时间
75 小时
擅长技术
思科华为
发表于 2015-2-8 22:01:28 | 显示全部楼层 |阅读模式
在HDFS 上面最不明确的事情之一就是数据的冗余。它完全是自动进行的,因为无法得知其中详细的信息,我们需要做的就是相信它。HBase 完全相信HDFS存储数据的安全性和完整性,并将数据文件交给HDFS 存储。正是因为HDFS 的数据冗余方式对于HBase 来说是完全透明的,产生了一个问题:HBase 的效率会受到多大的影响?说的简单一点,当HBase 需要存取数据时,如何保证有一份冗余的数据块离自己最近?

当我们对HBase 做一次MapReduce 的扫描操作时,这个问题尤其显现出来。所有的RegionServer 都在从HDFS 上面读取数据,理想的状况当然是每个
RegionServer 要读取的数据都离自己很近。这个问题就牵扯到HBase 的数据文件是如何在HDFS 上面存储的。
购买主题 本主题需向作者支付 1 金币 才能浏览

0

主题

265

帖子

1495

积分

Mib

Rank: 4

贡献
0
技术
0
活跃
125
在线时间
10 小时
发表于 2015-5-5 21:40:24 | 显示全部楼层
HBase 数据文件在HDFS上的存储HBase 数据文件在HDFS上的存储

0

主题

92

帖子

673

积分

Kib

Rank: 3Rank: 3

贡献
0
技术
0
活跃
183
在线时间
6 小时
发表于 2015-7-1 22:23:14 | 显示全部楼层
的顶顶顶顶顶的顶顶顶顶顶的顶顶顶顶顶的顶顶顶顶顶

0

主题

77

帖子

435

积分

Kib

Rank: 3Rank: 3

贡献
0
技术
0
活跃
137
在线时间
5 小时
发表于 2015-7-2 22:19:59 | 显示全部楼层
HBase 数据文件在HDFS上的存储

0

主题

77

帖子

425

积分

Kib

Rank: 3Rank: 3

贡献
0
技术
0
活跃
40
在线时间
5 小时
发表于 2015-11-23 09:44:18 | 显示全部楼层
不错,不错,这个正是我需要的东西

0

主题

182

帖子

1149

积分

Mib

Rank: 4

贡献
0
技术
0
活跃
139
在线时间
13 小时
发表于 2015-12-2 08:13:56 | 显示全部楼层
不错,不错,这个正是我需要的东西

0

主题

1424

帖子

9489

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
1449
在线时间
171 小时
发表于 2017-9-23 20:46:49 | 显示全部楼层
感谢分享,感谢分享

0

主题

506

帖子

3084

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
344
在线时间
37 小时
发表于 2018-5-20 09:04:11 | 显示全部楼层
挺好挺好挺好挺好挺好

1

主题

181

帖子

1243

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
218
在线时间
24 小时
发表于 2018-9-12 08:55:24 | 显示全部楼层
6666666666666666666666666666666666
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表