精华推荐
云端运维大师自动化
Redis大厂性能提升 
Linux x86操作系统
深度挖掘大数据+技
审计架构解密 JAVA
Linux企业级运维架
|
944| 9
|
79页 高质量论文级文档-基于HDFS的多用户并行文件IO的设计与实现
[复制链接]
|
|
表 1-1 MPI、Map-Reduce 和Dryad 的对比................................................................ 8
表2-1 Read 和Write 操作的冲突规则...................................................................... 25 表2-2 同一对象上的读写锁的相容性..................................................................... 27 表3-1 HDFS 中的锁的相容性................................................................................... 37 表3-2 HDFS 读写并行的改进目标........................................................................... 41 表4-1 HDFS 相关各包的依赖关系........................................................................... 47 表5-1 改进前对文件完成写、读总耗时.................................................................. 60 表5-2 改进后对文件写、读总耗时......................................................................... 60 表5-3 数据量有损和数据量无损下某种网络安全事件的比例............................... 62 图 1.1 数据面向应用示意图....................................................................................... 3 图1-2 文件系统阶段数据与程序的关系.................................................................... 3 图1-3 数据库系统中的数据与程序的关系................................................................ 5 图1-4 不同通信手段下并行计算技术子任务间的耦合度......................................... 8 图1-5 信息处理技术的三次变革............................................................................... 9 图1-6 云计算和网格计算在google 中的搜索量指数对比...................................... 10 图1-7 云计算的服务类型.......................................................................................... 11 图1-8 Hadoop 的体系构成........................................................................................ 13 图1-9 Hadoop 的主要大客户.................................................................................... 13 图2-1 分布式文件系统服务..................................................................................... 15 图2-2 HDFS 的集中式文件位置解析示意图............................................................ 18 图2-3 分布式文件位置解析示意图.......................................................................... 18 图2-4 结构化和非结构化文件................................................................................. 19 图2-5 基于文件级粗粒度存储................................................................................. 20 图 2-6 基于记录级细粒度存储................................................................................. 20 图 2-7 基于Block 级粒度存储................................................................................. 20 图2-8 访问矩阵 ........................................................................................................ 21 图2-9 上载/下载模型............................................................................................... 21 图2-10 远程访问模型 .............................................................................................. 21 图2-11 严格一致性模型示例................................................................................... 22 图2-12 两个事务使用互斥锁的事例....................................................................... 26 图2-13 Hadoop 下的MapReduce 模型结构.............................................................. 30 图2-14 Hadoop 下Map-Reduce 作业执行流程......................................................... 31 图3-1 HDFS 体系结构示意图................................................................................... 34 图3-2 HDFS 组件和通信.......................................................................................... 34 图3-3 网络 C/S 结构的两层模型和三层模型.......................................................... 36 图3-4 HDFS 的原理及其主要内容........................................................................... 36 图3-5 HDFS 中的读写冲突规则............................................................................... 38 图3-6 HDFS 中的读写冲突的结果........................................................................... 38 图3-7 HDFS 读写并发访问的时序简图（一）........................................................ 38 图3-8 HDFS 读写并发访问的时序简图（二）........................................................ 39 图 3-9 HDFS 读写并发访问的时序简图（三）........................................................ 39 图3-10 基于 HDFS 的海量日志类型数据存储过程................................................ 39 图3-11 基于HDFS 的海量日志类型数据关联分析过程........................................ 40 图3-12 预期的HDFS 文件读写并行时序简图（一） ............................................ 41 图3-13 预期的HDFS 文件读写并行时序简图（二） ............................................ 41 图3-14 Block 的状态转化......................................................................................... 42 图3-15 文件的Block 划分与存储............................................................................ 45 图4-1 Hadoop 系统源码的目录结构......................................................................... 46 图4-2 HDFS 及其所依赖的顶级包........................................................................... 47 图4-3 HDFS 中的文件读取数据流........................................................................... 48 图4-4 HDFS 的文件写入数据流............................................................................... 49 图4-5 HDFS 分布式文件系统的通信协议及对应的源码包..................................... 51 图4-6 ClientProtocol 接口......................................................................................... 52 图4-7 getBlockLocations 方法的相关类图............................................................... 53 图4-8 getBlockLocationsInternal 方法的调用过程................................................... 54 图5-1 服务器安装示意图......................................................................................... 55 图5-2 HDFS 中的文件test1.txt 的属性.................................................................... 56 图5-3 同一文件在不同HDFS 系统的Block 划分和存储....................................... 56 图5-4 读文件操作及控制台输出............................................................................. 57 图5-5 追加文件操作、查看文件信息及控制台输出.............................................. 57 图5-6 文件到Block 的映射列表及存储位置.......................................................... 57 图5-7 读文件操作及控制台输出 ............................................................................. 58 图5-8 追加文件操作及控制台输出......................................................................... 58 图5-9 文件到Block 的映射关系及存储.................................................................. 58 图5-10 对文件执行追加操作的控制台输出............................................................ 59 图5-11 对文件执行读取操作时的控制台输出........................................................ 59 图5-12 追加文件时的控制台输出........................................................................... 59 图5-13 读取文件时的控制台输出........................................................................... 60 图5-14 改进前后文件读写总耗时对比.................................................................... 61 图5-15 在不同时刻数据有损和数据无损实验中某种安全事件所占比例.............. 62
购买主题
本主题需向作者支付 6 金币 才能浏览
| |
发表于 2015-1-29 15:35:28
| ||
发表于 2015-5-5 23:51:58
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||