hbasespringboot实战分布式文件存储hbasespringboot实战分布式文件存储
资源详情
教程名称：xa0 xa0 xa0 xa0xa0hbase+spring boot实战分布式文件存储教程内容：xa0 xa0 熟悉boot就可以入手这门课.如果熟悉linux基本命令 .稍微了解些了解hadoop 会更好.对hdfs不了解也关系不大。我们都知道hdfs有一个数据块（block）的概念。而数据块一般都设置为128m。 hdfs本身其实是不适合存储小文件的。因为小文件也会独占一个数据块。对namenode的内存造成浪费。我们日常应用的数据比如一些文本.图片等等非结构化的数据的存储和管理应该怎么去做呢？或者说我们如何提供一个对象存储服务。对象存储服务我们也有一直在用。我们的重点呢还是在于hbase可以做这个事情。我们要学习hbase.要用hbase来做这个事情。 项目的功能范围到在其次。在课程中有讲到协处理器.并进行开发实战。在实际项目中.一般我们会通过自己在另外的数据库比如mysql或者是搜索引擎比如elasticsearch或者solr进行实现。ad hoc是非定制化.用户可以根据自己需求自定义执行的查询。hbase是可以支持这部分工作的。但是hbase本身对于多个条件的查询支持不好。 本门课程还提到了phoenix.可以通过sql的方式去操作hbase.那么即席查询就更不在话下了。 springboot是我们常用的一个web框架.我们可以将两者结合使用.同理我们也可以用其他web框架甚至其他语言。教程目录：1.课程简介课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览2.hbase简介与环境部署介绍hbase是什么.能做什么.有哪些优缺点.适用于哪些应用场景.与常用关系数据库有什么不同。并配置安装hadoop伪分布式集群.hbase伪分布式集群。为后面章节实战测试提供环境支持。3.hbase原理与实战介绍hbase基础原理.以读写流程为引.结合前面集群部署所展现的hbase三大模块.讲解hbase各个模块之间的协作.帮助我们了解hbase的运行机制。并对hbase进行实战操作.讲解基本的shell命令及ja .va api。重点讲解如何通过过滤器筛选数据…4.hbase进阶讲解hbase的高级特忄生.常用的优化策略.协处理器等.并实战开发协处理器.将开发的协处理器加载到hbase测试环境.验证其功能5.容灾与监控hbase容灾策略的简要介绍.配合命令演示如何对数据进行备份和恢复。简要介绍hbase的监控重要忄生以及常用的监控方式。实战开发通过jmx获取hbase运行时数据.监控集群状态hbase相关工具的介绍和使用.重点讲解phoenix和sqoop。并对两者进行实战操作。7.需求分析与技术选型对象存储服务项目的需求分析及技术选型8.功能梳理与方案设计对象存储服务功能点梳理以及实现方案的设计.讨论两种设计方案的优缺点.进行正式开发前期准备工作。9.子模块-数据库操作模块hos服务基础数据库选用mysql.实现基于mybatis的对mysql数据库的操作模块10.子模块-用户管理模块hos服务用户管理模块开发.包含对用户的增删改查操作11.子模块-权限管理模块hos服务权限管理模块开发.包含对token的增删该查以及授权操作12.子模块-文件管理模块hos服务核心模块 文件管理模块开发.包含bucket的增删改查以及对设计方案一中 hbase相关的操作。13.子模块-接口模块hos服务接口模块的开发.完成登录认证.权限验证以及各个功能的restful api14.子模块-sdk模块hos服务sdk模块开发及测试15.课程总结对整个课程的所用到的理论.技术做一个简单的回顾总结.提出优化的空间
