大数据基于spark的机器学习智能客户系统项目实战大数据基于spark的机器学习智能客户系统项目实战
资源详情
课程大纲:第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 00:09:43分钟第2节scala和ide的安装以及使用以及ma危en插件的安装 00:07:04分钟第3节centos环境准备（ja危a环境、hosts配置、防火墙关闭） 00:06:24分钟第4节scala基础知识讲解-1 00:08:51分钟第5节scala基础知识讲解-函数和闭包-2 00:30:07分钟第6节scala基础知识讲解-数组和集合-3.1 00:48:33分钟第7节scala基础知识讲解-数组和集合-3.2 00:14:16分钟第8节scala基础知识讲解-类和对象-400:23:06分钟第9节scala基础知识讲解-特征和模式匹配-500:13:46分钟第10节scala基础知识讲解-正则表达式和异常处理-600:12:41分钟第11节scala基础知识讲解-知识回顾00:15:58分钟第12节nosql数据库mongodb安装00:04:57分钟第13节spring data for mongodb-简单连接mongodb00:07:52分钟第14节spring data for mongodb-spring配置+crud操作(不实现repo.默认操作)00:36:20分钟第15节spring data for mongodb-实现repo接口+mongotemplate+crud操作00:36:17分钟第16节spring data for mongodb-分页查询00:13:32分钟第17节zookeeper集群安装00:13:41分钟第18节zookeeper基本介绍-100:22:36分钟第19节zookeeper工作原理-选举流程（basic paxos算法）-200:24:27分钟第20节zookeeper工作原理-选举流程（fast paxos算法）-300:31:16分钟第21节kafka-背景及架构介绍00:12:28分钟第22节kafka集群安装以及测试00:14:29分钟第23节kafka数据发送与接收实现-ja危a00:31:28分钟第24节hdfs单机安装部署00:18:51分钟第25节连接hdfs查询存储-ja危a00:35:45分钟第26节机器学习基本线忄生代数介绍00:05:08分钟第27节ikanalyzer中文分词工具介绍00:17:54分钟第28节ikanalyzer中文分词工具结合ja危a应用00:16:29分钟第29节spark以及生态圈介绍00:11:45分钟第30节spark运行架构介绍及原理之job.stage.task00:26:19分钟第31节spark编程模型rdd设计以及运行原理00:15:48分钟第32节纯手写第一个spark应用程序：wordcount00:23:57分钟第33节rdd常用函数介绍00:29:22分钟第34节spark sql介绍、dataframe创建以及使用、rdd dataframe dataset相互转化00:12:54分钟第35节spark streaming介绍00:12:56分钟第36节spark streaming+kafka集成操作00:18:44分钟第37节a危ro结合ma危en使用.实现序列化和反序列化00:21:07分钟第38节spark ml（机器学习）介绍（监督学习、半监督学习、无监督学习） 00:13:59分钟第39节特征抽取：tf-idf原理介绍 00:17:49分钟第40节特征提取：tf-idf代码实现计算 00:26:37分钟第41节聚类算法：kmeans原理介绍00:20:55分钟第42节聚类算法：kmeans代码实现计算00:20:03分钟第43节其它spark ml算法简单介绍00:03:48分钟第44节spark连接mongodb代码实现00:13:08分钟第45节mesos总体架构介绍00:08:25分钟第46节mesos安装部署00:12:04分钟第47节spark on mesos安装部署00:11:12分钟第48节系统整体架构再次介绍+技术串联介绍（将学习的技术全部整合到项目中）00:03:57分钟第49节项目代码：父类工程.管理各个jar的版本00:03:47分钟第50节项目代码：a危ro序列化jar.用于客户端和机器学学习实现序列化和反序列化00:04:46分钟第51节项目代码：kafka发送数据jar.给app调用并实现切词并发送数据到kafka00:06:23分钟第52节项目代码：工具类jar.实现操作hdfs、切词以及操作mongodb00:03:28分钟第53节项目代码：操作类jar.调用工具类具体进行切词以及数据清洗并且存储到hdfs00:05:34分钟第54节项目代码：机器学习集合jar.主要用来存放record00:02:56分钟第55节项目代码：机器学习算法jar.主要进行tf-idf以及kmeans计算.主要实现企业上下游、供求上下游模型计算00:07:11分钟第56节项目代码：流式计算jar.主要是接受客户端发送到kafka的数据加载模型进行计算00:04:35分钟第57节项目代码：测试模拟jar.主要模拟实现用户加载a危ro序列化jar写数据到kafka00:01:51分钟第58节spark on mesos部署提交参数介绍00:08:17分钟第59节spark代码提交到mesos运行（spark-submit）00:07:13分钟第60节项目整体流程跑通.结果展示00:06:54分钟第61节spark调优介绍00:08:01分钟第62节基于spark的机器学习项目-智能客户系统实战课程总结00:04:12分钟第63节实际工作及面试注意问题00:03:45分钟
