电子书：《spark全栈数据分析》_王道远译_2018-11-01《spark全栈数据分析》_王道远译_20181101
111
内容简介：
敏捷开发的环境:提高生产效率第2章敏捷工具可伸缩性=易用性sg00敏捷数据科学之数据处理搭建本地环境配置要求配置 vagrant下载数据搭建ec2环境下载数据33483下载并运行代码运行代码jupyter笔记本敏捷开发工具栈的要求python 3使用json行和 parque序列化事件收集数据使用spak进行数据处理使用 mongodb发布数据使用 elasticsearch搜索数据使用 apache kafka分发流数据使用 pyspark streaming处理流数据使用 scikit-learm与 spark mllib进行机器学习使用 apache airflow(孵化项目)进行调度反思我们的工作流程轻量级网络应用展示数据
本章小结第3章数据.飞行航班数据航班准点情况数据openflights数据库敏捷数据科学中的数据处理结构化数据vs.半结构化数据sql vs nosql.nosql与数据流编程……sql t nosql中的表结构…数据序列化动态结构表的特征提取本章小结第‖部分攀登金字塔第4章记录收集与展示整体使用航班数据收集与序列化航班记录处理与发布把航班记录发布到 mongodb.在浏览器中展示航班记录使用jna2渲染html5页面敏捷开发检查站列出航班记录使用 mongodb列出航班记录
搜索航班数据创建索引发布航班数据到 elasticsearch过网 页搜索航班数据本章小结第5章使用图表进行数据可视化119图表质量:迭代至关重要用发布装饰模型伸缩数据库121阶形式选择一种形式探究时令性查询并展示航班总数提取“金属”(飞机(实体)132提取机尾编号评估飞机记录数据完善页表单_逆.向_工程收集机尾编号自动化表单提交从html中提取数据评价完善后的数据本章小结第6章通过报表探索数据149使用 pyspark把航空公司定义为飞机的分组emongodb中查询航空公司数据在 flask中构建航空公司页面添加回到航空公司页面的链接目录仅供事商业用途或交流学习使用
创建一个包括所有航空公司的主页整理半结构化数据的本体关系改进航空公司页面整合维基_百[]科_内容把扩充过的航空公司表发布到 mongodb在网 页上扩充航空公司信息调查飞机(实体)嵌套査询vs.数据流编程不使用嵌套查询的数据流编程spark sql中的子查询创建飞机主页在飞机页面上添加搜索创建飞机制造商的条形图.172对飞机制造商条形图进行迭代实体解析:新一轮图表迭代本章小结第7章进行预测185预测的作用预测什么预测分析导论探索航班延误使用 pyspark提取特征使用 scikit-learn构建回归模型读取数据数据采样向量化处理结果准备训练数据稀疏矩阵与稠密矩阵
准备实验训练模型测试模型使用 spark mllib构建分类器使用专用结构加载训练数据处理空值用 route(路线)替代 flightnum(航班号)00对连续变量分桶以用于分类211使用 pyspark. mlfeature向量化处理特征用 spark ml做分类本章小结第8章部署预测系统把 saiki-leam应用部署为网络服务scikit-leart模型的保存与读提供预测模型的准备工作为航班延误回归分析创建api测试api在产品中使用api使用 airflow部署批处理模式 spark ml应用spark ml模型的训练、存储与加载在 mongodb中创建预测请求从 mongodb中获取预测请求吏用 spark ml以批处理模式进行预测用 mongol保存预测结在网络应用中展示批处理预测结果253用 apache airflow(孵化项目)自动化工作流.256用 spark streaming部署流式计算模式 spark ml应用在生产环境中收集训练数据
#############################################
