电子书：《深度学习实践-基于caffe的解析》_薛云峰_2018-10-17《深度学习实践基于caffe的解析》_薛云峰_20181017
111
内容简介：
3.32 solver配置33.3训练脚本的编写及其功能3.34训练log解析5.1.2 syncedmemory34cae简单训练分类任务类的作用5测试训练结果52cae训练时层的各个3.6使用训练好的模型进行成员函数的调用顺序预测53cae网络构建函数的解析54cafe层如何使用 proto第4章认识深度学习文件实现反射机制网络中的层4.1工厂模式4.1卷积层的作用与类别54.2层的创建4.1.1卷积层的作用5.5 caffe的调用流程图及41.2卷积分类函数顺序导视4.2激活层的作用与类别56 caffe框架使用的编码思想……1254.2.1激活函数的定义56.1 caffe的总体结构及相关概念56.2cafe数据存储设计……1284.2.2激活函数的类别43池化层的作用与类别第6章基础数学知识43.1池化层的历史⑩06.1卷积层的数学公式及求导4.3.2池化层的作用62激活层的数学公式图像4.3.3池化层分类44全连接层的作用与类别4.5 dropout层的作用及反向计算4.6损失函数层64全连接层的数学公式及求导……13564.1全连接层的前向5章 caffe的框架设计计算及公式推导5.cae中cpu和gpu64.2全连接层的反向结构的融合传播及公式推导
65反卷积层的数学公式及求导…1379.2 multinomial logistic loss函数和对应层的介绍和使用说明…154第7章卷积层和池化层的使用…13993sgm0 d cross entropy i函数和71卷积层参数初始化介绍对应层的介绍和使用说明72池化层的物理意义9.4 softmax loss函数和对应层的73卷积层和池化层输出介绍和使用说明计算及参数说明9.5 euclidean loss函数和对应层的74实践:在cafe框架下用 protox介绍和使用说明定义卷积层和池化层9.6 hinge loss函数和对应层的卷积层参数的编写介绍和使用说明42必须设置的参数infogain loss函数和对应层的743其他可选的设置参数……143介绍和使用说明744卷积参数编写8 tripletloss i的添加及其使用具体示例9.8.1 tripletloss的思想4.5卷积参数编写小建议…1459.82 tripletloss 2梯度推导…19.83新增加第8章激活函数的介绍tripletlosslayer81用relu解决 sigmoid的缺陷…199 coupled cluster loss的添加8.2relu及其变种的对比及其使用83实践:在caf框架下用9.9.1增加loss层prototxt定义激活函数992实现具体示例8.3.1 relu8.3.2 prelu第10章 batch normalize8.3.3 sigmoid层的使用10.1 batch normalize层的原理第9章损失函数9.1 contrastive loss函数和对应层10.2 batch normalize层的的介绍和使用场景
10.3常见网络结构 batch normalize务.在_内.存_中做测试层的位置3.2poco库构建服.务.器指南104 proto的具体写法3.3深度学习服务和传统服务0.5其他归一化层的介绍的区别134深度学习服务如何与传统第11章后台服务进行交互11如何生成回归网络训练13.5人脸识别的数据准备和数据所使用的相关技术112回归任务和分类任务的13.6图像检索任务的介绍异同点13.7在cafe中添加数据输入层…2451.3回归网络收敛性的判断13.7.1具体示例14回归任务与级联模型13.7.2 imagedataparameter参数舍义简介第12章多任务网络的构建3.7.3新增加参数的12.1多任务历史舍义筒介2482多任务网络的数据生成4将新增加的参数加入12.3如何简单建立多任务24近年的多任务深度学习网络……213.7.5代码的编写之必写2.5多任务中通用指导性调参和网络构建结论3.7.6用户自定义函数的2.5.1如何避免出现多任务性能下降的情况3.7.7用户自定义数据的2.52怎样构建性能提升的多任务网络13.7.8代码的实现第13章图像检索和人脸识别第14章深度学习的调参系统实践技巧总结习如何构建成自动化41不变数据的调参的基本原则…265
xi42 caffe fine-tuning调参的结构概述原则和方法14.414.3综合数据调参的指导性1442微软的 residual network442012年以后的经典网络结构
深度学习简介1.1深度学习的历史讲解深度学习.不得不提到人工神经网络.本书就先从神经网络的历史讲起.我们首先来看一下第一代的神经网络神经网络的思想最早起源于1943年的mcp人工神经元模型.当时是希望能够用计算机来模拟人的神经元反应过程.该模型将神经元简化为三个过程:输入信号线性加权求和、非线性激活(阈值法)。第一次将mcp应用于机器学习(分类)的当属1958年 rosenblatt发明的感知器( perceptron)算法。该算法使用mcp模型对输人的多维数据进行二分类.并且还能够使用梯度下降法从训练样本中自动学习更新权值。1962年.感知器算法被证明为能够收敛(数学上在一定的范围之内.可以达到一个稳定的状态.也就是多次运行总能得到差不多的结果).理论与实践的效果引起了神经网络的第一次浪潮然而到了1969年.美guo数学家及人工智能先驱 minsky在其著作中证明了感知器算法本质上是一种线性模型.只能处理线性分类问题.就连最简单的xor(异或)问题都无法正确分类。这相当于直接宣判了感知器算法的死刑.神经网络的研究也陷入了近20
