选自ycombinator博客机器之心编译，作者：Vincent Chen参与：机器之心编辑部。

数学在机器学习中非常重要不论是在算法上理解模型代码，还是在工程上构建系统数学都必不可少。通瑺离开学校后很难有机会静下心学习数学知识因此我们最好能通过阅读小组或读书会等形式营造环境，并专注学习那些在实践中常常需偠用到的数学知识

数学达到什么水平才可以开始机器学习？人们并不清楚尤其是那些在校期间没有研究过数学或统计学的人。

本文的寫作目的是介绍构建机器学习产品或进行相关学术研究所必需的数学背景以及数学在工程和研究中的重要性。这些建议是根据我和机器學习工程师、研究者和教育者交流而得到的当然也有我自己在机器学习研究和业界工作中的个人经验。

为了构建必备的数学背景我首先提出不同的思维模式和策略，帮助大家在学校之外也可以接受数学教育然后，我会给出不同种类机器学习工作所需的数学背景从高Φ水平的统计学和微积分到概率图模型（PGM）的最新进展。希望大家读完本文后能够对自己在机器学习工作中所需要的数学教育有清楚的認知。

很多人害怕数学包括工程师。首先我想解决「擅长数学」这一迷思。

一般精通数学的人有大量和数学有关的实践经验因此，怹们在研究数学时更容易保持专注相比内在能力，学生的思维模式才是决定一个人学习数学能力的关键

不过要想达到这种状态需要付絀大量时间和努力，但是这并不会让你感到无聊下文将帮助大家确定你所需要的数学水平，以及学习策略

作为软件工程的开发者，我們一般有基础的线性代数与矩阵微分学知识也有一些概率论和编程的基础。因此以它们为基础我们只需要根据不同的方向与领域调整知识结构就行。

那么我们该如何在校外学习数学呢我相信学习数学最好的方法是将其作为一份全职工作，也就是学生因为离开了学校，我们很难进行结构化的学习也很难有正向的同龄压力和众多的学习资源。但是在校外学习中我比较推荐成立学习小组或研讨会，它們同样能提供类似学校的学习环境

在研究实验室中，这种课外学习可能是以阅读小组的形式进行我们可以讨论课本中难以理解的地方，也可以讨论自己对它们的见解而学习的环境是支持长期数学学习的动力，因此建立这种环境并意识到数学在工程与研究中的重要性非瑺关键

数学和代码在机器学习工作流程中高度交织在一起。代码通常可以根据数学直观地构建它甚至会共享数学符号与句法。实际上NumPy 等现代数据科学框架令数学运算很容易转化为直观的代码。我们可以将代码作为巩固学习的方式且数学和代码都依赖于对概念的精确悝解与符号表示。例如手动用 NumPy 实现损失函数或最优化算法是理解它们概念非常好的方式。

作为通过代码学习数学的案例我们可以考虑┅个实际的案例，即为神经网络实现反向传播和 ReLU 激活函数作为入门级概念，反向传播是一种依赖于微积分链式求导法则的技术它能高效计算梯度。为了在神经网络中利用链式求导法则我们可以使用 ReLU 激活函数的梯度乘以上游导数。

为了完成反向传播的案例首先我们可鉯可视化 ReLU 激活函数：

为了计算 ReLU 的梯度或斜率，我们可以将其可视化为分段函数其中自变量小于零的地方斜率为 0，自变量大于零的地方斜率恒等于 1

NumPy 可以帮助我们构建 ReLU 函数，使用 maximum 函数可以只输出该函数中所有参数中相对较大的值如下所示 x 为输入，relu 为输出：

ReLU 激活函数的梯度徝可以表示为以下其中 grad 表示为上游梯度：

如果没有首先手动推导出梯度，上述代码可能并不是那么容易理解在我们的代码中，其将所囿满足条件 [x 0 的情况下才能继续向前传播在数学上，这等价于 ReLU 激活函数梯度的分段线性表征它将所有小于 0 的值压缩为 0，并乘上上游梯度

如上所示，若对于微积分有一定的理解那么我们可以清晰地理解这两行基本代码。因为机器学习中很多代码都在描述数学运算因此叻解数学原理对于理解机器学习模型过程非常重要。

构建机器学习产品中的数学

为了完成这一章节我曾与机器学习工程师探讨到底哪些數学对于调试他们的系统最重要。以下一些问题与回答是工程师站在数学的角度下的看法

我们可以使用什么样的降维算法可视化高维用戶数据？方法：主成分分析与 t 分布随机近邻嵌入我们该怎样校准阈值（例如置信度选择 0.9 或 0.8）以阻止一些欺骗性的用户数据方法：概率校准将卫星数据偏向硅谷或阿拉斯加等世界某块具体地区的最好方法是什么？方法：开放性问题也许可以是人口统计学方法

一般而言，统計学和线性代数能以某些方式应用于这些问题然而，为了获得令人满意的回答我们通常需要特定领域的方法。如果是这样的话我们該如何选择一些我们需要学习的数学内容？

目前有非常多的资源可以帮助我们跨越写代码而直接调用函数构建机器学习系统例如数据分析中常用的 scikit-learn 和深度学习中常用的 keras。所以你们可以尝试回答以下关于搭建机器学习流程的问题：

机器学习系统中输入和输出都是什么我们該如何准备合适的数据以拟合系统？如何构建特征或数据以帮助模型提高泛化性能如何为我们的任务定义合适的目标函数？

你可能会比較惊讶定义机器学习系统可能会比较困难，但搭建的流程并不复杂换而言之，构建机器学习产品要求非常多的工程工作但并不要求囿非常深厚的数学背景。

资源：谷歌机器学习应用的四十三条经验法则（附 PDF）

如果一头钻进机器学习工作流你可能会发现在调试机器学習系统时会遇到一些困难。当遇到困难时你知道需要查找什么吗你的权重是不是合理？为什么模型使用一些损失函数不能收敛用什么樣的度量方法衡量模型性能才是合理的？在这个时候对数据分布做出假设、约束最优化方法或采用不同的算法都是非常有帮助的。

通常你可能会发现在建模和调试过程背后有直观的数学原理，例如选择损失函数或评估度量这些数学原理都会帮助我们实现更优的工程决筞。

因此根据实际工程中遇到的数学，再进一步学习这些数学才是更好的方法

这里，我想要描述下对机器学习研究有帮助的数学心态对机器学习研究比较嘲讽的观点认为，它是一种即插即用的系统把大量计算层级堆叠在一起而获得好的表现。在一些圈子里研究人員依然质疑经验性的方法缺乏严谨的数学推导（例如，一些深度学习方法）无法为我们带来广义上的智能。

它担忧研究界可能是建立在巳有的系统与假设上并未扩展我们对机器学习领域的基础理解。研究员们需要贡献新的、基础的研究模块从而用于启发全新的洞见与研究方法。例如像深度学习先驱 Geoff Hinton 提出 Capsule 网络一样它重新考虑图像分类中常用的 CNN 基础。

为了机器学习的下一步跃迁我们需要提出基础问题。这需要对数学的熟练掌握就像深度学习书籍的作者 Michael Nielsen 描述的「有趣的多探索」。这个过程可能经历数千小时的思考、提问、推翻问题寻求新的视角「有趣的探索」能让科学家提出深度、有洞见的问题，超越简单的想法和架构

要清楚，在机器学习研究中不可能什么都學。为了正确地「有趣探索」需要你遵照自己的兴趣，而不是一直计较最热的新研究

机器学习是一个异常丰富的研究领域，有大量未解决的问题：公正、可解释性、易用性如同所有的学科一样，基本思想不是请求式的过程需要耐心地用高级数学框架思考重大难题的解决方案。

我希望我没有把「研究数学」描述得过于难懂因为使用数学的思路应该以直观的方式表现。悲哀的是许多机器学习论文仍嘫充满大量复杂的、前后矛盾的术语，关键直觉难以理解作为学生，你可以为自己、为这个领域做个伟大贡献：通过博客、推特等方式紦这些密集的论文转写为可消化的直觉知识块以 distill.pub 为例，它就专注于提供对机器学习研究的清晰解释换言之，把技术思路的解释作为学習探索的方式有趣而又有帮助。

希望本文能够帮助大家针对机器学习提高数学水平

不同的问题要求不同的数学水平，我鼓励大家首先悝清自己的目标如果你希望构建产品，那么寻求同伴和研究小组通过向最终目标的前进而激励自己学习。在学界研究中广泛的数学基础可以帮助贡献新的基础构造块，进而推动领域发展通常，数学（尤其是研究论文形式的数学）令人望而生畏但是「沉醉其中」是學习过程的一大部分。

谁有跟谁学施老板模型初三模型掱稿留下联系方式。价格在学生党能承受的范围之内就行!谢谢!

高中生物细节很重要重要重要褙诵很重要重要重要，分享一些必须掌握又极易忽视的内容

1.蛋白质结构多样性的直接原因是组成蛋白质的氨基酸的种类不同、数目成百仩千、排列顺序千变万化，肽链的盘曲、折叠方式及其形成的空间结构千差万别；蛋白质多样性的根本原因是基因的多样性(注意“直接” “根本”)

2.吃熟鸡蛋容易消化的原因：高温引起蛋白质不可逆的永久变性失活，使蛋白质分子的空间结构变得伸展、松散肽键更容易和疍白酶结合，更易水解

3.脂肪作为储能物质比糖类更有优势，是因为脂肪和糖类相比氧元素比例较低，碳和氢元素比例较高因此脂肪茬氧化分解时比相同质量的糖类耗氧多，产生的能量也多

4.蓝藻无叶绿体，但能进行光合作用的原因是蓝藻含有光合色素（藻蓝素和叶绿素）和与光合作用有关的酶

5.细胞核的功能：是遗传信息库，是细胞代谢和遗传的控制中心

6.主动运输的意义：保证了活细胞能够按照生命活动的需要主动吸收所需要的营养物质，排出代谢废物和对细胞有害的物质

7.细胞分裂间期的特点是完成DNA分子的复制和有关蛋白质的合荿，为分裂期做准备；细胞有适度的生长细胞体积增大。

8.减数第一次分裂染色体数目减半的原因是同源染色体分别移向两极平均进入2個子细胞。

9.老年人的白发与白化病患者白发的原因不同：前者是由于头发基部的黑色素细胞衰老细胞中酪氨酸酶活性降低，黑色素合成減少；白化病患者是细胞中控制合成酪氨酸酶的基因异常不能合成酪氨酸酶，细胞中缺少酪氨酸酶所致

10.原癌基因主要负责调节细胞周期，控制细胞生长和分裂的进程；抑癌基因主要是阻止细胞不正常的增殖

11.酶具有高效性的原因：同无机催化剂相比，酶降低活化能的作鼡更显著因而催化效率更高。

12.唾液淀粉酶在60℃环境中处理后再增加底物，反应产物的总量不再变化原因是该酶在高温下已变性失活，失去催化能力

13.“银烛秋光冷画屏，轻罗小扇扑流萤天阶夜色凉如水，卧看牵牛织女星”诗中描述的萤火虫发光的原理是萤火虫尾蔀细胞中的荧光素接受ATP提供的能量后被激活，在荧光素酶的催化作用下激活的荧光素与氧发生化学反应，形成氧化荧光素而发光

14.土壤板结时光合述率下降的原因是土壤板结，导致土壤中缺氧根细胞呼吸产生的ATP减少，

影响了矿质元素的吸收从而影响了光合色素和酶的匼成，光合作用减弱

15.高温、干早环境中植物出现光合午体的原因是为防止水分过度蒸发，气孔部分关闭CO2的供应减少

1.艾弗里的肺炎双球菌体外转化实验中，设置“DNA+DNA酶”组的目的是从反面证明了DNA是肺炎双球菌的遗传物质也证明了DNA的水解产物不是遗传物质。

2.翻译效率很高原因是一个mRNA分子上可以相继结合多个核糖体，同时进行多条肽链的合成

3.镰刀型细胞贫血症的发病原因说明了基因控制生物性状的途径之┅是基因通过控制蛋白质的结构直接控制生物体的性状。

4.短尾猫之间相互交配子代中总是出现约1/3的长尾猫，最可能的原因是短尾猫相互茭配子代中显性纯合子短尾猫致死。

5.若基因型为AaBb的个体测交后代出现四种表现型但比例为42%：8%：8%：42%，试解释出现这一结果的可能原因：A、a和B、b两对等位基因位于同一对同源染色体上减数分裂时一部分初级性母细胞发生交叉互换，另一部分初级性母细胞没有发生交叉互换

6.白化病的成因是患者按制酪氨酸酶合成的基因发生突变，导致无法合成该酶无法将酪氨酸转化为黑色素而表现出白化性状。

7.无子西瓜沒有种子的原因是三倍体在减数分裂时染色体联会紊乱无法产生正常配子，因此不能产生种子

8.“收割理论”的内容是捕食者往往捕食個体数量多的物种，这样就会避免出现一种或少数几种生物在生态系统中占据绝对优势的局面为其他物种的形成腾出空间。

1.兴奋：是指動物体或人体内的某些组织（如神经组织）或细胞感受外界刺激后由相对静止状态变为显著活跃状态的过程。

2.兴奋在神经元之间只能单姠传递的原因：神经递质只储存于突触前神经元内只能由突触前膜释放，作用于突触后膜

3.神经调节和体液调节之间的关系可以概括为鉯下两个方面。一方面不少内分泌腺本身直接或间接地受中枢神经系统的调节，在这种清况下体液调节可以看做神经调节的一个环节。另一方面内分泌腺所分泌的激素也可以影响神经系统的发育和功能。

4.营养不良导致组织水肿的原因是蛋白质摄入不足血浆蛋白减少，血浆渗透压下降组织液渗透压相对升高，导致组织水肿

5.寒冷环境中尿液增多的原因是寒冷环境下出汗减少，细胞外液渗透压降低通过下丘脑的调节，使垂体释放的抗利尿激素减少肾小管和集合管对水的重吸收减少，尿量增加

6.人在寒冷环境中经常会打“寒战”，請写出其反射过程：皮肤冷觉感受器→传入神经→下丘脑体温调节中枢→传出神经→骨骼肌收缩

7.植物向光性的原理：单侧光照射时，尖端产生的生长素由向光侧向背光侧发生横向运输背光侧生长素浓度高，再经极性运输到尖端下部导致下部背光侧生长素浓度高，生长速度快植物向光弯曲生长。

8.顶端优势的原理：生长素的两重性植物顶芽产生的生长素向侧芽运输，侧芽生长素浓度高抑制其发育，頂芽生长素浓度低优先发育。

9.种群密度的直接决定因素有出生率和死亡率、迁入率和迁出率

10.群落中植物垂直分层的意义：植物的种类數多，并且有较为复杂的分层现象提高了群落利用光能等环境资源的能力，也能为动物提供复杂的栖息空间和食物条件

11.次生演替比初苼演替时间短的原因是次生演替的原有土壤条件基本保留，甚至还保留了植物的种子或其他繁殖体

12.农业生态系统除草、除虫的意义：调整能量流动的关系，使能量持续高效地流向对人类最有益的部分

13.减缓温室效应的两项主要措施：大力植树造林；减少化石燃料的燃烧（開发新的清洁能源）。

14.人工生态系统需要不断有物质投入的原因：人工生态系统不断会有产品输出根据物质循环原理，需要不断投入物質才能保持生态系统的稳定。

15.如果采用样方法调查某地区（甲地）蒲公英的种群密度正确的做法是随机取样后，计算出每个样方中蒲公英的密度求出所有样方蒲公英密度的平均值，作为甲地蒲公英的种群密度

16.“观察DNA和RNA在细胞中的分布”实验中不能选用哺乳动物成熟嘚红细胞，原因是哺乳动物成熟的红细胞中无细胞核和众多的细胞器几乎不含有DNA和RNA。

17.在观察减数分裂实验中不宜选择动物的卵巢和植物嘚雌蕊原因是动物的睾丸和植物的雄蕊中产生的雄配子数堂远远多于卵巢和雌蕊中产生的雌配子，更易观察到减数分裂且卵巢和雌蕊中嘚减数分裂是不连续的

1.吃腐乳时，你会发现腐乳外部有一层致密的“皮”这层“皮”是前期发酵时在豆腐表面上生长的菌终（葡萄菌絲），它能形成腐乳的“体”使乳成形。

2.无菌技术除了用来防止实验室的培养物被其他外来微生物污染外还能有效避免操作者自身被微生物感染。

3.在干板划线操作的第一步以及每次划线之前都要灼烧接种环的目的：操作的第一步灼烧接种环是为了了避免接种环上可能存茬的微生物污染培养物；每次划线前灼烧接种环是为了杀死上次划线结来后接种环上残留的菌种，使下一次划线时接种环上的菌种直接来源于上次划线的末端。

4.酶的活性指酶催化一定化学反应的能力可用在一定条件下，酶所催化的某一化学反应的反应速度来表示

5.海藻酸钠的浓度影响固定化细胞的质量。如果海藻酸钠浓度过高将很难形成凝胶珠；如果浓度过低，形成的凝胶殊所包埋的酵母细胞的数目少影响实验效果。

6.透析法是利用小分子物质在溶液中可通过半透膜而大分子物质不能通过半透膜的性质，达到分离的目的

7.基因表達载体的构建过程中，使用两种识别序列不同的限制酶切割目的基因和质粒的目的是避免目的基因和质粒的自身环化和随意连接

8.核移植獲得的克隆动物与提供细胞核的亲本性状可能不同的三个原因：卵母细胞的细胞质中含有少量的遗传物质；发育过程中可能发生基因突变戓染色体变异；外界环境可能引起不遗传的变异。

9.对囊胚进行分割时要注意将内细胞团均等分割，否则会影响分割后胚胎的恢复和进一步发育

10.胚胎在受体内存活的最可能的生理基础是受体子宫基本上不对外来胚胎发生免疫排斥反应。

11.生态工程所遵循的基本原理有物质循環再生原理、整体性原理、协调与平衡原理、物种多样性原理、系统学和工程学原理

高中生物要有大纲意识，要有一个整体的把握最恏自己动手做一下思维导图，很多知识点相似又不同要着重区别，背诵要建立在理解的基础图文结合再好不过

最后的最后，如果你们覺得这篇有些帮助的话 介意点个赞什么的么