谢邀，本人金融数学毕业。
@无情奥拉夫 的回答比较系统，讲清楚了一些关键点，但也略笼统。鉴于看这个回答的小伙伴可能已经有一些初步的了解，对规规矩矩的维基式的回答不一定感冒，我就讲点具体的东西吧。
金融数学作为一门学科，实践性是比较强的，所以离开业界应用来谈金融数学，总感觉有点形而上学。
在这里我个人把现代金融数学的领域分为以下几类（非学术分类）
1. 衍生品定价
2. 电子交易优化
3. 风险管理
4. 组合管理
5. 交易策略
这几大类别其实互有交叉，但各有侧重。下面逐一解释。
1. 衍生品定价
先说衍生品定价，很多人都知道这是最传统的金融数学领域。大概从上世纪六七十年代起，随着Black-Scholes-Merton 期权定价模型的出现，随机微分方程在金融衍生品定价和风险管理领域的应用逐渐受到重视，并逐渐吸引了一些拿到应用数学或物理博士学位的高级理科人才来到银行“Trading Floor”（交易大厅）设计开发复杂衍生品的定价模型。
Black-Scholes这套理论，不仅使得人们对期权这种“权利”的价值理解更为深刻，也在一定程度上推动了华尔街衍生品市场的发展。因为人们终于有了一种理论，告诉我们在完备市场（complete market）可以用标的资产（underlying asset）和无风险债券（risk free bond）完美复制一切Contingent payoff（未来回报基于标的资产价格），这是衍生品定价的核心，叫做“资产定价基本定理”或Fundamental Theorem of Asset Pricing。这套理论是银行进行衍生品做市的理论依据，因为银行总是可以用现货（标的资产）更便宜地复制出衍生品的payoff，然后赚取对冲后的那部分收益（不要问为什么会更便宜，因为银行要赚钱而客户无暇自己复制期权）。这也从另一个角度解释了为什么期权权利金的“fair value”（公平价格）会等于期权的delta hedging cost。感兴趣的朋友可以看相关数学证明。而期权市场价格与反向复制期权的成本之差实际上可以看作另外一种形式的“bid ask spread”。
很多同学在学Black-Scholes模型时，可能和我当年一样并不理解为什么需要公式“计算”期权价格。期权价格难道不是像猪肉一样，由市场供需来决定的吗？这个说法是对的，在流动性高的市场，价格特别透明，所以这类模型只能作为对现实的一种刻画或描述，就像没有谁用模型计算好的猪肉价格进行买卖，而是一定跟随市场价格走势交易。但在流动性不好的市场，比如野猪肉，并没有特别多商贩在交易，而且可能距离上次有人买卖野猪肉也过了很久，那么我怎么知道野猪肉多少钱一斤呢？这时就会有一个模型，以猪肉作为基准进行定价。回到金融市场，这时场内交易的香草期权（或者说普通期权）就充当了猪肉的角色，而场外交易的奇异期权（exotic option）就是野猪肉，因为后者流动性低而且价格不透明。所以真正的“模型定价”往往是在更复杂的衍生品上做的。但bs模型也是有用的，例如风险管理，例如作为奇异期权的波动率参数的基准。很多同学有最开始的疑问，主要是对做市商（卖方）的商业模型不熟悉，对市场机制不熟悉，所以我建议那些还在纠结要不要读金工金数专业的同学先大致了解一下“这些东西有什么用”。我知道很多藤校读金工金数的硕士，甚至到毕业了还是不知道为啥需要一个模型计算期权价格。
2. 电子交易
电子交易这块，也属于所谓“卖方”业务。买方（对冲基金、共同基金、保险公司、资管）在交易股票、期货这种场内产品时，不直接面向交易所，因为不是谁都有席位。就好像你个人交易股票要找券商开户一样，相当于broker （经纪人）代表你在交易所进行交易。而根据你的账户类型，资产规模，信用额度不同，还可以获得不同的杠杆率，这叫做“margin account”。
券商这套商业模型主要是靠收取佣金，为此不仅需要帮你execute order，更需要降低order对市场的冲击成本。试想，A,B,C都找某券商买1万股的Google，一共3万股，如果把这个order 一次性发送到交易所，无可避免的将产生较为不利的价格变动。就好像你今天去买一万斤猪肉，到了菜市场大吼“我要一猪肉一万斤！”那可以想象猪肉价格一定会立刻飙升，因为供需已经完全倾斜。聪明的你应该怎么做呢？Slice order —— 每天买1000斤10天买够？似乎可行，但你立刻又想到，10天期间猪肉价格也会自然浮动，时间线越长价格不确定性越高，而你的风险就越大，最不利的或许就是这十天猪肉价格每日飙升。或许还没当天直接买1万斤划算。
针对这类交易问题，金融数学用运筹、统计工具建模，优化下单模式，以找到时间跨度和每次下单量的一个平衡，使期望成本达到最优。据我所知，不少公众号所谓的机器学习、算法交易占领华尔街，替代交易员，主要指的就是这类传统的经纪业务。
3. 风险管理
风险管理者思考的问题主要是以下几个：一个证券对标的价格、利率、汇率等市场变量的敏感性如何？一篮子证券头寸，相互之间的对冲效应如何，最后的对市场变量的净敏感度如何？如果黑天鹅事件发生，例如某个公司倒闭，债券违约，或是市场发生系统性的暴跌，甚至08年那样的灾难，还未变现的资产价值几何？
在金融风险管理，尤其市场风险这块，概率统计模型是最常用的工具。在我看来，风险建模的本质是找到贴合实际的资产收益分布函数，尤其是该分布的尾部特征（在险价值是最常用的指标，其实就是资产收益分布的尾部百分位数，而Jump to default衡量的是债券违约情形造成的最大损失）。这是相当困难的，因为尾部数据稀缺，尤其是系统性的尾部数据。哪怕可以提出有道理的模型，要实证检验、校准也常费尽周折。
08年是分水岭的一年，之前风险管理在华尔街并未引起足够重视，尤其是尾部风险（Tail Risk），而且也缺乏08年这样一个数据点（别小看这仅有的一个数据点，很多模型就是根据这个点进行校准）。08年后，在联储的带领下监管逐渐加强，模型更加规范。直至今日，”Stress Test”（压力测试）是华尔街风险管理者耳熟能详的一个词。其逻辑就是通过人为的（主观或者通过历史校准）修改模型的一些参数，例如波动率、相关性系数等，观察一篮子证券在此情景下的收益率分布的变化，找出worst scenario，以应对可能发生的黑天鹅事件。
4. 组合管理
较早的证券组合理论可以追溯到1952年美国经济学家马考维茨(Markowitz)提出的Modern Portfolio Theory (MPT)。这其实是一种均值方差模型。人们进行投资，本质上是在不确定性的收益和风险中进行选择。投资组合理论研究“理性投资者”如何选择优化投资组合。所谓理性投资者，是指他们在给定期望风险水平下对期望收益进行最大化，或者在给定期望收益水平下对期望风险进行最小化。这本质上是又是一个数学规划问题。90年代以来又有人把组合优化和贝叶斯理论结合起来，其中最著名的是Black-Litterman模型，这在一定程度上解决了MPT理论中对单个资产期望收益难以用历史数据估计的困境。
如今华尔街还有一种在资管和共同基金中比较流行的组合策略，叫risk parity（也许翻译为风险平摊？），这种组合理论核心要求是在低风险资产（例如债券）和高风险资产（例如股票）间设置一个权重，使得低风险资产贡献的“风险”和高风险资产的贡献相等。这样，这个组合最后的收益率就不会被高风险资产所主导，而是更加均匀的分散在各种资产中。这种策略的逻辑基础其实是高风险资产和避险资产（例如国债）在不同市场风险偏好下表现大相径庭，甚至相对而行，在风险上进行均匀分配也就意味着投资收益会更加稳定。
5. 交易策略
当人们开始想到把数学统计模型运用到证券投资与交易上时，买方的量化交易员/研究员就自然出现了（其实组合管理广义上也是交易策略的一部分）。首先想要强调的是买方的量化交易策略是一个范畴特别广的领域，并不仅限于证券收益率的预测，还包括相对价值判断、对冲策略、宏观择时、指数策略、多因子择时策略等。这些策略，或者说金融数学在买方投资决策中的应用，是极其多样而充满创造性的，以至于笔者也无法找到某一个数学分支，作为所有策略的基础。
其中一大类主要是依赖单个证券、指数的历史数据，建立某种统计或机器学习模型，来预测其未来一段时间的价格走势。这类模型一般都是监督学习，例如回归、时间序列、随机森林、人工神经网络等。其难点是容易overfit，金融市场有太多的噪音，难以判断哪些是真正的信号。
另外一大类是研究资产的相对价值，类似在金融时间序列里研究两个时序的协整。通过找到两种资产之间的相对平稳关系，建立均值回归模型，在触发信号时买入低估的资产，卖出高估的资产，如股票中的“配对交易”（pair trading），固定收益中的“相对价值”（relative value）。
还有一类策略则把股票或者债券收益用一系列的因子（factor）去解释。其思想最早发源于CAPM（资本资产定价模型），其中描述了风险补偿（风险资产相对于无风险资产的超额回报）的一种线性模型。Fama-French在此基础上提出三因子模型，因为他们发现市场系统性风险（所有股票共同的factor）的beta不能完全解释不同股票的回报率差异，而市值和账面市值比两个因素则可以进一步解释这部分差异。之后，三因子模型又被扩展为四因子、五因子等等。当单个证券的收益率都被因子所分解之后，我们再用另外一幅棱镜看这些投资标的：它们不再是一个一个的公司、股票，而是一堆由不同权重组成的“factor”。进一步，我们在构建组合时（又回到了组合管理），思考的就不再是如何分配风险到行业、个股，而是如何分配权重到不同的factor，因为不同的证券含有common factors。那么既然投资标的已经变成了不同的因子，那所有的择时模型、标的筛选都自然而然的平移到因子上来做，最后给投资者一个较为个性化的“增强指数”收益。这个领域会用到特别多的线性代数和统计理论。
码字辛苦，如果觉得不错，动动小指头点个赞吧。(‵▽′)
最后补充一点与题无关的杂感：
在我看来，量化基金的机器学习模型和基金经理的作用是一样的。或者说，每个主观基金经理其实都是一个机器学习模型，而他们曾经的十多年从业经验就是用于校准模型的数据。经验越丰富，数据越长，其潜意识中的“参数估计”（或者说给不同定价因子赋予的权重）就越robust，越能够排除短期的噪音干扰。更有趣的是，基金经理对市场有不同的看法，往往就是因为他们的经历（data）不一样，因此给不同的pricing factor的权重赋值不一样。优秀的基金经理才能找到dominant pricing factor（什么才是目前影响市场价格的要素）。但与此同时，一个从业时间相当长的基金界经理也可能陷入过度依赖经验的误区，有时需要花更长时间才能适应市场的“新常态”，这就好比模型的参数估计区间太长，难以快速调整。
