今天为大家准备了一篇关于Numpy的图解教程，本文用可视化的方式介绍了 NumPy 的功能和使用示例。
NumPy 软件包是 Python 生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。Python 的一些主要软件包（如 scikit-learn、SciPy、pandas 和 tensorflow）都以 NumPy 作为其架构的基础部分。除了能对数值数据进行切片（slice）和切块（dice）之外，使用 NumPy 还能为处理和调试上述库中的高级实例带来极大便利。
本文将介绍使用 NumPy 的一些主要方法，以及在将数据送入机器学习模型之前，它如何表示不同类型的数据（表格、图像、文本等）。
import numpy as np
创建数组
我们可以通过传递一个 python 列表并使用 np.array（）来创建 NumPy 数组（极大可能是多维数组）。在本例中，python 创建的数组如下图右所示：
[img=677px,222]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6as5fHqrFAYO~tplv-tt-large.image?x-expires=1986471303&x-signature=zpsBj4bWYyrbCNA%2Fiz6ND0H9iRQ%3D[/img]
通常我们希望 NumPy 能初始化数组的值，为此 NumPy 提供了 ones()、zeros() 和 random.random() 等方法。我们只需传递希望 NumPy 生成的元素数量即可：
[img=677px,141]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6as6ODJtkyeg~tplv-tt-large.image?x-expires=1986471303&x-signature=dZZkFmnbrPESkjlDw7b3%2Fy08830%3D[/img]
一旦创建了数组，我们就可以尽情对它们进行操作。
数组运算
让我们创建两个 NumPy 数组来展示数组运算功能。我们将下图两个数组称为 data 和 ones：
[img=677px,106]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6as6zI0lqN0r~tplv-tt-large.image?x-expires=1986471303&x-signature=lvQOQb19rmRwhQ24Ad4Nk5MA8co%3D[/img]
将它们按位置相加（即每行对应相加），直接输入 data + ones 即可：
[img=677px,130]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6as7rF3IrYBL~tplv-tt-large.image?x-expires=1986471303&x-signature=0kp8FJweD0p4gntxUECL42Wepvw%3D[/img]
当我开始学习这些工具时，我发现这样的抽象让我不必在循环中编写类似计算。此类抽象可以使我在更高层面上思考问题。
除了「加」，我们还可以进行如下操作：
[img=677px,77]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6as8Ob9DUhn~tplv-tt-large.image?x-expires=1986471303&x-signature=KRYADOGGqjIA%2BojZ3eKnY6QjY8E%3D[/img]
通常情况下，我们希望数组和单个数字之间也可以进行运算操作（即向量和标量之间的运算）。比如说，我们的数组表示以英里为单位的距离，我们希望将其单位转换为千米。只需输入 data * 1.6 即可：
[img=677px,72]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6aseB1wvAQ2W~tplv-tt-large.image?x-expires=1986471303&x-signature=khkJkYn3KUdRdrPOmgVqc6lGo7A%3D[/img]
看到 NumPy 是如何理解这个运算的了吗？这个概念叫做广播机制（broadcasting），它非常有用。
索引
我们可以我们像对 python 列表进行切片一样，对 NumPy 数组进行任意的索引和切片：
[img=677px,151]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6asel5MrMyR9~tplv-tt-large.image?x-expires=1986471303&x-signature=jKnwMIiWRRhOG0%2BH0qLIZDACVUE%3D[/img]
聚合
NumPy 还提供聚合功能：
[img=677px,115]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6asgGB8aijLN~tplv-tt-large.image?x-expires=1986471303&x-signature=IUd9CioLaEIW3onaYGyc57u1feY%3D[/img]
除了 min、max 和 sum 之外，你还可以使用 mean 得到平均值，使用 prod 得到所有元素的乘积，使用 std 得到标准差等等。
更多维度
上述的例子都在一个维度上处理向量。NumPy 之美的关键在于，它能够将上述所有方法应用到任意数量的维度。
创建矩阵
我们可以传递下列形状的 python 列表，使 NumPy 创建一个矩阵来表示它：
np.array([[1,2],[3,4]])
我们也可以使用上面提到的方法（ones()、zeros() 和 random.random()），只要写入一个描述我们创建的矩阵维数的元组即可：
[img=677px,114]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6ashQ5dGWZHE~tplv-tt-large.image?x-expires=1986471303&x-signature=ApjAPipswJ8S0wqhKo5vXqm0hHI%3D[/img]
矩阵运算
如果两个矩阵大小相同，我们可以使用算术运算符（+-*/）对矩阵进行加和乘。NumPy 将它们视为 position-wise 运算：
[img=677px,115]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6ashwEDjDNTZ~tplv-tt-large.image?x-expires=1986471303&x-signature=y8z6z5Y2oyX8tiJD5WYIQjmobx8%3D[/img]
我们也可以对不同大小的两个矩阵执行此类算术运算，但前提是某一个维度为 1（如矩阵只有一列或一行），在这种情况下，NumPy 使用广播规则执行算术运算：
点乘
算术运算和矩阵运算的一个关键区别是矩阵乘法使用点乘。NumPy 为每个矩阵赋予 dot() 方法，我们可以用它与其他矩阵执行点乘操作：
[img=677px,160]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fvWcBtztBic~tplv-tt-large.image?x-expires=1986471303&x-signature=JAIcBi7HRGks2qlMcVKe%2FtzAHu8%3D[/img]
我在上图的右下角添加了矩阵维数，来强调这两个矩阵的临近边必须有相同的维数。你可以把上述运算视为：
[img=677px,157]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fvXNACBmgqR~tplv-tt-large.image?x-expires=1986471303&x-signature=lStn8tgCzOwKj8K14TPSvriod24%3D[/img]
矩阵索引
当我们处理矩阵时，索引和切片操作变得更加有用：
[img=677px,187]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fvXvI7PYhW1~tplv-tt-large.image?x-expires=1986471303&x-signature=dhH7p4SpY6rzGv8puLUHJyt7HBo%3D[/img]
矩阵聚合
我们可以像聚合向量一样聚合矩阵：
[img=677px,122]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fvYM2qDhvWk~tplv-tt-large.image?x-expires=1986471304&x-signature=RlYMOE4X2ZENTAre9%2F91hM2S4Hc%3D[/img]
我们不仅可以聚合矩阵中的所有值，还可以使用 axis 参数执行跨行或跨列聚合：
[img=677px,113]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fvZ3H5o3sXZ~tplv-tt-large.image?x-expires=1986471304&x-signature=fn5LcNDbYt1vr9ph%2BdNVoUfwQx0%3D[/img]
转置和重塑
处理矩阵时的一个常见需求是旋转矩阵。当需要对两个矩阵执行点乘运算并对齐它们共享的维度时，通常需要进行转置。NumPy 数组有一个方便的方法 T 来求得矩阵转置：
[img=677px,257]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fw3j576pONp~tplv-tt-large.image?x-expires=1986471304&x-signature=xtPx5HWOxVO1s8eN%2FCpZm%2Bp1LoY%3D[/img]
在更高级的实例中，你可能需要变换特定矩阵的维度。在机器学习应用中，经常会这样：某个模型对输入形状的要求与你的数据集不同。在这些情况下，NumPy 的 reshape() 方法就可以发挥作用了。只需将矩阵所需的新维度赋值给它即可。可以为维度赋值-1，NumPy 可以根据你的矩阵推断出正确的维度：
[img=677px,236]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fw6E6Lz9pRi~tplv-tt-large.image?x-expires=1986471304&x-signature=eKeQ4PMsBT5qKFA02iUpwU8ltmQ%3D[/img]
再多维度
NumPy 可以在任意维度实现上述提到的所有内容。其中心数据结构被叫作 ndarray（N 维数组）不是没道理的。
[img=677px,171]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fw7JDV7PazV~tplv-tt-large.image?x-expires=1986471304&x-signature=3xOnJEaY5pBIZ4B9%2B6EW%2B%2FWELRg%3D[/img]
在很多情况下，处理一个新的维度只需在 NumPy 函数的参数中添加一个逗号：
[img=677px,199]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fw7iFJgwWGY~tplv-tt-large.image?x-expires=1986471304&x-signature=O2wyadmLUxTlIAY89n7ZVT9XSms%3D[/img]
实际用法
以下是 NumPy 可实现的有用功能的实例演示。
公式
实现可用于矩阵和向量的数学公式是 NumPy 的关键用例。这就是 NumPy 是 python 社区宠儿的原因。例如均方差公式，它是监督机器学习模型处理回归问题的核心：
[img=677px,104]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fw8H9vbjeFX~tplv-tt-large.image?x-expires=1986471304&x-signature=JS1NVrTpwGWtmT2rVnQUZbYNL%2FM%3D[/img]
在 NumPy 中实现该公式很容易：
[img=677px,38]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fwhnsMAzro~tplv-tt-large.image?x-expires=1986471304&x-signature=6WjLxtiPe9Ey%2Be3j9aKPVsK1JC4%3D[/img]
这样做的好处在于，NumPy 并不关心 predictions 和 labels 包含一个值还是一千个值（只要它们大小相同）。我们可以通过一个示例依次执行上面代码行中的四个操作：
[img=677px,145]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fwiSG00g1KS~tplv-tt-large.image?x-expires=1986471304&x-signature=jdpjmviUZV6cUBlP%2FR2GeIC0Kqo%3D[/img]
预测和标签向量都包含三个值，也就是说 n 的值为 3。减法后，得到的值如下：
[img=677px,115]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fwjOAfUTt8h~tplv-tt-large.image?x-expires=1986471304&x-signature=5KfmbIE8vs59ms4w4ScOFPrZqD0%3D[/img]
然后将向量平方得到：
[img=677px,128]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fwjjBWhMcx1~tplv-tt-large.image?x-expires=1986471304&x-signature=PPMu0sH3V1tpMDVuu72RZ4Y62xU%3D[/img]
现在对这些值求和：
[img=677px,148]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fwk66na8op8~tplv-tt-large.image?x-expires=1986471304&x-signature=W0uuYhZrtoxmmkKFfSOfOfG9Y0g%3D[/img]
得到的结果即为该预测的误差值和模型质量评分。
数据表示
考虑所有需要处理和构建模型所需的数据类型（电子表格、图像、音频等），其中很多都适合在 n 维数组中表示：
表格和电子表格
电子表格或值表是二维矩阵。电子表格中的每个工作表都可以是它自己的变量。python 中最流行的抽象是 pandas 数据帧，它实际上使用了 NumPy 并在其之上构建。
[img=677px,259]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fx8wEuwRg8d~tplv-tt-large.image?x-expires=1986471304&x-signature=u1cj7DBmQ06cYGDgrcUDROioB5E%3D[/img]
音频和时间序列
音频文件是样本的一维数组。每个样本都是一个数字，代表音频信号的一小部分。CD 质量的音频每秒包含 44,100 个样本，每个样本是-65535 到 65536 之间的整数。这意味着如果你有一个 10 秒的 CD 质量 WAVE 文件，你可以将它加载到长度为 10 * 44,100 = 441,000 的 NumPy 数组中。如果想要提取音频的第一秒，只需将文件加载到 audio 的 NumPy 数组中，然后获取 audio[:44100]。
以下是一段音频文件：
[img=677px,173]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fx9q1XhT77A~tplv-tt-large.image?x-expires=1986471304&x-signature=WapwwnwvnFwCWFODngpv4jTinIA%3D[/img]
时间序列数据也是如此（如股票价格随时间变化）。
图像
图像是尺寸（高度 x 宽度）的像素矩阵。
如果图像是黑白（即灰度）的，则每个像素都可以用单个数字表示（通常在 0（黑色）和 255（白色）之间）。想要裁剪图像左上角 10 x 10 的像素吗？在 NumPy 写入
即可。
下图是一个图像文件的片段：
[img=677px,242]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxAE79gwJ5W~tplv-tt-large.image?x-expires=1986471304&x-signature=nmqjCwTyQkOxwKVJ2YwoQC6ACBI%3D[/img]
如果图像是彩色的，则每个像素由三个数字表示——红色、绿色和蓝色。在这种情况下，我们需要一个三维数组（因为每个单元格只能包含一个数字）。因此彩色图像由尺寸为（高 x 宽 x3）的 ndarray 表示：
[img=677px,270]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxBG6YHCSCB~tplv-tt-large.image?x-expires=1986471304&x-signature=yU%2F5T0EZ4ez22kCHBbMh8%2Br7H4Y%3D[/img]
语言
如果我们处理文本，情况就不同了。文本的数字表示需要一个构建词汇表的步骤（模型知道的唯一字清单）和嵌入步骤。让我们看看用数字表示以下文字的步骤：
模型需要先查看大量文本，再用数字表示这位诗人的话语。我们可以让它处理一个小数据集，并用它来构建一个词汇表（71,290 个单词）：
[img=677px,563]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxBhBfJq87g~tplv-tt-large.image?x-expires=1986471304&x-signature=DTbPef148EnCMAu3VvJDKsqS0Fk%3D[/img]
这个句子可以被分成一个 token 数组（基于通用规则的单词或单词的一部分）：
[img=677px,38]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxfBBdky3MI~tplv-tt-large.image?x-expires=1986471304&x-signature=eI6LST7gh9PjScXsZl%2B2A0h%2F52c%3D[/img]
然后我们用词汇表中的 ID 替换每个单词：
[img=677px,31]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxfq5JTiNtb~tplv-tt-large.image?x-expires=1986471304&x-signature=W2UwRGf6i9y%2BJ9530bI%2BfmfWHV8%3D[/img]
这些 ID 仍然没有为模型提供太多信息价值。因此，在将这一组单词输入到模型之前，我们需要用嵌入替换 token/单词（在本例中为 50 维 word2vec 嵌入）：
[img=677px,119]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxgEBylrHkb~tplv-tt-large.image?x-expires=1986471304&x-signature=ItQASpvx0FYWjtYWFSc6aSGZuT0%3D[/img]
可以看到，该 NumPy 数组的维度为 [embedding_dimension x sequence_length]。出于性能原因，深度学习模型倾向于保留批大小的第一维（因为如果并行训练多个示例，模型训练速度会加快）。在这种情况下，reshape() 变得非常有用。如像 BERT 这样的模型期望的输入形式是：[batch_size，sequence_length，embedding_size]。
[img=677px,186]https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/TA6fxghDALJcBs~tplv-tt-large.image?x-expires=1986471304&x-signature=0Po%2BmXENSbBktEjLEXrwGLLVVdI%3D[/img]
现在这是 numeric volume 形式，模型可以处理并执行相应操作。其他行虽然留空，但是它们会被填充其他示例以供模型训练（或预测）。
来源 : 机器之心
原文链接：https://jalammar.github.io/visual-numpy/ |
|
