这个问题要从物理学、统计学和语源学三个角度来回答。矩，英文为moment。历史上出现的顺序是物理moment -> 统计moment -> 数学moment，并且数学moment完全是对此的归纳，并不是起源。先整理一下历史：力矩这个概念最早是由阿基米德提出的，著名的"给我一个支点，我就能撬动地球"就是关于力矩最著名的名言。
The works of Archimedes including On the Equilibrium of Planes which contains statics and levers, was translated into Latin by Gerard of Cremona (c. 1114–1187 AD). Therefore it seems likely that Archimedes used "moving power" to describe the effect of a lever in moving a mass on the other end, and being proportional to the product of the applied force and its distance from the fulcrum on the other end.
最初的时候阿基米德可能是用"moving power"即"移动能量"来描述这一现象，后来在拉丁语被翻译成movimentum，到英语就变成了moment，中文翻译是矩。另一个容易混淆的概念是momentum, 中文一般翻译成动量，拉丁词源是momentum，意思也是"movement, moving power"。所以moment和momentum本来就是同源，只是到近代科学后被用来指代不同的物理量了。
Moment更被人熟知的含义是"一瞬间"，这个意思可能是从momentum这个拉丁语来的，也有可能是从古法语里moment这个词来的。这个词汇发展到现在，在物理中和在生活中的含义已经很不一样了，但究其根源，都是"移动"的意思。统计学里moment这个概念是从物理学引申出来的。前面的回答都给出了很好的定义，读者也可以参考Moments - Definition of Statistics Terms这里的解释。初学统计的人（包括我自己）往往对"moment"特别是中文翻译"矩"感到困惑，这丝毫不奇怪，因为它离原始含义"to move"或者"移动"已经太远了。统计学上的矩和物理上的矩，都是数学上的矩的特例，英語都是moment。
力矩看似好像和统计没关系，那不妨多加几个力，再看看公式。
设两个力F1和F2分别作用于位置r1和r2，力矩为F1 × r1 + F2 × r2
再看统计的例子，两个量x1和x2，相对权重为w1和w2，加权平均值为x1 w1 + x2 w2
现在看出相同了吧？力矩就是以力为"权"的，位置的加权一阶矩，当然这个权没有归一。 物理里还有一个moment，但是被翻译成了转动惯量。 请自己看定义，统计上这是以质量为"权"的，位置的二阶矩。
现在给出数学上矩的定义：
一个函数f(x)的n阶矩就是对(x-c)n f(x)积分，简单起见，用了函数举例，其实用测度定义得更一般。
如果f(x)是分布函数，这就是统计矩了；
如果f(x)是力的分布，n=1，就是力矩了；
如果f(x)是质量分布，n=2，就是转动惯量了。
其他物理上的moment还有： 磁矩（电流的矩），角动量（动量的矩），电偶极矩（电荷的矩）等