- 先验分布和后验分布
先验分布和后验分布是贝叶斯统计学基础理论部分的重要内容。
经典学派规定统计推断是根据样本信息对总体信息进行推断；而贝叶斯学派认为，除了样本信息和总体信息之外，统计推断还应该包含第三种信息——先验信息。
总体信息：总体分布或者总体所属分布族提供的信息。
样本信息：抽取样本所观察得到的信息。
我们周围还存在一些非样本信息，这些信息主要来源于经验和历史资料。由于这些信息大多存在于试验之前，故而称为先验信息。当需要对未来的不确定性作出统计推断时，当前的抽样信息固然重要，但历史资料和经验信息也不可忽视。
基于上述三种信息进行统计推断的统计学称为贝叶斯统计学，它与经典统计学的差别就在于是否充分利用了先验信息。
贝叶斯学派的基本观点是：任何一个未知量θ都可以看作随机变量，可用一个随机变量去描述，这个分布称为先验分布。在获得样本之后，总体分布、样本分布和先验分布通过贝叶斯公式结合起来，得到一个关于未知量θ的新分布——后验分布，任何关于θ的统计推断都应该基于θ的后验分布进行。
随机形式的贝叶斯定理：
一般来说先验分布反映了人们在抽样前对参数θ的认识；后验分布反映了人们在抽样之后对参数θ的认识。实际思想就是通过抽样信息对参数θ的先验信息进行调整，从而得到后验信息。需要说明的是，先验信息和后验信息是一个相对的概念，前一次操作得出的后验信息可以作为后一次操作的先验信息。
- 先验分布的选取
如何选取先验分布是贝叶斯统计学中争议最大的内容。贝叶斯统计要使用先验信息，因此如何从经验和过去的历史资料确定概率和概率分布是贝叶斯统计要解决的一个重要问题。
主观概率：一个事件的概率是人们根据经验对该事件发生的可能性所给出的信念。要注意的是，主观概率和主观臆造有本质的不同，前者要求当事人对所考察的事件有较好的了解和丰富经验，并能对历史信息和相关信息进行仔细分析，在这种事实基础上确定的主观概率是可信的，并不是纯主观的臆造。特别地，当随机现象无法大量重复时，使用主观概率是适当的方法。
无信息先验分布。贝叶斯方法的特点是能够充分利用先验信息来确定先验分布。但是，对于很多统计问题，人们可能没有任何先验信息，这种情况下如何确定先验分布呢？常用处理方法有：选取一个概率密度均匀的均匀分布；先验分布应选取共轭分布。共轭型分布要求先验分布和后验分布属于同一个类型，就是要求经验的知识和现在样本的信息具有某种同一性，它们能转化为同一类经验知识。因此，可以由似然函数（与样本分布有关）去寻找合适的共轭先验分布。
一般来说，无信息先验分布不是唯一的，但他们对贝叶斯推断的结果影响都是很小的，也就是说结果对无信息先验分布的敏感度比较低。所以，选择不唯一，但最好是结合实际问题的情况进行选择。
分层先验分布。如果参数θ的先验分布中又包含了参数a，可对这个超参数a再给出一个超先验分布，这种情况就是分层先验分布，有点类似于链式方法。
在理论上可以分更多层，但在实际应用中多于二层是罕见的。对于第二层的超先验分布，使用主观概率或者历史数据给出是吧有困难的，有人使用无信息分布作为第二层的超先验分布。这样的情况，即使第二层的超先验分布取得不好，但由于第一层的缓冲效应，导致错误结果的危险性更小一些。相对来说，第一步先验分布更为重要一些，选择的时候要慎重。当一步给出先验分布没有把握时，使用分层的方法给出先验分布所冒风险要小一些。
- 统计决策基础
决策论，是关于做决策的问题。统计决策论，是运用统计知识来认识和处理决策问题的某些不确定性，从而做出决策。
统计决策问题的三要素：状态集合，行动集合，损失函数。
未知量θ是影响决策过程的，通常称之为自然状态。当为了得到关于θ的信息而试验时，典型的情况是被设计成观测值服从某一个概率分布，而θ是这个分布的未知参数。此时，参数θ的变化范围即为状态集合。
通常把决策叫做行动（或行为），所有可能的行动的集合称为行动集合。
当处于状态θ，采取行动a，受到的损失用损失函数L（θ，a）来表示。
在决策论中，损失函数是一个关键的因素。状态集合，行动集合，损失函数是构造一个决策问题必不可少的三个基本要素。状态集合或者行动集合中增减一个元素，或者损失函数改变了，都会导致决策问题的改变，从而变成另一个决策问题了。所以讲到一个统计决策问题，就表示状态集合，行动函数和损失函数这三个要素需要给定。
- 贝叶斯决策
仅从统计决策问题的三要素很难找到一个较理想的决策方法。这里的关键问题在于缺少对研究对象更深入的了解。如果能对状态集合有更多的一些认识，将会使人们的水平得到提高。为此，人们想方设法挖掘各自有用的信息。
可供决策用的信息有先验信息和抽样信息，对于这两种信息的使用，形成了不同的决策问题。仅使用先验信息的决策问题，称为无样本信息的决策问题；仅使用抽样信息的决策问题就是经典的统计决策问题；先验信息和抽样信息都使用的决策问题，称为贝叶斯决策问题。
