所谓世人

【GridSearchCV，CV调优超参数使用】【K最近邻分类器 KNeighborsClassifier 使用】【交叉验证】

1、GridSearchCV概貌

这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。

如何实现自动调参：GridSearchCV用于系统地遍历多种参数组合，通过交叉验证确定最佳效果参数。

2、坐标下降

数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法：拿当前对模型影响最大的参数调优，直到最优化；再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整完毕。这个方法的缺点就是可能会调到局部最优而不是全局最优，但是省时间省力，巨大的优势面前，还是试一试吧，后续可以再拿bagging再优化

3、参数和常用的方法

3.1常用方法：

grid.fit()：运行网格搜索

best_params_：描述了已取得最佳结果的参数的组合

best_score_：成员提供优化过程期间观察到的最好的评分

print('网格搜索-度量记录：',grid.cv_results_) # 包含每次训练的相关信息

print('网格搜索-最佳度量值:',grid.best_score_) # 获取最佳度量值

print('网格搜索-最佳参数：',grid.best_params_) # 获取最佳度量值时的代定参数的值。是一个字典

print('网格搜索-最佳模型：',grid.best_estimator_) # 获取最佳度量时的分类器模型

3.2参数

estimator：所使用的分类器，如estimator=RandomForestClassifier(min_samples_split=100,min_samples_leaf=20,max_depth=8,max_features='sqrt',random_state=10), 并且传入除需要确定最佳的参数之外的其他参数。每一个分类器都需要一个scoring参数，或者score方法。

param_grid：值为字典或者列表，即需要最优化的参数的取值，param_grid =param_test1，param_test1 = {'n_estimators':range(10,71,10)}。

scoring :准确度评价标准，默认None,这时需要使用score函数；或者如scoring='roc_auc'，根据所选模型不同，评价准则不同。字符串（函数名），或是可调用对象，需要其函数签名形如：scorer(estimator, X, y)；如果是None，则使用estimator的误差估计函数
cv :交叉验证参数，默认None，使用三折交叉验证。指定fold数量，默认为3，也可以是yield训练/测试数据的生成器。

refit :默认为True,程序将会以交叉验证训练集得到的最佳参数，重新对所有可用的训练集与开发集进行，作为最终用于性能评估的最佳模型参数。即在搜索参数结束后，用最佳参数结果再次fit一遍全部数据集。

iid:默认True,为True时，默认为各个样本fold概率分布一致，误差估计为所有样本之和，而非各个fold的平均。

verbose：日志冗长度，int：冗长度，0：不输出训练过程，1：偶尔输出，>1：对每个子模型都输出。

n_jobs: 并行数，int：个数,-1：跟CPU核数一致, 1:默认值。

pre_dispatch：指定总共分发的并行任务数。当n_jobs大于1时，数据将在每个运行点进行复制，这可能导致OOM，而设置

pre_dispatch参数，则可以预先划分总共的job数量，使数据最多被复制pre_dispatch次

4、K最近邻分类器 KNeighborsClassifier 使用

KNN作为一种有监督分类算法，是最简单的机器学习算法之一，顾名思义，其算法主体思想就是根据距离相近的邻居类别，来判定自己的所属类别。算法的前提是需要有一个已被标记类别的训练数据集，具体的计算步骤分为一下三步：
1、计算测试对象与训练集中所有对象的距离，可以是欧式距离、余弦距离等，比较常用的是较为简单的欧式距离；
2、找出上步计算的距离中最近的K个对象，作为测试对象的邻居；
3、找出K个对象中出现频率最高的对象，其所属的类别就是该测试对象所属的类别。

优点：

特别适合于多分类问题。

缺点：

懒惰算法，进行分类时计算量大，要扫描全部训练样本计算距离，内存开销大，评分慢；

当样本不平衡时，如其中一个类别的样本较大，可能会导致对新样本计算近邻时，大容量样本占大多数，影响分类效果；

可解释性较差，无法给出决策树那样的规则

注意问题：

1、K值的设定
K值设置过小会降低分类精度；若设置过大，且测试样本属于训练集中包含数据较少的类，则会增加噪声，降低分类效果。
通常，K值的设定采用交叉检验的方式（以K=1为基准）
经验规则：K一般低于训练样本数的平方根，k就是我们设置的neighbor的值
2、优化问题
压缩训练样本；
确定最终的类别时，不是简单的采用投票法，而是进行加权投票，距离越近权重越高。
下面这个例子里面的weights，一般只有两个传入的选项

常用的参数

KNeighborsClassifier方法中含有8个参数（以下前两个常用）：
n_neighbors : int, optional (default = 5)：K的取值，默认的邻居数量是5；
weights：确定近邻的权重，“uniform”权重一样，“distance”指权重为距离的倒数，默认情况下是权重相等。也可以自己定义函数确定权重的方式；
algorithm : {'auto', 'ball_tree', 'kd_tree', 'brute'},optional：计算最近邻的方法，可根据需要自己选择；
leaf_size : int, optional (default = 30)
|      Leaf size passed to BallTree or KDTree. This can affect the
|      speed of the construction and query, as well as the memory
|      required to store the tree. The optimal value depends on the
|      nature of the problem.
|
| metric : string or DistanceMetric object (default = 'minkowski')
|      the distance metric to use for the tree. The default metric is
|      minkowski, and with p=2 is equivalent to the standard Euclidean
|      metric. See the documentation of the DistanceMetric class for a
|      list of available metrics.
|
| p : integer, optional (default = 2)
|      Power parameter for the Minkowski metric. When p = 1, this is
|      equivalent to using manhattan_distance (l1), and euclidean_distance
|      (l2) for p = 2. For arbitrary p, minkowski_distance (l_p) is used.
|
| metric_params: dict, optional (default = None)
|      additional keyword arguments for the metric function.

5、GridSearchCV和代入KNN的水仙花例子

from sklearn.datasets import load_iris  # 自带的样本数据集
from sklearn.neighbors import KNeighborsClassifier  # 要估计的是knn里面的参数，包括k的取值和样本权重分布方式
from sklearn.model_selection import GridSearchCV  # 网格搜索和随机搜索

iris = load_iris()

X = iris.data  # 150个样本，4个属性
y = iris.target # 150个类标号

k_range = range(1, 31)  # 优化参数k的取值范围
weight_options = ['uniform', 'distance']  # 代估参数权重的取值范围。uniform为统一取权值，distance表示距离倒数取权值
# 下面是构建parameter grid，其结构是key为参数名称，value是待搜索的数值列表的一个字典结构
param_grid = {'n_neighbors':k_range,'weights':weight_options}  # 定义优化参数字典，字典中的key值必须是分类算法的函数的参数名
print(param_grid)

#KNeighborsClassifier K最近邻分类器
#n_neighbors查询邻居数，默认就是5
knn = KNeighborsClassifier(n_neighbors=5)  # 定义分类算法。n_neighbors和weights的参数名称和param_grid字典中的key名对应


# ================================网格搜索=======================================
# 这里GridSearchCV的参数形式和cross_val_score的形式差不多，其中param_grid是parameter grid所对应的参数
# GridSearchCV中的n_jobs设置为-1时，可以实现并行计算（如果你的电脑支持的情况下）
grid = GridSearchCV(estimator = knn, param_grid = param_grid, cv=10, scoring='accuracy') #针对每个参数对进行了10次交叉验证。scoring='accuracy'使用准确率为结果的度量指标。可以添加多个度量指标
grid.fit(X, y)

print('网格搜索-度量记录：',grid.cv_results_)  # 包含每次训练的相关信息
print('网格搜索-最佳度量值:',grid.best_score_)  # 获取最佳度量值
print('网格搜索-最佳参数：',grid.best_params_)  # 获取最佳度量值时的代定参数的值。是一个字典
print('网格搜索-最佳模型：',grid.best_estimator_)  # 获取最佳度量时的分类器模型

输出的结果如下：

{'n_neighbors': range(1, 31), 'weights': ['uniform', 'distance']}
网格搜索-度量记录： {'mean_fit_time': array([7.00044632e-04, 1.00016594e-04, 2.00033188e-04, 0.00000000e+00,
       0.00000000e+00, 0.00000000e+00, 1.00002289e-03, 1.00004673e-03,
       0.00000000e+00, 0.00000000e+00, 1.00016594e-04, 5.00106812e-04,
       0.00000000e+00, 9.99999046e-04, 1.00002289e-03, 1.00002289e-03,
       0.00000000e+00, 1.00002289e-03, 0.00000000e+00, 1.00004673e-03,
       0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 1.00004673e-03,
       0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 0.00000000e+00,
       1.00004673e-03, 1.00002289e-03, 2.00057030e-04, 4.00042534e-04,
       0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 3.00002098e-04,
       9.99999046e-04, 0.00000000e+00, 1.00002289e-03, 9.99999046e-04,
       0.00000000e+00, 1.00002289e-03, 1.00002289e-03, 0.00000000e+00,
       3.00049782e-04, 0.00000000e+00, 0.00000000e+00, 1.20003223e-03,
       1.00002289e-03, 1.00002289e-03, 0.00000000e+00, 1.00004673e-03,
       0.00000000e+00, 1.00002289e-03, 9.99999046e-04, 1.00002289e-03,
       2.00009346e-04, 9.99927521e-05, 2.00004578e-03, 0.00000000e+00]), 'std_fit_time': array([0.00045829, 0.00030005, 0.00040007, 0.        , 0.        ,
       0.        , 0.00300007, 0.00300014, 0.        , 0.        ,
       0.00030005, 0.00050011, 0.        , 0.003     , 0.00300007,
       0.00300007, 0.        , 0.00300007, 0.        , 0.00300014,
       0.        , 0.        , 0.        , 0.00300014, 0.        ,
       0.        , 0.        , 0.        , 0.00300014, 0.00300007,
       0.00040011, 0.00048995, 0.        , 0.        , 0.        ,
       0.00045826, 0.003     , 0.        , 0.00300007, 0.003     ,
       0.        , 0.00300007, 0.00300007, 0.        , 0.00045833,
       0.        , 0.        , 0.0029598 , 0.00300007, 0.00300007,
       0.        , 0.00300014, 0.        , 0.00300007, 0.003     ,
       0.00300007, 0.00040002, 0.00029998, 0.00400009, 0.        ]), 'mean_score_time': array([0.00090005, 0.00090008, 0.00110002, 0.        , 0.00100005,
       0.        , 0.        , 0.        , 0.00200002, 0.00100002,
       0.00050006, 0.00040002, 0.00220003, 0.00100005, 0.        ,
       0.        , 0.        , 0.001     , 0.00100002, 0.001     ,
       0.        , 0.00100005, 0.00200002, 0.        , 0.        ,
       0.        , 0.00200005, 0.00100002, 0.        , 0.        ,
       0.00040004, 0.00140011, 0.00100002, 0.00100002, 0.00010004,
       0.00030005, 0.00100002, 0.        , 0.        , 0.        ,
       0.00100005, 0.        , 0.        , 0.001     , 0.00150006,
       0.        , 0.00110002, 0.00020001, 0.        , 0.        ,
       0.00100002, 0.001     , 0.        , 0.00100002, 0.        ,
       0.00010002, 0.0006001 , 0.00010004, 0.        , 0.00200007]), 'std_score_time': array([0.00053854, 0.00030003, 0.00298161, 0.        , 0.00300014,
       0.        , 0.        , 0.        , 0.00400004, 0.00300007,
       0.00050006, 0.00048992, 0.00391922, 0.00300014, 0.        ,
       0.        , 0.        , 0.003     , 0.00300007, 0.003     ,
       0.        , 0.00300014, 0.00400004, 0.        , 0.        ,
       0.        , 0.00400009, 0.00300007, 0.        , 0.        ,
       0.00048995, 0.0029053 , 0.00300007, 0.00300007, 0.00030012,
       0.00045833, 0.00300007, 0.        , 0.        , 0.        ,
       0.00300014, 0.        , 0.        , 0.003     , 0.00287234,
       0.        , 0.00298168, 0.00040002, 0.        , 0.        ,
       0.00300007, 0.003     , 0.        , 0.00300007, 0.        ,
       0.00030005, 0.00048998, 0.00030012, 0.        , 0.00400014]), 'param_n_neighbors': masked_array(data=[1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8, 9, 9,
                   10, 10, 11, 11, 12, 12, 13, 13, 14, 14, 15, 15, 16, 16,
                   17, 17, 18, 18, 19, 19, 20, 20, 21, 21, 22, 22, 23, 23,
                   24, 24, 25, 25, 26, 26, 27, 27, 28, 28, 29, 29, 30, 30],
             mask=[False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False],
       fill_value='?',
            dtype=object), 'param_weights': masked_array(data=['uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance',
                   'uniform', 'distance', 'uniform', 'distance'],
             mask=[False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False, False, False,
                   False, False, False, False],
       fill_value='?',
            dtype=object), 'params': [{'n_neighbors': 1, 'weights': 'uniform'}, {'n_neighbors': 1, 'weights': 'distance'}, {'n_neighbors': 2, 'weights': 'uniform'}, {'n_neighbors': 2, 'weights': 'distance'}, {'n_neighbors': 3, 'weights': 'uniform'}, {'n_neighbors': 3, 'weights': 'distance'}, {'n_neighbors': 4, 'weights': 'uniform'}, {'n_neighbors': 4, 'weights': 'distance'}, {'n_neighbors': 5, 'weights': 'uniform'}, {'n_neighbors': 5, 'weights': 'distance'}, {'n_neighbors': 6, 'weights': 'uniform'}, {'n_neighbors': 6, 'weights': 'distance'}, {'n_neighbors': 7, 'weights': 'uniform'}, {'n_neighbors': 7, 'weights': 'distance'}, {'n_neighbors': 8, 'weights': 'uniform'}, {'n_neighbors': 8, 'weights': 'distance'}, {'n_neighbors': 9, 'weights': 'uniform'}, {'n_neighbors': 9, 'weights': 'distance'}, {'n_neighbors': 10, 'weights': 'uniform'}, {'n_neighbors': 10, 'weights': 'distance'}, {'n_neighbors': 11, 'weights': 'uniform'}, {'n_neighbors': 11, 'weights': 'distance'}, {'n_neighbors': 12, 'weights': 'uniform'}, {'n_neighbors': 12, 'weights': 'distance'}, {'n_neighbors': 13, 'weights': 'uniform'}, {'n_neighbors': 13, 'weights': 'distance'}, {'n_neighbors': 14, 'weights': 'uniform'}, {'n_neighbors': 14, 'weights': 'distance'}, {'n_neighbors': 15, 'weights': 'uniform'}, {'n_neighbors': 15, 'weights': 'distance'}, {'n_neighbors': 16, 'weights': 'uniform'}, {'n_neighbors': 16, 'weights': 'distance'}, {'n_neighbors': 17, 'weights': 'uniform'}, {'n_neighbors': 17, 'weights': 'distance'}, {'n_neighbors': 18, 'weights': 'uniform'}, {'n_neighbors': 18, 'weights': 'distance'}, {'n_neighbors': 19, 'weights': 'uniform'}, {'n_neighbors': 19, 'weights': 'distance'}, {'n_neighbors': 20, 'weights': 'uniform'}, {'n_neighbors': 20, 'weights': 'distance'}, {'n_neighbors': 21, 'weights': 'uniform'}, {'n_neighbors': 21, 'weights': 'distance'}, {'n_neighbors': 22, 'weights': 'uniform'}, {'n_neighbors': 22, 'weights': 'distance'}, {'n_neighbors': 23, 'weights': 'uniform'}, {'n_neighbors': 23, 'weights': 'distance'}, {'n_neighbors': 24, 'weights': 'uniform'}, {'n_neighbors': 24, 'weights': 'distance'}, {'n_neighbors': 25, 'weights': 'uniform'}, {'n_neighbors': 25, 'weights': 'distance'}, {'n_neighbors': 26, 'weights': 'uniform'}, {'n_neighbors': 26, 'weights': 'distance'}, {'n_neighbors': 27, 'weights': 'uniform'}, {'n_neighbors': 27, 'weights': 'distance'}, {'n_neighbors': 28, 'weights': 'uniform'}, {'n_neighbors': 28, 'weights': 'distance'}, {'n_neighbors': 29, 'weights': 'uniform'}, {'n_neighbors': 29, 'weights': 'distance'}, {'n_neighbors': 30, 'weights': 'uniform'}, {'n_neighbors': 30, 'weights': 'distance'}], 'split0_test_score': array([1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 0.93333333, 1.        ,
       1.        , 1.        , 0.93333333, 1.        , 1.        ,
       1.        , 0.93333333, 1.        , 1.        , 1.        ,
       0.93333333, 1.        , 0.93333333, 1.        , 0.93333333,
       1.        , 0.93333333, 1.        , 0.93333333, 1.        ,
       0.93333333, 1.        , 0.93333333, 1.        , 0.93333333,
       1.        , 0.93333333, 1.        , 0.93333333, 1.        ]), 'split1_test_score': array([0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333]), 'split2_test_score': array([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1.]), 'split3_test_score': array([0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 0.93333333,
       1.        , 0.93333333, 0.93333333, 0.93333333, 0.93333333]), 'split4_test_score': array([0.86666667, 0.86666667, 0.86666667, 0.86666667, 0.86666667,
       0.86666667, 0.86666667, 0.86666667, 0.86666667, 0.86666667,
       0.86666667, 0.86666667, 0.86666667, 0.86666667, 1.        ,
       0.86666667, 1.        , 0.93333333, 1.        , 0.93333333,
       1.        , 0.93333333, 1.        , 0.86666667, 1.        ,
       0.93333333, 1.        , 0.93333333, 1.        , 1.        ,
       1.        , 0.93333333, 1.        , 1.        , 1.        ,
       0.93333333, 1.        , 1.        , 1.        , 0.86666667,
       0.93333333, 0.86666667, 1.        , 0.86666667, 1.        ,
       0.93333333, 1.        , 0.93333333, 1.        , 0.93333333,
       1.        , 0.86666667, 1.        , 1.        , 1.        ,
       0.93333333, 1.        , 1.        , 1.        , 0.93333333]), 'split5_test_score': array([1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.86666667,
       0.93333333, 0.93333333, 0.93333333, 0.86666667, 0.93333333,
       0.86666667, 0.93333333, 0.93333333, 1.        , 0.93333333,
       0.93333333, 0.86666667, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.86666667, 0.93333333, 0.93333333, 0.93333333,
       0.86666667, 0.93333333, 0.86666667, 0.93333333, 0.86666667,
       0.93333333, 0.86666667, 0.93333333, 0.86666667, 0.93333333]), 'split6_test_score': array([0.86666667, 0.86666667, 0.86666667, 0.86666667, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333,
       0.93333333, 0.93333333, 0.93333333, 0.93333333, 0.93333333]), 'split7_test_score': array([1.        , 1.        , 0.93333333, 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 0.93333333,
       1.        , 0.93333333, 1.        , 0.93333333, 1.        ,
       0.93333333, 1.        , 0.93333333, 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       0.93333333, 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 1.        , 1.        , 1.        ,
       1.        , 1.        , 0.93333333, 1.        , 1.        ,
       1.        , 0.93333333, 1.        , 0.93333333, 1.        ,
       0.93333333, 1.        , 1.        , 1.        , 0.93333333,
       1.        , 0.93333333, 1.        , 0.93333333, 1.        ]), 'split8_test_score': array([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1.]), 'split9_test_score': array([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,
       1., 1., 1., 1., 1., 1., 1., 1., 1.]), 'mean_test_score': array([0.96      , 0.96      , 0.95333333, 0.96      , 0.96666667,
       0.96666667, 0.96666667, 0.96666667, 0.96666667, 0.96666667,
       0.96666667, 0.96666667, 0.96666667, 0.96666667, 0.96666667,
       0.96666667, 0.97333333, 0.97333333, 0.96666667, 0.97333333,
       0.96666667, 0.97333333, 0.97333333, 0.97333333, 0.98      ,
       0.97333333, 0.97333333, 0.97333333, 0.97333333, 0.98      ,
       0.97333333, 0.97333333, 0.97333333, 0.98      , 0.98      ,
       0.97333333, 0.97333333, 0.98      , 0.98      , 0.96666667,
       0.96666667, 0.96666667, 0.96666667, 0.96666667, 0.97333333,
       0.97333333, 0.96      , 0.97333333, 0.96666667, 0.97333333,
       0.96      , 0.96666667, 0.96666667, 0.98      , 0.95333333,
       0.97333333, 0.95333333, 0.97333333, 0.95333333, 0.96666667]), 'std_test_score': array([0.05333333, 0.05333333, 0.05206833, 0.05333333, 0.04472136,
       0.04472136, 0.04472136, 0.04472136, 0.04472136, 0.04472136,
       0.04472136, 0.04472136, 0.04472136, 0.04472136, 0.04472136,
       0.04472136, 0.03265986, 0.03265986, 0.04472136, 0.03265986,
       0.04472136, 0.03265986, 0.03265986, 0.04422166, 0.0305505 ,
       0.03265986, 0.04422166, 0.03265986, 0.03265986, 0.0305505 ,
       0.03265986, 0.03265986, 0.03265986, 0.0305505 , 0.0305505 ,
       0.03265986, 0.03265986, 0.0305505 , 0.0305505 , 0.04472136,
       0.03333333, 0.04472136, 0.03333333, 0.04472136, 0.03265986,
       0.03265986, 0.04422166, 0.03265986, 0.03333333, 0.03265986,
       0.04422166, 0.04472136, 0.04472136, 0.0305505 , 0.04268749,
       0.03265986, 0.04268749, 0.03265986, 0.04268749, 0.03333333]), 'rank_test_score': array([52, 52, 57, 52, 29, 29, 29, 29, 29, 29, 29, 29, 29, 29, 29, 29,  8,
        8, 29,  8, 29,  8,  8,  8,  1,  8,  8,  8,  8,  1,  8,  8,  8,  1,
        1,  8,  8,  1,  1, 29, 29, 29, 29, 29,  8,  8, 52,  8, 29,  8, 52,
       29, 29,  1, 57,  8, 57,  8, 57, 29]), 'split0_train_score': array([1.        , 1.        , 0.97037037, 1.        , 0.95555556,
       1.        , 0.95555556, 1.        , 0.96296296, 1.        ,
       0.97037037, 1.        , 0.96296296, 1.        , 0.97037037,
       1.        , 0.97037037, 1.        , 0.97037037, 1.        ,
       0.97037037, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97037037, 1.        , 0.97777778, 1.        ,
       0.97037037, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97037037, 1.        , 0.97777778, 1.        ,
       0.96296296, 1.        , 0.96296296, 1.        , 0.94814815,
       1.        , 0.95555556, 1.        , 0.94814815, 1.        ]), 'split1_train_score': array([1.        , 1.        , 0.98518519, 1.        , 0.96296296,
       1.        , 0.96296296, 1.        , 0.97037037, 1.        ,
       0.97037037, 1.        , 0.97777778, 1.        , 0.98518519,
       1.        , 0.98518519, 1.        , 0.98518519, 1.        ,
       0.98518519, 1.        , 0.99259259, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.98518519, 1.        , 0.98518519,
       1.        , 0.98518519, 1.        , 0.98518519, 1.        ,
       0.98518519, 1.        , 0.98518519, 1.        , 0.97037037,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.95555556, 1.        ]), 'split2_train_score': array([1.        , 1.        , 0.97777778, 1.        , 0.95555556,
       1.        , 0.95555556, 1.        , 0.96296296, 1.        ,
       0.97037037, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.98518519, 1.        , 0.97777778,
       1.        , 0.98518519, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.96296296, 1.        ,
       0.97037037, 1.        , 0.95555556, 1.        , 0.96296296,
       1.        , 0.94814815, 1.        , 0.94814815, 1.        ,
       0.93333333, 1.        , 0.94074074, 1.        , 0.94814815,
       1.        , 0.95555556, 1.        , 0.94814815, 1.        ]), 'split3_train_score': array([1.        , 1.        , 0.98518519, 1.        , 0.96296296,
       1.        , 0.96296296, 1.        , 0.97037037, 1.        ,
       0.97777778, 1.        , 0.97037037, 1.        , 0.98518519,
       1.        , 0.98518519, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97037037, 1.        ,
       0.96296296, 1.        , 0.97037037, 1.        , 0.96296296,
       1.        , 0.97037037, 1.        , 0.94814815, 1.        ]), 'split4_train_score': array([1.        , 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.98518519, 1.        ,
       0.98518519, 1.        , 0.98518519, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.98518519,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97037037, 1.        , 0.97037037, 1.        ,
       0.95555556, 1.        , 0.94814815, 1.        , 0.94814815,
       1.        , 0.94814815, 1.        , 0.94814815, 1.        ]), 'split5_train_score': array([1.        , 1.        , 0.97037037, 1.        , 0.95555556,
       1.        , 0.96296296, 1.        , 0.96296296, 1.        ,
       0.95555556, 1.        , 0.97037037, 1.        , 0.97037037,
       1.        , 0.97777778, 1.        , 0.97037037, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.98518519,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.98518519, 1.        , 0.98518519,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.96296296, 1.        , 0.97037037, 1.        , 0.96296296,
       1.        , 0.96296296, 1.        , 0.96296296, 1.        ]), 'split6_train_score': array([1.        , 1.        , 0.98518519, 1.        , 0.97037037,
       1.        , 0.97037037, 1.        , 0.97777778, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.99259259,
       1.        , 0.99259259, 1.        , 0.98518519, 1.        ,
       0.99259259, 1.        , 0.98518519, 1.        , 0.99259259,
       1.        , 0.99259259, 1.        , 0.98518519, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.98518519,
       1.        , 0.98518519, 1.        , 0.98518519, 1.        ,
       0.98518519, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.96296296, 1.        , 0.97037037, 1.        , 0.95555556,
       1.        , 0.96296296, 1.        , 0.96296296, 1.        ]), 'split7_train_score': array([1.        , 1.        , 0.97777778, 1.        , 0.95555556,
       1.        , 0.96296296, 1.        , 0.96296296, 1.        ,
       0.97037037, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97037037, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97037037, 1.        , 0.97037037,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97037037, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97037037, 1.        , 0.97037037, 1.        , 0.96296296,
       1.        , 0.96296296, 1.        , 0.95555556, 1.        ]), 'split8_train_score': array([1.        , 1.        , 0.97777778, 1.        , 0.95555556,
       1.        , 0.95555556, 1.        , 0.96296296, 1.        ,
       0.97037037, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.98518519, 1.        , 0.97777778,
       1.        , 0.98518519, 1.        , 0.98518519, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97777778, 1.        ,
       0.97777778, 1.        , 0.97037037, 1.        , 0.97777778,
       1.        , 0.97037037, 1.        , 0.97037037, 1.        ,
       0.96296296, 1.        , 0.97037037, 1.        , 0.94814815,
       1.        , 0.95555556, 1.        , 0.95555556, 1.        ]), 'split9_train_score': array([1.        , 1.        , 0.97777778, 1.        , 0.95555556,
       1.        , 0.97037037, 1.        , 0.97037037, 1.        ,
       0.97037037, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.96296296, 1.        ,
       0.96296296, 1.        , 0.96296296, 1.        , 0.97777778,
       1.        , 0.97037037, 1.        , 0.97777778, 1.        ,
       0.96296296, 1.        , 0.96296296, 1.        , 0.95555556,
       1.        , 0.96296296, 1.        , 0.94074074, 1.        ,
       0.94814815, 1.        , 0.94814815, 1.        , 0.95555556,
       1.        , 0.95555556, 1.        , 0.94814815, 1.        ,
       0.94074074, 1.        , 0.93333333, 1.        , 0.93333333,
       1.        , 0.94074074, 1.        , 0.94074074, 1.        ]), 'mean_train_score': array([1.        , 1.        , 0.97851852, 1.        , 0.96074074,
       1.        , 0.9637037 , 1.        , 0.96888889, 1.        ,
       0.97259259, 1.        , 0.97333333, 1.        , 0.97925926,
       1.        , 0.97925926, 1.        , 0.9762963 , 1.        ,
       0.98      , 1.        , 0.97851852, 1.        , 0.98      ,
       1.        , 0.97925926, 1.        , 0.97925926, 1.        ,
       0.97777778, 1.        , 0.97777778, 1.        , 0.97777778,
       1.        , 0.97777778, 1.        , 0.97407407, 1.        ,
       0.97555556, 1.        , 0.97111111, 1.        , 0.97333333,
       1.        , 0.97037037, 1.        , 0.96962963, 1.        ,
       0.96      , 1.        , 0.96148148, 1.        , 0.95481481,
       1.        , 0.95925926, 1.        , 0.95259259, 1.        ]), 'std_train_score': array([0.        , 0.        , 0.00518519, 0.        , 0.00744435,
       0.        , 0.00698813, 0.        , 0.00725775, 0.        ,
       0.00814815, 0.        , 0.00592593, 0.        , 0.00645763,
       0.        , 0.00645763, 0.        , 0.00645763, 0.        ,
       0.00814815, 0.        , 0.0084132 , 0.        , 0.00578537,
       0.        , 0.00645763, 0.        , 0.00296296, 0.        ,
       0.00740741, 0.        , 0.00573775, 0.        , 0.00811441,
       0.        , 0.00573775, 0.        , 0.01250514, 0.        ,
       0.00996565, 0.        , 0.01070876, 0.        , 0.0075541 ,
       0.        , 0.00993808, 0.        , 0.01120944, 0.        ,
       0.01373869, 0.        , 0.0143635 , 0.        , 0.01168869,
       0.        , 0.01007516, 0.        , 0.006789  , 0.        ])}
网格搜索-最佳度量值: 0.98
网格搜索-最佳参数： {'n_neighbors': 13, 'weights': 'uniform'}
网格搜索-最佳模型： KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=13, p=2,
           weights='uniform')

7、使用最优参数进行预测

8、交叉验证

交叉验证是gridsearchCV的内部的方法：

K-折叠交叉验证

一交叉验证
交叉验证的目的
在实际训练中，模型通常对训练数据好，但是对训练数据之外的数据拟合程度差。用于评价模型的泛化能力，从而进行模型选择。

交叉验证的基本思想
把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对模型进行训练,再利用验证集来测试模型的泛化误差。另外，现实中数据总是有限的，为了对数据形成重用，从而提出k-折叠交叉验证。

对于个分类或回归问题，假设可选的模型为M={M1,M2,M3……Md}。k-折叠交叉验证就是将训练集的1/k作为测试集，每个模型训练k次，测试k次，错误率为k次的平均，最终选择平均率最小的模型Mi。

1、将全部训练集S分成k个不相交的子集，假设S中的训练样例个数为m，那么每一个子集有m/k个训练样例，相应的子集称作{S1,S2,S3……Sk}。

2、每次从模型集合M中拿出来一个Mi，然后在训练子集中选择出k-1个

{S1,S2,Sj-1,Sj+1,Sk}（也就是每次只留下一个Sj），使用这k-1个子集训练Mi后，得到假设函数hij。最后使用剩下的一份Sj作测试，得到经验错误。

3、由于我们每次留下一个Sj（j从1到k），因此会得到k个经验错误，那么对于一个Mi，它的经验错误是这k个经验错误的平均。

4、选出平均经验错误率最小的Mi，然后使用全部的S再做一次训练，得到最后的hi。

上面这块不是很明白！！！

K折交叉验证

8.1验证方法

你可能感兴趣的:(AI)

展望 AIGC 前景：通义万相 2.1 与蓝耘智算平台共筑 AI 生产力高地 accurater AIGC 人工智能神经网络深度学习
喜欢可以到主页订阅专栏引言人工智能生成内容（AIGC）技术正在重塑内容创作、影视制作、广告设计等行业的底层逻辑。作为该领域的革命性技术代表，通义万相2.1凭借其开源特性、多模态生成能力和技术突破，成为全球视频生成模型的标杆。而蓝耘智算平台则通过高性能算力支持与分布式架构优化，为AIGC技术的规模化应用提供了基础设施保障。两者的协同不仅推动了AI生产力的跃迁，更开启了从技术研发到商业落地的全链条创新
数据读取错误：RuntimeError: The size of tensor a (3) must match the size of tensor b (4) at non-singleton hitsz_syl 单例模式计算机视觉 opencv
去除4通道图像：importcv2importosimportshutilfolder_path=R'F:\bounding_box_test\bounding_box_train'#更改为存储图片文件夹的路径image_files=os.listdir(folder_path)count=0forfile_nameinimage_files:iffile_name.endswith('.jpg'
Next.js博客项目-快速起步 Ktovoz nextjs javascript 开发语言 react 前端
作者:KTO原文:Next.js博客项目-快速起步简介:从nextjs博客模板开始，快速配置搭建自己的博客项目。部署出来的网站样式可以参考原文的网站。Next.js博客项目-快速起步使用的模板我们使用的模板是：tailwind-nextjs-starter-blog该模板有1.0版本和2.0版本。本文以1.0版本为例进行介绍。1.环境配置安装Node.js首先，确保你的机器上已安装Node.js。
文心一言提前免费，高性能大模型全面入局该咋看？江瀚视野人工智能机器人
3月16日，百度正式发布文心大模型4.5及文心大模型X1，在文心一言官网即可免费使用。这件事我们该怎么看？首先，从技术创新的角度来看，百度文心大模型4.5和X1的发布展示了百度在AI大模型领域的显著进步。文心大模型4.5作为首个原生多模态大模型，在多模态理解、文本和逻辑推理能力上的显著提升，使其在多项测试中表现优于GPT4.5，这体现了百度在AI技术研发上的深厚积累。同时，文心大模型X1作为深度思
【DevOps】Backstage介绍及如何在Azure Kubernetes Service上进行部署小涵 Azure云企业实践分享 devops azure kubernetes 容器 docker backstage
【DevOps】Backstage介绍及如何在AzureKubernetesService上进行部署推荐超级课程：本地离线DeepSeekAI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录【DevOps】Backstage介绍及如何在AzureKubernetesService上进行部署Backstage介绍在AKS上部署Bac
kafka生成者发送消息失败报错：RecordTooLargeException 青椒1013 kafka 分布式
kafka生成者发送消息典型案例生产者发送消息失败：Failedtosend;nestedexceptionisorg.apache.kafka.common.errors.RecordTooLargeException:Themessageis1053512byteswhenserializedwhichislargerthanthemaximumrequestsizeyouhaveconfig
安装openai环境步骤及问题解决 leap_ruo 算法人工智能 nlp 算法
1按照官网安装官网介绍很简单，使用pip即可安装成功pipinstallopenai但是，按照官方demo调用时，importopenaiopenai.api_key="your_api_key"#已申请的apikeyresponse=openai.Chatcompletion.create(model="gpt-3.5-turbo",messages=[{"rol
从0到1构建AI深度学习视频分析系统--基于YOLO 目标检测的动作序列检查系统：（2）消息队列与消息中间件 shiter 人工智能系统解决方案与技术架构人工智能深度学习音视频
文章大纲原始视频队列Python内存视频缓存优化方案（4GB以内）一、核心参数设计二、内存管理实现三、性能优化策略四、内存占用验证五、高级优化技巧六、部署建议检测结果队列YOLO检测结果队列技术方案一、技术选型矩阵二、核心实现代码三、性能优化策略四、可视化方案对比五、部署建议逻辑判定队列时间片图论时间序列大模型引入参考文献原始视频队列想要在单机内存中缓存1-5分钟的视频片段，python技术栈的话
python openai 网络连接报错哦里哦里哦里给 AI 大语言模型实战 python ai
目录一、问题:网络连接报错二、解决办法一、问题:网络连接报错File"/opt/anaconda3/envs/openaitest/lib/python3.8/site-packages/openai/_base_client.py",line1024,in_requestraiseAPIConnectionError(request=request)fromerroropenai.APIConn
【esp32】VSCODE + esp-idf 使用记录 zscredstone vscode ide 编辑器
旨在进行学习使用过程中的问题记录。esp已经把vscode插件做的不错了，可以直接进行编译调试。使用的是esp32S3内置的usb/jtag主要参考：https://blog.csdn.net/weixin_50993868/article/details/136498570https://blog.csdn.net/weixin_43842462/article/details/12329584
selenium 等待方式不负韶华ღ #selenium selenium python 测试工具
概述在selenium中，等待指的是在执行下一个任务之前需要等待前一个任务完成，在前一个任务没有完成之前，后一个任务会一直处于阻塞状体，有点类似于数据库中的事务。比如，在定位元素之前需要加载完DOM。selenium有三种等待方式：显示等待、隐式等待、流畅等待。方式显示等待WebDriverWait(driver,timeout).until(method,message)显示等待是seleniu
COMP9321 25T1 后端
COMP932125T1Assignment1(15marks)IntroductionTheNSWFuelCheckdatasetismaintainedbytheNSWGovernment.ItallowsmotoriststoaccesshistoricalandliveinformationaboutfuelpricesacrossNSW.Wehavedownloadedthe“FuelC
selenium 等待ajax,如何等待Selenium IDE中的所有ajax请求完成？华西怀 selenium 等待ajax
我有一阵子没用过IDE。这是我用于WebDriver的。但算法翻译;JavaScript是JavaScript。这就是说，这取决于你的框架。对于角度，我用这个：publicbooleanwaitForAngularToLoad(WebDriverdriver,intwaitTimeInSeconds){WebDriverWaitwait=newWebDriverWait(driver,waitTi
告别繁琐！用优云智算轻松搞定ComfyUI文生图工作流
告别繁琐！用优云智算轻松搞定ComfyUI文生图工作流声明：非广告，为用户体验，仅为ComfyUI文生图工作流声明：非广告，为用户体验，仅为ComfyUI文生图工作流声明：非广告，为用户体验，仅为ComfyUI文生图工作流嗨，我是LucianaiB！总有人间一两风，填我十万八千梦。路漫漫其修远兮，吾将上下而求索。目录展示效果简介2.1优云智算平台2.2ComfyUI为什么选择优云智算平台而不是本地
打卡信奥刷题（752）用Scratch图形化工具信奥P5534[普及组/提高] 【XR-3】等差数列 Loge编程生活 Scratch图形化编程开发语言算法青少年编程数据结构学习
【XR-3】等差数列题目描述小X给了你一个等差数列的前两项以及项数，请你求出这个等差数列各项之和。等差数列：对于一个nnn项数列aaa，如果满足对于任意i∈[1,n)i\in[1,n)i∈[1,n)，有ai+1−ai=da_{i+1}-a_i=dai+1−ai=d，其中ddd为定值，则称这个数列为一个等差数列。输入格式一行333个整数a1,a2,na_1,a_2,na1,a2,n，表示等差数列的第
Python第二十三课：自监督学习 | 无标注数据的觉醒程之编 Python全栈通关秘籍 python 开发语言人工智能机器学习
本节目标理解自监督学习的核心范式与优势掌握对比学习（ContrastiveLearning）框架实现图像掩码自编码器（MaskedAutoencoder）开发实战项目：亿级参数模型轻量化探索数据增强的创造性艺术一、自监督学习基础（AI的拼图游戏）1.核心思想解析学习范式数据需求生活比喻监督学习海量标注数据老师逐题批改作业无监督学习纯无标签数据自学杂乱笔记自监督学习自动生成伪标签玩拼图游戏（根据碎片
洛谷-P5534 【XR-3】等差数列兔子递归洛谷题解 c++经验分享
题目：P5534【XR-3】等差数列题目分析：首先得输入，然后根据前两项的值算出“d”，即a[2]-a[1]。提示：十年OI一场空，不开longlong见祖宗接着求出前n项：从3开始，到n项结束。递推公式："a[i]=a[i-1]+d;"。最后从1到n累加，输出。上代码：#includeusingnamespacestd;longa[1000005];intmain(void){longi,d,a
大模型系列——正式推出 Spring AI MCP：用于 MCP（模型上下文协议）的 Java SDK 不二人生大模型人工智能大模型
大模型系列——正式推出SpringAIMCP：用于MCP（模型上下文协议）的JavaSDK我们很高兴推出SpringAIMCP，它是模型上下文协议（ModelContextProtocol，MCP）的强大JavaSDK实现。SpringAI生态系统的这一新成员为Java平台带来了标准化的AI模型集成能力。MCP是什么？模型上下文协议（MCP）是一种开放式协议，它规范了应用程序为大型语言模型（LLM
C 语言取绝对值 dzdesigned c语言算法 linux
在C语言中，你可以使用库函数`abs()`来取得一个数的绝对值。`abs()`函数属于``头文件，并且可以处理多种类型的数据。以下是一个示例：```c#include#includeintmain(){intnum=-5;intabsNum;absNum=abs(num);//使用abs()函数获取绝对值printf("绝对值:%d\n",absNum);return0;}```另外，你也可以自己
从键盘输入若干个学生成绩，计算出平均成绩。当输入分数为负数时，表示输入结束。 bbppooi 项目代码 java 算法开发语言
importjava.util.Scanner;publicclasse{publicstaticvoidmain(Stringargs[]){Scannersc=newScanner(System.in);intq=0,eq=0,sum=0,i=0;q=sc.nextInt();while(q>0){i++;sum=sum+q;eq=sum/i;q=sc.nextInt();}System.ou
协程与事件循环每天减 1/5kg python
协程与事件循环协程协程是一种用户态的轻量级线程，允许在多个任务间高效的切换，而无需依赖操作系统的线程调度。特点协作式多任务：协程主动让出执行权(通过yield或await)，而非被操作系统调度(强制中断——抢占式)。状态保存：协程的状态保存在协程的栈中，协程切换时保存上下文(如局部变量、执行位置)，恢复时从中断处继续。性能提升：协程相比线程，在切换消耗上性能提升。缺点需要在代码中显式调用，且需要手
MindSpore：华为全场景AI框架的技术全景与生态实践彩旗工作室人工智能人工智能
一、框架概述MindSpore（昇思）是华为自主研发的全场景AI计算框架，于2020年3月开源，旨在实现易开发、高效执行、灵活部署三大核心目标。作为华为昇腾AI生态的基石，MindSpore支持端、边、云全场景覆盖，并深度融合昇腾处理器的算力特性，提供从模型开发、训练到推理部署的端到端能力。截至2025年，其月度开发者访问量已突破12万，成为国内开源社区最活跃的AI框架之一。二、架构设计MindS
Linux系统下装R包又慢又容易报错？ NameError_sfj 鸡毛蒜皮 linux r语言
短话短说：Linux安装默认从源码安装，因此在终端中使用Rconsole装包时会从源码重新编译，这个过程十分耗时，且很容易出错。解决方案有二：1）使用Rstudio/Rstudio-server，因为Rstudio支持预编译安装，直接下载安装编译好的R包，省时省力；2）使用包管理工具，如conda，通过condainstall直接安装R包的预编译版本短话长说版本：打开Linux终端、键入R进入Rc
【C语言--趣味游戏系列】--电脑关机整蛊小游戏 User_芊芊君子 C语言内容概括 c语言游戏电脑
前言：老铁们，还是那句话，学习很苦游戏来补，为了提高大家与朋友之间的友谊，博主在这里分享一个电脑关机的恶作剧小游戏，快拿去试试吧！！！目录：1.电脑关机代码2.详解1.电脑关机代码#define_CRT_SECURE_NO_WARNINGS#include#include#includeintmain(){charinput[20]={0};system("shutdown-s-t60");whi
当通用智能遇到深度推理：如何正确驾驭DeepSeek-V3与R1？涛涛讲AI 大模型大模型智能体扣子 deepseek
欢迎来到涛涛聊AI。2025年，中国AI公司DeepSeek凭借两款大模型——通用型V3与推理型R1，在技术圈掀起巨浪。这两款模型看似师出同门，却在能力边界与应用场景上存在显著差异。本文将从技术本质、适用场景与实操技巧三个维度，剖析它们的差异与使用策略。一、定位差异：全能选手vs解题专家DeepSeek-V3：高性价比的“多面手”V3的核心目标是平衡性能与成本。它采用混合专家架构（MoE），参数规
MySQL EXPLAIN 详解 Jing_jing_X mysql 数据库
一、EXPLAIN是什么？EXPLAIN是MySQL提供的性能分析工具，用于查看SQL查询的执行计划（即优化器如何执行查询）。它通过模拟查询过程（不实际执行SQL）返回一个表格，展示索引使用、表连接方式、扫描行数等关键信息，帮助开发者诊断性能瓶颈并优化查询。核心作用：分析查询是否高效利用索引。识别全表扫描、临时表、文件排序等高开销操作。提供优化方向，如调整索引或重构SQL。二、为什么要用EXPLA
RISC-V指令集架构的形式语义——基于Haskell的实现富珂祯
RISC-V指令集架构的形式语义——基于Haskell的实现riscv-semanticsAformalsemanticsoftheRISC-VISAinHaskell项目地址:https://gitcode.com/gh_mirrors/ri/riscv-semantics项目介绍本项目RISC-VSemantics在GitHub上托管，提供了一个使用Haskell编写的RISC-V指令集架构（
项目架构梳理柠檬树下的狒 c++项目相关架构 tcp/ip 网络
本项目使用到的重点知识网络库c++11的智能指针命名空间模板编程类关系Server类服务器的抽象。其规定了服务器的运行模式，也就是MainLoop函数实现整体的循环，重写_RunLogic()函数，为运行逻辑，_Recycle为回收逻辑。_Init为初始化逻辑。这三者都是虚函数，并且构成了一个Server运行的主要的步骤。也就是初始化–>运行-->回收资源_Init逻辑：TCPBind()对于一个
k8s-06-prometheus-stack 多懂一些 kubernetes 实战 nginx linux centos prometheus
安装#下载yaml#[下载](https://github.com/prometheus-community/helm-charts/tree/main/charts/kube-prometheus-stack)#镜像下载dockerlogin--username=xxxx registry.cn-shanghai.aliyuncs.comdockerpullregistry.cn-shangha
JCE cannot authenticate the provider BC 刘登辉 java 报错
mmmmmd，这个报错在linux系统中使用宝塔jdk-17.0.8的环境出现的报错，找了一堆教程，用的ai，各种办法测试都没有解决！！！！！本地windows跑的版本是jdk-17.0.12，服务器是jdk-17.0.8，更换jdk版本后问题解决无语死了！！！！
Spring的注解积累 yijiesuifeng spring 注解
用注解来向Spring容器注册Bean。需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。如：在base-package指明一个包 <context:component-sc
传感器百合不是茶 android 传感器
android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件下面就以重力传感器为例; 1,在onCreate中获得传感器服务 private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
[光磁与探测]金吕玉衣的意义 comsci
这是一个古代人的秘密:现在告诉大家信不信由你们: 穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星这就是为什么古代
精简的反序打印某个数沐刃青蛟打印
以前看到一些让求反序打印某个数的程序。比如：输入123，输出321。记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。似乎最后是用到%和/方法解决的。而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）代码如下： long num, num1=0;
PHP：6种方法获取文件的扩展名 IT独行者 PHP 扩展名
PHP：6种方法获取文件的扩展名 1、字符串查找和截取的方法 1 $extension = substr ( strrchr ( $file , '.' ), 1); 2、字符串查找和截取的方法二 1 $extension = substr
面试111 文强chu 面试
1事务隔离级别有那些，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器（一次） 4 过滤器和拦截器的区别（频率也挺高） 5 final，finally final
XML的四种解析方式小桔子 dom jdom dom4j sax
在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。　　预备　　测试环境：　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
wordpress中常见的操作 aichenglong 中文注册 wordpress 移除菜单
1 wordpress中使用中文名注册解决办法 1)使用插件 2)修改wp源代码进入到wp-include/formatting.php文件中找到 function sanitize_user( $username, $strict = false
小飞飞学管理-1 alafqq 管理
项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。结合我自己经历写下心得对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
IO输入输出部分探讨百合不是茶 IO
//文件处理在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */ //1，运用File类对文件目录和属性进行操作 //在工程中线创建一个text.txt
getElementById的用法 bijian1013 element
getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。返回具有指定ID属性值的第一个对象的一个引用。语法： &n
励志经典语录 bijian1013 励志人生
经典语录1: 哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
[MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。本篇介绍MongoDB的切片(Sharding) 1.何时需要分片 &nbs
【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
yum方式部署zabbix ronin47 yum方式部署zabbix
安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EE Hibernate4
今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
Netty源码学习-FrameDecoder bylijinnan java netty
Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
SQL行列转换方法 chicony 行列转换
create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
中文编码测试 ctrain 编码
循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
hive 客户端查询报堆内存溢出解决方法 daizj hive 堆内存溢出
hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space 问题原因： hive堆内存默认为256M 这个问题的解决方法为：修改/us
人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
Eclipse简单有用的配置 dcj3sjt126com eclipse
1、显示行号 Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers 2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
在tomcat上面安装solr4.8.0全过程 eksliang Solr solr4.0后的版本安装 solr4.8.0安装
转载请出自出处： http://eksliang.iteye.com/blog/2096478 首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了第一步：当然是下载去官网上下载最新的solr版本，下载地址
Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞 android APP 分析
点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。 0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。针对序列化对象而出现的拒绝服务主要
HoverTree项目已经实现分层 hvt 编程 .net Web C#ASP.ENT
HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
Google Maps API v3: Remove Markers 移除标记天梯梦 google maps api
Simply do the following: I. Declare a global variable: var markersArray = []; II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
jQuery选择器总结 lq38366 jquery 选择器
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
基础数据结构和算法六：Quick sort sunwinner Algorithm Quicksort
Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作刘星宇 html Web
今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。方法如下：
Mybatis实用Mapper SQL汇总示例 wdmcygah sql mysql mybatis 实用
Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，