u013250861

GPU单机多卡训练踩坑：单机多卡训练保存的模型，在加载模型时报错【Missing key(s) in state_dict】【训练时候采用的并行计算，应当在预测时也使用并行计算，哪怕只使用单卡】

Missing key(s) in state_dict: "bert_encoder.embeddings.position_ids", "bert_encoder.embeddings.word_embeddings.weight", "bert_encoder.embeddings.position_embeddings.weight", "bert_encoder.embeddings.token_type_embeddings.weight", "bert_encoder.embeddings.LayerNorm.weight", "bert_encoder.embeddings.LayerNorm.bias", "bert_encoder.encoder.layer.0.attention.self.query.weight", "bert_encoder.encoder.layer.0.attention.self.query.bias", "bert_encoder.encoder.layer.0.attention.self.key.weight", "bert_encoder.encoder.layer.0.attention.self.key.bias", "bert_encoder.encoder.layer.0.attention.self.value.weight", "bert_encoder.encoder.layer.0.attention.self.value.bias", "bert_encoder.encoder.layer.0.attention.output.dense.weight", "bert_encoder.encoder.layer.0.attention.output.dense.bias", "bert_encoder.encoder.layer.0.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.0.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.0.intermediate.dense.weight", "bert_encoder.encoder.layer.0.intermediate.dense.bias", "bert_encoder.encoder.layer.0.output.dense.weight", "bert_encoder.encoder.layer.0.output.dense.bias", "bert_encoder.encoder.layer.0.output.LayerNorm.weight", "bert_encoder.encoder.layer.0.output.LayerNorm.bias", "bert_encoder.encoder.layer.1.attention.self.query.weight", "bert_encoder.encoder.layer.1.attention.self.query.bias", "bert_encoder.encoder.layer.1.attention.self.key.weight", "bert_encoder.encoder.layer.1.attention.self.key.bias", "bert_encoder.encoder.layer.1.attention.self.value.weight", "bert_encoder.encoder.layer.1.attention.self.value.bias", "bert_encoder.encoder.layer.1.attention.output.dense.weight", "bert_encoder.encoder.layer.1.attention.output.dense.bias", "bert_encoder.encoder.layer.1.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.1.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.1.intermediate.dense.weight", "bert_encoder.encoder.layer.1.intermediate.dense.bias", "bert_encoder.encoder.layer.1.output.dense.weight", "bert_encoder.encoder.layer.1.output.dense.bias", "bert_encoder.encoder.layer.1.output.LayerNorm.weight", "bert_encoder.encoder.layer.1.output.LayerNorm.bias", "bert_encoder.encoder.layer.2.attention.self.query.weight", "bert_encoder.encoder.layer.2.attention.self.query.bias", "bert_encoder.encoder.layer.2.attention.self.key.weight", "bert_encoder.encoder.layer.2.attention.self.key.bias", "bert_encoder.encoder.layer.2.attention.self.value.weight", "bert_encoder.encoder.layer.2.attention.self.value.bias", "bert_encoder.encoder.layer.2.attention.output.dense.weight", "bert_encoder.encoder.layer.2.attention.output.dense.bias", "bert_encoder.encoder.layer.2.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.2.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.2.intermediate.dense.weight", "bert_encoder.encoder.layer.2.intermediate.dense.bias", "bert_encoder.encoder.layer.2.output.dense.weight", "bert_encoder.encoder.layer.2.output.dense.bias", "bert_encoder.encoder.layer.2.output.LayerNorm.weight", "bert_encoder.encoder.layer.2.output.LayerNorm.bias", "bert_encoder.encoder.layer.3.attention.self.query.weight", "bert_encoder.encoder.layer.3.attention.self.query.bias", "bert_encoder.encoder.layer.3.attention.self.key.weight", "bert_encoder.encoder.layer.3.attention.self.key.bias", "bert_encoder.encoder.layer.3.attention.self.value.weight", "bert_encoder.encoder.layer.3.attention.self.value.bias", "bert_encoder.encoder.layer.3.attention.output.dense.weight", "bert_encoder.encoder.layer.3.attention.output.dense.bias", "bert_encoder.encoder.layer.3.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.3.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.3.intermediate.dense.weight", "bert_encoder.encoder.layer.3.intermediate.dense.bias", "bert_encoder.encoder.layer.3.output.dense.weight", "bert_encoder.encoder.layer.3.output.dense.bias", "bert_encoder.encoder.layer.3.output.LayerNorm.weight", "bert_encoder.encoder.layer.3.output.LayerNorm.bias", "bert_encoder.encoder.layer.4.attention.self.query.weight", "bert_encoder.encoder.layer.4.attention.self.query.bias", "bert_encoder.encoder.layer.4.attention.self.key.weight", "bert_encoder.encoder.layer.4.attention.self.key.bias", "bert_encoder.encoder.layer.4.attention.self.value.weight", "bert_encoder.encoder.layer.4.attention.self.value.bias", "bert_encoder.encoder.layer.4.attention.output.dense.weight", "bert_encoder.encoder.layer.4.attention.output.dense.bias", "bert_encoder.encoder.layer.4.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.4.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.4.intermediate.dense.weight", "bert_encoder.encoder.layer.4.intermediate.dense.bias", "bert_encoder.encoder.layer.4.output.dense.weight", "bert_encoder.encoder.layer.4.output.dense.bias", "bert_encoder.encoder.layer.4.output.LayerNorm.weight", "bert_encoder.encoder.layer.4.output.LayerNorm.bias", "bert_encoder.encoder.layer.5.attention.self.query.weight", "bert_encoder.encoder.layer.5.attention.self.query.bias", "bert_encoder.encoder.layer.5.attention.self.key.weight", "bert_encoder.encoder.layer.5.attention.self.key.bias", "bert_encoder.encoder.layer.5.attention.self.value.weight", "bert_encoder.encoder.layer.5.attention.self.value.bias", "bert_encoder.encoder.layer.5.attention.output.dense.weight", "bert_encoder.encoder.layer.5.attention.output.dense.bias", "bert_encoder.encoder.layer.5.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.5.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.5.intermediate.dense.weight", "bert_encoder.encoder.layer.5.intermediate.dense.bias", "bert_encoder.encoder.layer.5.output.dense.weight", "bert_encoder.encoder.layer.5.output.dense.bias", "bert_encoder.encoder.layer.5.output.LayerNorm.weight", "bert_encoder.encoder.layer.5.output.LayerNorm.bias", "bert_encoder.encoder.layer.6.attention.self.query.weight", "bert_encoder.encoder.layer.6.attention.self.query.bias", "bert_encoder.encoder.layer.6.attention.self.key.weight", "bert_encoder.encoder.layer.6.attention.self.key.bias", "bert_encoder.encoder.layer.6.attention.self.value.weight", "bert_encoder.encoder.layer.6.attention.self.value.bias", "bert_encoder.encoder.layer.6.attention.output.dense.weight", "bert_encoder.encoder.layer.6.attention.output.dense.bias", "bert_encoder.encoder.layer.6.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.6.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.6.intermediate.dense.weight", "bert_encoder.encoder.layer.6.intermediate.dense.bias", "bert_encoder.encoder.layer.6.output.dense.weight", "bert_encoder.encoder.layer.6.output.dense.bias", "bert_encoder.encoder.layer.6.output.LayerNorm.weight", "bert_encoder.encoder.layer.6.output.LayerNorm.bias", "bert_encoder.encoder.layer.7.attention.self.query.weight", "bert_encoder.encoder.layer.7.attention.self.query.bias", "bert_encoder.encoder.layer.7.attention.self.key.weight", "bert_encoder.encoder.layer.7.attention.self.key.bias", "bert_encoder.encoder.layer.7.attention.self.value.weight", "bert_encoder.encoder.layer.7.attention.self.value.bias", "bert_encoder.encoder.layer.7.attention.output.dense.weight", "bert_encoder.encoder.layer.7.attention.output.dense.bias", "bert_encoder.encoder.layer.7.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.7.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.7.intermediate.dense.weight", "bert_encoder.encoder.layer.7.intermediate.dense.bias", "bert_encoder.encoder.layer.7.output.dense.weight", "bert_encoder.encoder.layer.7.output.dense.bias", "bert_encoder.encoder.layer.7.output.LayerNorm.weight", "bert_encoder.encoder.layer.7.output.LayerNorm.bias", "bert_encoder.encoder.layer.8.attention.self.query.weight", "bert_encoder.encoder.layer.8.attention.self.query.bias", "bert_encoder.encoder.layer.8.attention.self.key.weight", "bert_encoder.encoder.layer.8.attention.self.key.bias", "bert_encoder.encoder.layer.8.attention.self.value.weight", "bert_encoder.encoder.layer.8.attention.self.value.bias", "bert_encoder.encoder.layer.8.attention.output.dense.weight", "bert_encoder.encoder.layer.8.attention.output.dense.bias", "bert_encoder.encoder.layer.8.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.8.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.8.intermediate.dense.weight", "bert_encoder.encoder.layer.8.intermediate.dense.bias", "bert_encoder.encoder.layer.8.output.dense.weight", "bert_encoder.encoder.layer.8.output.dense.bias", "bert_encoder.encoder.layer.8.output.LayerNorm.weight", "bert_encoder.encoder.layer.8.output.LayerNorm.bias", "bert_encoder.encoder.layer.9.attention.self.query.weight", "bert_encoder.encoder.layer.9.attention.self.query.bias", "bert_encoder.encoder.layer.9.attention.self.key.weight", "bert_encoder.encoder.layer.9.attention.self.key.bias", "bert_encoder.encoder.layer.9.attention.self.value.weight", "bert_encoder.encoder.layer.9.attention.self.value.bias", "bert_encoder.encoder.layer.9.attention.output.dense.weight", "bert_encoder.encoder.layer.9.attention.output.dense.bias", "bert_encoder.encoder.layer.9.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.9.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.9.intermediate.dense.weight", "bert_encoder.encoder.layer.9.intermediate.dense.bias", "bert_encoder.encoder.layer.9.output.dense.weight", "bert_encoder.encoder.layer.9.output.dense.bias", "bert_encoder.encoder.layer.9.output.LayerNorm.weight", "bert_encoder.encoder.layer.9.output.LayerNorm.bias", "bert_encoder.encoder.layer.10.attention.self.query.weight", "bert_encoder.encoder.layer.10.attention.self.query.bias", "bert_encoder.encoder.layer.10.attention.self.key.weight", "bert_encoder.encoder.layer.10.attention.self.key.bias", "bert_encoder.encoder.layer.10.attention.self.value.weight", "bert_encoder.encoder.layer.10.attention.self.value.bias", "bert_encoder.encoder.layer.10.attention.output.dense.weight", "bert_encoder.encoder.layer.10.attention.output.dense.bias", "bert_encoder.encoder.layer.10.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.10.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.10.intermediate.dense.weight", "bert_encoder.encoder.layer.10.intermediate.dense.bias", "bert_encoder.encoder.layer.10.output.dense.weight", "bert_encoder.encoder.layer.10.output.dense.bias", "bert_encoder.encoder.layer.10.output.LayerNorm.weight", "bert_encoder.encoder.layer.10.output.LayerNorm.bias", "bert_encoder.encoder.layer.11.attention.self.query.weight", "bert_encoder.encoder.layer.11.attention.self.query.bias", "bert_encoder.encoder.layer.11.attention.self.key.weight", "bert_encoder.encoder.layer.11.attention.self.key.bias", "bert_encoder.encoder.layer.11.attention.self.value.weight", "bert_encoder.encoder.layer.11.attention.self.value.bias", "bert_encoder.encoder.layer.11.attention.output.dense.weight", "bert_encoder.encoder.layer.11.attention.output.dense.bias", "bert_encoder.encoder.layer.11.attention.output.LayerNorm.weight", "bert_encoder.encoder.layer.11.attention.output.LayerNorm.bias", "bert_encoder.encoder.layer.11.intermediate.dense.weight", "bert_encoder.encoder.layer.11.intermediate.dense.bias", "bert_encoder.encoder.layer.11.output.dense.weight", "bert_encoder.encoder.layer.11.output.dense.bias", "bert_encoder.encoder.layer.11.output.LayerNorm.weight", "bert_encoder.encoder.layer.11.output.LayerNorm.bias", "bert_encoder.pooler.dense.weight", "bert_encoder.pooler.dense.bias", "relation_matrix.weight", "relation_matrix.bias", "projection_matrix.weight", "projection_matrix.bias". 
Unexpected key(s) in state_dict: "module.bert_encoder.embeddings.position_ids", "module.bert_encoder.embeddings.word_embeddings.weight", "module.bert_encoder.embeddings.position_embeddings.weight", "module.bert_encoder.embeddings.token_type_embeddings.weight", "module.bert_encoder.embeddings.LayerNorm.weight", "module.bert_encoder.embeddings.LayerNorm.bias", "module.bert_encoder.encoder.layer.0.attention.self.query.weight", "module.bert_encoder.encoder.layer.0.attention.self.query.bias", "module.bert_encoder.encoder.layer.0.attention.self.key.weight", "module.bert_encoder.encoder.layer.0.attention.self.key.bias", "module.bert_encoder.encoder.layer.0.attention.self.value.weight", "module.bert_encoder.encoder.layer.0.attention.self.value.bias", "module.bert_encoder.encoder.layer.0.attention.output.dense.weight", "module.bert_encoder.encoder.layer.0.attention.output.dense.bias", "module.bert_encoder.encoder.layer.0.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.0.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.0.intermediate.dense.weight", "module.bert_encoder.encoder.layer.0.intermediate.dense.bias", "module.bert_encoder.encoder.layer.0.output.dense.weight", "module.bert_encoder.encoder.layer.0.output.dense.bias", "module.bert_encoder.encoder.layer.0.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.0.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.1.attention.self.query.weight", "module.bert_encoder.encoder.layer.1.attention.self.query.bias", "module.bert_encoder.encoder.layer.1.attention.self.key.weight", "module.bert_encoder.encoder.layer.1.attention.self.key.bias", "module.bert_encoder.encoder.layer.1.attention.self.value.weight", "module.bert_encoder.encoder.layer.1.attention.self.value.bias", "module.bert_encoder.encoder.layer.1.attention.output.dense.weight", "module.bert_encoder.encoder.layer.1.attention.output.dense.bias", "module.bert_encoder.encoder.layer.1.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.1.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.1.intermediate.dense.weight", "module.bert_encoder.encoder.layer.1.intermediate.dense.bias", "module.bert_encoder.encoder.layer.1.output.dense.weight", "module.bert_encoder.encoder.layer.1.output.dense.bias", "module.bert_encoder.encoder.layer.1.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.1.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.2.attention.self.query.weight", "module.bert_encoder.encoder.layer.2.attention.self.query.bias", "module.bert_encoder.encoder.layer.2.attention.self.key.weight", "module.bert_encoder.encoder.layer.2.attention.self.key.bias", "module.bert_encoder.encoder.layer.2.attention.self.value.weight", "module.bert_encoder.encoder.layer.2.attention.self.value.bias", "module.bert_encoder.encoder.layer.2.attention.output.dense.weight", "module.bert_encoder.encoder.layer.2.attention.output.dense.bias", "module.bert_encoder.encoder.layer.2.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.2.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.2.intermediate.dense.weight", "module.bert_encoder.encoder.layer.2.intermediate.dense.bias", "module.bert_encoder.encoder.layer.2.output.dense.weight", "module.bert_encoder.encoder.layer.2.output.dense.bias", "module.bert_encoder.encoder.layer.2.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.2.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.3.attention.self.query.weight", "module.bert_encoder.encoder.layer.3.attention.self.query.bias", "module.bert_encoder.encoder.layer.3.attention.self.key.weight", "module.bert_encoder.encoder.layer.3.attention.self.key.bias", "module.bert_encoder.encoder.layer.3.attention.self.value.weight", "module.bert_encoder.encoder.layer.3.attention.self.value.bias", "module.bert_encoder.encoder.layer.3.attention.output.dense.weight", "module.bert_encoder.encoder.layer.3.attention.output.dense.bias", "module.bert_encoder.encoder.layer.3.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.3.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.3.intermediate.dense.weight", "module.bert_encoder.encoder.layer.3.intermediate.dense.bias", "module.bert_encoder.encoder.layer.3.output.dense.weight", "module.bert_encoder.encoder.layer.3.output.dense.bias", "module.bert_encoder.encoder.layer.3.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.3.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.4.attention.self.query.weight", "module.bert_encoder.encoder.layer.4.attention.self.query.bias", "module.bert_encoder.encoder.layer.4.attention.self.key.weight", "module.bert_encoder.encoder.layer.4.attention.self.key.bias", "module.bert_encoder.encoder.layer.4.attention.self.value.weight", "module.bert_encoder.encoder.layer.4.attention.self.value.bias", "module.bert_encoder.encoder.layer.4.attention.output.dense.weight", "module.bert_encoder.encoder.layer.4.attention.output.dense.bias", "module.bert_encoder.encoder.layer.4.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.4.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.4.intermediate.dense.weight", "module.bert_encoder.encoder.layer.4.intermediate.dense.bias", "module.bert_encoder.encoder.layer.4.output.dense.weight", "module.bert_encoder.encoder.layer.4.output.dense.bias", "module.bert_encoder.encoder.layer.4.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.4.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.5.attention.self.query.weight", "module.bert_encoder.encoder.layer.5.attention.self.query.bias", "module.bert_encoder.encoder.layer.5.attention.self.key.weight", "module.bert_encoder.encoder.layer.5.attention.self.key.bias", "module.bert_encoder.encoder.layer.5.attention.self.value.weight", "module.bert_encoder.encoder.layer.5.attention.self.value.bias", "module.bert_encoder.encoder.layer.5.attention.output.dense.weight", "module.bert_encoder.encoder.layer.5.attention.output.dense.bias", "module.bert_encoder.encoder.layer.5.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.5.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.5.intermediate.dense.weight", "module.bert_encoder.encoder.layer.5.intermediate.dense.bias", "module.bert_encoder.encoder.layer.5.output.dense.weight", "module.bert_encoder.encoder.layer.5.output.dense.bias", "module.bert_encoder.encoder.layer.5.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.5.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.6.attention.self.query.weight", "module.bert_encoder.encoder.layer.6.attention.self.query.bias", "module.bert_encoder.encoder.layer.6.attention.self.key.weight", "module.bert_encoder.encoder.layer.6.attention.self.key.bias", "module.bert_encoder.encoder.layer.6.attention.self.value.weight", "module.bert_encoder.encoder.layer.6.attention.self.value.bias", "module.bert_encoder.encoder.layer.6.attention.output.dense.weight", "module.bert_encoder.encoder.layer.6.attention.output.dense.bias", "module.bert_encoder.encoder.layer.6.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.6.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.6.intermediate.dense.weight", "module.bert_encoder.encoder.layer.6.intermediate.dense.bias", "module.bert_encoder.encoder.layer.6.output.dense.weight", "module.bert_encoder.encoder.layer.6.output.dense.bias", "module.bert_encoder.encoder.layer.6.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.6.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.7.attention.self.query.weight", "module.bert_encoder.encoder.layer.7.attention.self.query.bias", "module.bert_encoder.encoder.layer.7.attention.self.key.weight", "module.bert_encoder.encoder.layer.7.attention.self.key.bias", "module.bert_encoder.encoder.layer.7.attention.self.value.weight", "module.bert_encoder.encoder.layer.7.attention.self.value.bias", "module.bert_encoder.encoder.layer.7.attention.output.dense.weight", "module.bert_encoder.encoder.layer.7.attention.output.dense.bias", "module.bert_encoder.encoder.layer.7.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.7.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.7.intermediate.dense.weight", "module.bert_encoder.encoder.layer.7.intermediate.dense.bias", "module.bert_encoder.encoder.layer.7.output.dense.weight", "module.bert_encoder.encoder.layer.7.output.dense.bias", "module.bert_encoder.encoder.layer.7.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.7.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.8.attention.self.query.weight", "module.bert_encoder.encoder.layer.8.attention.self.query.bias", "module.bert_encoder.encoder.layer.8.attention.self.key.weight", "module.bert_encoder.encoder.layer.8.attention.self.key.bias", "module.bert_encoder.encoder.layer.8.attention.self.value.weight", "module.bert_encoder.encoder.layer.8.attention.self.value.bias", "module.bert_encoder.encoder.layer.8.attention.output.dense.weight", "module.bert_encoder.encoder.layer.8.attention.output.dense.bias", "module.bert_encoder.encoder.layer.8.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.8.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.8.intermediate.dense.weight", "module.bert_encoder.encoder.layer.8.intermediate.dense.bias", "module.bert_encoder.encoder.layer.8.output.dense.weight", "module.bert_encoder.encoder.layer.8.output.dense.bias", "module.bert_encoder.encoder.layer.8.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.8.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.9.attention.self.query.weight", "module.bert_encoder.encoder.layer.9.attention.self.query.bias", "module.bert_encoder.encoder.layer.9.attention.self.key.weight", "module.bert_encoder.encoder.layer.9.attention.self.key.bias", "module.bert_encoder.encoder.layer.9.attention.self.value.weight", "module.bert_encoder.encoder.layer.9.attention.self.value.bias", "module.bert_encoder.encoder.layer.9.attention.output.dense.weight", "module.bert_encoder.encoder.layer.9.attention.output.dense.bias", "module.bert_encoder.encoder.layer.9.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.9.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.9.intermediate.dense.weight", "module.bert_encoder.encoder.layer.9.intermediate.dense.bias", "module.bert_encoder.encoder.layer.9.output.dense.weight", "module.bert_encoder.encoder.layer.9.output.dense.bias", "module.bert_encoder.encoder.layer.9.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.9.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.10.attention.self.query.weight", "module.bert_encoder.encoder.layer.10.attention.self.query.bias", "module.bert_encoder.encoder.layer.10.attention.self.key.weight", "module.bert_encoder.encoder.layer.10.attention.self.key.bias", "module.bert_encoder.encoder.layer.10.attention.self.value.weight", "module.bert_encoder.encoder.layer.10.attention.self.value.bias", "module.bert_encoder.encoder.layer.10.attention.output.dense.weight", "module.bert_encoder.encoder.layer.10.attention.output.dense.bias", "module.bert_encoder.encoder.layer.10.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.10.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.10.intermediate.dense.weight", "module.bert_encoder.encoder.layer.10.intermediate.dense.bias", "module.bert_encoder.encoder.layer.10.output.dense.weight", "module.bert_encoder.encoder.layer.10.output.dense.bias", "module.bert_encoder.encoder.layer.10.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.10.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.11.attention.self.query.weight", "module.bert_encoder.encoder.layer.11.attention.self.query.bias", "module.bert_encoder.encoder.layer.11.attention.self.key.weight", "module.bert_encoder.encoder.layer.11.attention.self.key.bias", "module.bert_encoder.encoder.layer.11.attention.self.value.weight", "module.bert_encoder.encoder.layer.11.attention.self.value.bias", "module.bert_encoder.encoder.layer.11.attention.output.dense.weight", "module.bert_encoder.encoder.layer.11.attention.output.dense.bias", "module.bert_encoder.encoder.layer.11.attention.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.11.attention.output.LayerNorm.bias", "module.bert_encoder.encoder.layer.11.intermediate.dense.weight", "module.bert_encoder.encoder.layer.11.intermediate.dense.bias", "module.bert_encoder.encoder.layer.11.output.dense.weight", "module.bert_encoder.encoder.layer.11.output.dense.bias", "module.bert_encoder.encoder.layer.11.output.LayerNorm.weight", "module.bert_encoder.encoder.layer.11.output.LayerNorm.bias", "module.bert_encoder.pooler.dense.weight", "module.bert_encoder.pooler.dense.bias", "module.relation_matrix.weight", "module.relation_matrix.bias", "module.projection_matrix.weight", "module.projection_matrix.bias".

因为训练时候采用的并行计算，导致微调后的模型文件key中会包含"module"关键字，再次加载时在单卡做预测就出错了。

应当在预测时也使用并行计算，哪怕只使用单卡，也要DataParallel一下

model = TitleClassifier(len(class_names))  
model = model.cuda()
model = nn.DataParallel(model)
model.load_state_dict(torch.load("best_model_state.bin"))

参考资料：
GPU单机多卡训练踩的坑

你可能感兴趣的:(AI/模型训练,深度学习,人工智能,机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
android系统selinux中添加新属性property 辉色投像
1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
C语言宏函数南林yan C语言 c语言
一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
c++ 的iostream 和 c++的stdio的区别和联系黄卷青灯77 c++算法开发语言 iostream stdio
在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
LocalDateTime 转 String igotyback java 开发语言
importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码说私域人工智能小程序
摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
每日一题——第八十九题互联网打工人no1 C语言程序设计每日一练 c语言
题目：在字符串中找到提取数字，并统计一共找到多少整数，a123xxyu23&8889，那么找到的整数为123，23，8889//思想：#include#include#includeintmain(){charstr[]="a123xxyu23&8889";intcount=0;intnum=0;//用于临时存放当前正在构建的整数。boolinNum=false;//用于标记当前是否正在读取一个整
每日一题——第八十一题互联网打工人no1 C语言程序设计每日一练 c语言
打印如下图案:#includeintmain(){inti,j;charch='A';for(i=1;i<5;i++,ch++){for(j=0;j<5-i;j++){printf("");//控制空格输出}for(j=1;j<2*i;j++)//条件j<2*i{printf("%c",ch);//控制字符输出}printf("\n");}return0;}
每日一题——第八十二题互联网打工人no1 C语言程序设计每日一练 c语言
题目：将一个控制台输入的字符串中的所有元音字母复制到另一字符串中#include#include#include#include#defineMAX_INPUT1024boolisVowel(charp);intmain(){charinput[MAX_INPUT];charoutput[MAX_INPUT];printf("请输入一串字符串：\n");fgets(input,sizeof(inp
每日一题——第八十三题互联网打工人no1 C语言程序设计每日一练 c语言
题目：将输入的整形数字输出,输出1990，输出"1990"#include#defineMAX_INPUT1024intmain(){intarrr_num[MAX_INPUT];intnum,i=0;printf("请输入一个数字：");scanf_s("%d",&num);while(num!=0){arrr_num[i++]=num%10;num/=10;}printf("\"");for(
git常用命令笔记咩酱-小羊 git 笔记
###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
LLM 词汇表落难Coder LLMs NLP 大语言模型大模型 llama 人工智能
Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchain microsoft 数据库 python
利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchain java 服务器 python
标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
Faiss Tips：高效向量搜索与聚类的利器焦习娜Samantha
FaissTips：高效向量搜索与聚类的利器faiss_tipsSomeusefultipsforfaiss项目地址:https://gitcode.com/gh_mirrors/fa/faiss_tips项目介绍Faiss是由FacebookAIResearch开发的一个用于高效相似性搜索和密集向量聚类的库。它支持多种硬件平台，包括CPU和GPU，能够在海量数据集上实现快速的近似最近邻搜索（AN
【PG】常见数据库、表属性设置江无羡数据库
PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
每日一题——第八十八题互联网打工人no1 C语言程序设计每日一练 c语言
题目：输入一个9位的无符号整数，判断其是否有重复数字#include#include#includeintmain(){charnum_str[10];printf("请输入一个9位数的无符号数：");scanf_s("%9d",&num_str);if(strlen(num_str)!=9){printf("输入的不是一个9位无符号整数，请重新输入");}else{if(hasDuplicate
mac电脑命令行获取电量小米人er 我的博客 macos 命令行
在macOS上，有几个命令行工具可以用来获取电量信息，最常用的是pmset命令。你可以通过以下方式来查看电池状态和电量信息：查看电池状态：pmset-gbatt这个命令会返回类似下面的输出：Nowdrawingfrom'BatteryPower'-InternalBattery-0(id=1234567)95%;discharging;4:02remainingpresent:true输出中包括电
【Git】常见命令(仅笔记) 好想有猫猫 Git Linux学习笔记 git 笔记 elasticsearch linux c++
文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"[email protected]
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
OPENAIGC开发者大赛企业组AI黑马奖 | AIGC数智传媒解决方案 RPA中国人工智能 AIGC 传媒
在第二届拯救者杯OPENAIGC开发者大赛中，涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到，我们特意开设了优秀作品报道专栏，旨在展示其独特之处和开发者的精彩故事。无论您是技术专家还是爱好者，希望能带给您不一样的知识和启发。让我们一起探索AIGC的无限可能，见证科技与创意的完美融合！创未来AI应用赛-企业组AI黑马奖作品名称：AIGC数智传媒解决方案参赛团队：深圳市三象智能技术
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
基本数据类型和引用类型的初始值 3213213333332132 java基础
package com.array; /** * @Description 测试初始值 * @author FuJianyong * 2015-1-22上午10:31:53 */ public class ArrayTest { ArrayTest at; String str; byte bt; short s; int i; long
摘抄笔记--《编写高质量代码：改善Java程序的151个建议》白糖_ 高质量代码
记得3年前刚到公司，同桌同事见我无事可做就借我看《编写高质量代码：改善Java程序的151个建议》这本书，当时看了几页没上心就没研究了。到上个月在公司偶然看到，于是乎又找来看看，我的天，真是非常多的干货，对于我这种静不下心的人真是帮助莫大呀。看完整本书，也记了不少笔记
【备忘】Django 常用命令及最佳实践 dongwei_6688 django
注意：本文基于 Django 1.8.2 版本生成数据库迁移脚本（python 脚本） python manage.py makemigrations polls 说明：polls 是你的应用名字，运行该命令时需要根据你的应用名字进行调整查看该次迁移需要执行的 SQL 语句（只查看语句，并不应用到数据库上）： python manage.p
阶乘算法之一N! 末尾有多少个零周凡杨 java 算法阶乘面试效率
&n
spring注入servlet g21121 Spring注入
传统的配置方法是无法将bean或属性直接注入到servlet中的，配置代理servlet亦比较麻烦，这里其实有比较简单的方法，其实就是在servlet的init()方法中加入要注入的内容： ServletContext application = getServletContext(); WebApplicationContext wac = WebApplicationContextUtil
Jenkins 命令行操作说明文档 510888780 centos
假设Jenkins的URL为http://22.11.140.38:9080/jenkins/ 基本的格式为 java 基本的格式为 java -jar jenkins-cli.jar [-s JENKINS_URL] command [options][args] 下面具体介绍各个命令的作用及基本使用方法 1. &nb
UnicodeBlock检测中文用法布衣凌宇 UnicodeBlock
/** * 判断输入的是汉字 */ public static boolean isChinese(char c) { Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
java下实现调用oracle的存储过程和函数 aijuans java orale
1.创建表：STOCK_PRICES 2.插入测试数据： 3.建立一个返回游标： PKG_PUB_UTILS 4.创建和存储过程：P_GET_PRICE 5.创建函数： 6.JAVA调用存储过程返回结果集 JDBCoracle10G_INVO
Velocity Toolbox antlove 模板 tool box velocity
velocity.VelocityUtil package velocity; import org.apache.velocity.Template; import org.apache.velocity.app.Velocity; import org.apache.velocity.app.VelocityEngine; import org.apache.velocity.c
JAVA正则表达式匹配基础百合不是茶 java 正则表达式的匹配
正则表达式;提高程序的性能,简化代码,提高代码的可读性,简化对字符串的操作正则表达式的用途; 字符串的匹配字符串的分割字符串的查找字符串的替换正则表达式的验证语法 [a] //[]表示这个字符只出现一次 ,[a] 表示a只出现一
是否使用EL表达式的配置 bijian1013 jsp web.xml EL EasyTemplate
今天在开发过程中发现一个细节问题，由于前端采用EasyTemplate模板方法实现数据展示，但老是不能正常显示出来。后来发现竟是EL将我的EasyTemplate的${...}解释执行了，导致我的模板不能正常展示后台数据。网
精通Oracle10编程SQL(1-3)PLSQL基础 bijian1013 oracle 数据库 plsql
--只包含执行部分的PL/SQL块 --set serveroutput off begin dbms_output.put_line('Hello,everyone!'); end; select * from emp; --包含定义部分和执行部分的PL/SQL块 declare v_ename varchar2(5); begin select
【Nginx三】Nginx作为反向代理服务器 bit1129 nginx
Nginx一个常用的功能是作为代理服务器。代理服务器通常完成如下的功能：接受客户端请求将请求转发给被代理的服务器从被代理的服务器获得响应结果把响应结果返回给客户端实例本文把Nginx配置成一个简单的代理服务器对于静态的html和图片，直接从Nginx获取对于动态的页面，例如JSP或者Servlet，Nginx则将请求转发给Res
Plugin execution not covered by lifecycle configuration: org.apache.maven.plugin blackproof maven 报错
转：http://stackoverflow.com/questions/6352208/how-to-solve-plugin-execution-not-covered-by-lifecycle-configuration-for-sprin maven报错： Plugin execution not covered by lifecycle configuration:
发布docker程序到marathon ronin47 docker 发布应用
1 发布docker程序到marathon 1.1 搭建私有docker registry 1.1.1 安装docker regisry docker pull docker-registry docker run -t -p 5000:5000 docker-registry 下载docker镜像并发布到私有registry docker pull consol/tomcat-8.0
java-57-用两个栈实现队列&&用两个队列实现一个栈 bylijinnan java
import java.util.ArrayList; import java.util.List; import java.util.Stack; /* * Q 57 用两个栈实现队列 */ public class QueueImplementByTwoStacks { private Stack<Integer> stack1; pr
Nginx配置性能优化 cfyme nginx
转载地址：http://blog.csdn.net/xifeijian/article/details/20956605 大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装，修改这里或那里的几行配置，好了，你已经有了一个Web服务器了。而且，在大多数情况下，一个常规安装的nginx对你的网站来说已经能很好地工作了。然而，如果你真的想挤压出Nginx的性能，你必
[JAVA图形图像]JAVA体系需要稳扎稳打,逐步推进图像图形处理技术 comsci java
对图形图像进行精确处理，需要大量的数学工具，即使是从底层硬件模拟层开始设计，也离不开大量的数学工具包，因为我认为，JAVA语言体系在图形图像处理模块上面的研发工作，需要从开发一些基础的，类似实时数学函数构造器和解析器的软件包入手，而不是急于利用第三方代码工具来实现一个不严格的图形图像处理软件...... &nb
MonkeyRunner的使用 dai_lm android MonkeyRunner
要使用MonkeyRunner，就要学习使用Python，哎先抄一段官方doc里的代码作用是启动一个程序（应该是启动程序默认的Activity），然后按MENU键，并截屏 # Imports the monkeyrunner modules used by this program from com.android.monkeyrunner import MonkeyRun
Hadoop-- 海量文件的分布式计算处理方案 datamachine mapreduce hadoop 分布式计算
csdn的一个关于hadoop的分布式处理方案，存档。原帖：http://blog.csdn.net/calvinxiu/article/details/1506112。 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同ja
以資料庫驗證登入 dcj3sjt126com yii
以資料庫驗證登入由於 Yii 內定的原始框架程式, 採用綁定在UserIdentity.php 的 demo 與 admin 帳號密碼: public function authenticate() { $users=array( &nbs
github做webhooks：[2]php版本自动触发更新 dcj3sjt126com github git webhooks
上次已经说过了如何在github控制面板做查看url的返回信息了。这次就到了直接贴钩子代码的时候了。工具/原料 git github 方法/步骤在github的setting里面的webhooks里把我们的url地址填进去。钩子更新的代码如下： error_reportin
Eos开发常用表达式蕃薯耀 Eos开发 Eos入门 Eos开发常用表达式
Eos开发常用表达式 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2014年8月18日 15:03:35 星期一 &
SpringSecurity3.X--SpEL 表达式 hanqunfeng SpringSecurity
使用 Spring 表达式语言配置访问控制，要实现这一功能的直接方式是在<http>配置元素上添加 use-expressions 属性： <http auto-config="true" use-expressions="true"> 这样就会在投票器中自动增加一个投票器：org.springframework
Redis vs Memcache IXHONG redis
1. Redis中，并不是所有的数据都一直存储在内存中的，这是和Memcached相比一个最大的区别。 2. Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3. Redis支持数据的备份，即master-slave模式的数据备份。 4. Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 Red
Python - 装饰器使用过程中的误区解读 kvhur JavaScript jquery html5 css
大家都知道装饰器是一个很著名的设计模式，经常被用于AOP(面向切面编程)的场景，较为经典的有插入日志，性能测试，事务处理，Web权限校验， Cache等。原文链接：http://www.gbtags.com/gb/share/5563.htm Python语言本身提供了装饰器语法（@），典型的装饰器实现如下： @function_wrapper de
架构师之mybatis-----update 带case when 针对多种情况更新 nannan408 case when
1.前言. 如题. 2. 代码. <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="list" index=&
Algorithm算法视频教程栏目记者 Algorithm 算法
课程：Algorithm算法视频教程百度网盘下载地址： http://pan.baidu.com/s/1qWFjjQW 密码: 2mji 程序写的好不好,还得看算法屌不屌！Algorithm算法博大精深。一、课程内容：课时1、算法的基本概念 + Sequential search 课时2、Binary search 课时3、Hash table 课时4、Algor
C语言算法之冒泡排序 qiufeihu c 算法
任意输入10个数字由小到大进行排序。代码： #include <stdio.h> int main() { int i,j,t,a[11]; /*定义变量及数组为基本类型*/ for(i = 1;i < 11;i++){ scanf("%d",&a[i]); /*从键盘中输入10个数*/ } for
JSP异常处理 wyzuomumu Web jsp
1.在可能发生异常的网页中通过指令将HTTP请求转发给另一个专门处理异常的网页中: <%@ page errorPage="errors.jsp"%> 2.在处理异常的网页中做如下声明： errors.jsp: <%@ page isErrorPage="true"%>，这样设置完后就可以在网页中直接访问exc