LT_Ge
LT_Ge

适用于NLP自然语言处理的Python：使用Facebook FastText库

原文链接：http://tecdat.cn/?p=8572

在本文中，我们将研究FastText，它是用于单词嵌入和文本分类的另一个极其有用的模块。

在本文中，我们将简要探讨FastText库。本文分为两个部分。在第一部分中，我们将看到FastText库如何创建向量表示形式，该向量表示形式可用于查找单词之间的语义相似性。在第二部分中，我们将看到FastText库在文本分类中的应用。

语义相似性的FastText

FastText支持词袋和Skip-Gram模型。在本文中，我们将实现skip-gram模型，由于这些主题非常相似，因此我们选择这些主题以拥有大量数据来创建语料库。您可以根据需要添加更多类似性质的主题。

第一步，我们需要导入所需的库。

$ pip install wikipedia

导入库

以下脚本将所需的库导入我们的应用程序：

`

  1. from keras.preprocessing.text import Tokenizer
  2. from gensim.models.fasttext import FastText
  3. import numpy as np
  4. import matplotlib.pyplot as plt
  5. import nltk
  6. from string import punctuation
  7. from nltk.corpus import stopwords
  8. from nltk.tokenize import word_tokenize
  9. from nltk.stem import WordNetLemmatizer
  10. from nltk.tokenize import sent_tokenize
  11. from nltk import WordPunctTokenizer
  12. import wikipedia
  13. import nltk
  14. nltk.download('punkt')
  15. nltk.download('wordnet')
  16. nltk.download('stopwords')
  17. en_stop = set(nltk.corpus.stopwords.words('english'))
  18. %matplotlib inline

`
对于单词表示和语义相似性，我们可以将Gensim模型用于FastText。

维基百科文章

在这一步中，我们将抓取所需的Wikipedia文章。看下面的脚本：

`

  1. artificial_intelligence = wikipedia.page("Artificial Intelligence").content
  2. machine_learning = wikipedia.page("Machine Learning").content
  3. deep_learning = wikipedia.page("Deep Learning").content
  4. neural_network = wikipedia.page("Neural Network").content
  5. artificial_intelligence = sent_tokenize(artificial_intelligence)
  6. machine_learning = sent_tokenize(machine_learning)
  7. deep_learning = sent_tokenize(deep_learning)
  8. neural_network = sent_tokenize(neural_network)
  9. artificial_intelligence.extend(machine_learning)
  10. artificial_intelligence.extend(deep_learning)
  11. artificial_intelligence.extend(neural_network)

`

要抓取Wikipedia页面，我们可以使用模块中的page方法wikipedia。您要剪贴的页面名称作为参数传递给page方法。该方法返回WikipediaPage对象，然后您可以使用该对象通过content属性来检索页面内容，如上面的脚本所示。

然后使用该sent_tokenize方法将来自四个Wikipedia页面的抓取的内容标记为句子。该sent_tokenize方法返回句子列表。四个页面的句子分别标记。最后，通过该extend方法将四篇文章中的句子连接在一起。

数据预处理

下一步是通过删除标点符号和数字来清除文本数据。

preprocess_text如下定义的功能执行预处理任务。

`

  1. import re
  2. from nltk.stem import WordNetLemmatizer
  3. stemmer = WordNetLemmatizer()
  4. def preprocess_text(document):
  5. preprocessed_text = ' '.join(tokens)
  6. return preprocessed_text

`

让我们看看我们的函数是否通过预处理一个伪句子来执行所需的任务：

`

  1. sent = preprocess_text("Artificial intelligence, is the most advanced technology of the present era")
  2. print(sent)

`

预处理语句如下所示：

artificial intelligence advanced technology present

您会看到标点符号和停用词已被删除。

创建单词表示

我们已经对语料库进行了预处理。现在是时候使用FastText创建单词表示形式了。首先让我们为FastText模型定义超参数：

`

  1. embedding_size = 60
  2. window_size = 40
  3. min_word = 5
  4. down_sampling = 1e-2

`

这embedding_size是嵌入向量的大小。

下一个超参数是min_word，它指定语料库中单词生成的最小频率。最后，最频繁出现的单词将通过down_sampling属性指定的数字进行下采样。

现在让我们FastText为单词表示创建模型。

`

  1. %%time
  2. ft_model = FastText(word_tokenized_corpus,
  3. size=embedding_size,
  4. window=window_size,
  5. min_count=min_word,
  6. sample=down_sampling,
  7. sg=1,
  8. iter=100)

`

该sg参数定义了我们要创建模型的类型。值为1表示我们要创建跳跃语法模型。零指定单词袋模型，这也是默认值。

执行上面的脚本。运行可能需要一些时间。在我的机器上，上述代码运行的时间统计信息如下：

`

  1. CPU times: user 1min 45s, sys: 434 ms, total: 1min 45s
  2. Wall time: 57.2 s

`

 print(ft_model.wv['artificial'])

这是输出：

`

  1. [-3.7653010e-02 -4.5558015e-01 3.2035065e-01 -1.5289043e-01
  2. 4.0645871e-02 -1.8946664e-01 7.0426887e-01 2.8806925e-01
  3. -1.8166199e-01 1.7566417e-01 1.1522485e-01 -3.6525184e-01
  4. -6.4378887e-01 -1.6650060e-01 7.4625671e-01 -4.8166099e-01
  5. 2.0884991e-01 1.8067230e-01 -6.2647951e-01 2.7614883e-01
  6. -3.6478557e-02 1.4782918e-02 -3.3124462e-01 1.9372456e-01
  7. 4.3028224e-02 -8.2326338e-02 1.0356739e-01 4.0792203e-01
  8. -2.0596240e-02 -3.5974573e-02 9.9928051e-02 1.7191900e-01
  9. -2.1196717e-01 6.4424530e-02 -4.4705093e-02 9.7391091e-02
  10. -2.8846195e-01 8.8607501e-03 1.6520244e-01 -3.6626378e-01
  11. -6.2017748e-04 -1.5083785e-01 -1.7499258e-01 7.1994811e-02
  12. -1.9868813e-01 -3.1733567e-01 1.9832127e-01 1.2799081e-01
  13. -7.6522082e-01 5.2335665e-02 -4.5766738e-01 -2.7947658e-01
  14. 3.7890410e-03 -3.8761377e-01 -9.3001537e-02 -1.7128626e-01
  15. -1.2923178e-01 3.9627206e-01 -3.6673656e-01 2.2755004e-01]

`

现在让我们找到“人造”，“智能”，“机器”，“网络”，“经常出现”，“深度”这五个最相似的词。您可以选择任意数量的单词。以下脚本将打印指定的单词以及5个最相似的单词。

`

  1. for k,v in semantically_similar_words.items():
  2. print(k+":"+str(v))

`

输出如下：

`

  1. artificial:['intelligence', 'inspired', 'book', 'academic', 'biological']
  2. intelligence:['artificial', 'human', 'people', 'intelligent', 'general']
  3. machine:['ethic', 'learning', 'concerned', 'argument', 'intelligence']
  4. network:['neural', 'forward', 'deep', 'backpropagation', 'hidden']
  5. recurrent:['rnns', 'short', 'schmidhuber', 'shown', 'feedforward']
  6. deep:['convolutional', 'speech', 'network', 'generative', 'neural']

`

我们还可以找到任意两个单词的向量之间的余弦相似度，如下所示：

print(ft_model.wv.similarity(w1='artificial', w2='intelligence'))

输出显示值为“ 0.7481”。该值可以介于0到1之间。更高的值表示更高的相似度。

可视化单词相似性

尽管模型中的每个单词都表示为60维向量，但是我们可以使用主成分分析技术来找到两个主成分。然后可以使用两个主要成分在二维空间中绘制单词。

`

  1. print(all_similar_words)
  2. print(type(all_similar_words))
  3. print(len(all_similar_words))

`

字典中的每个键都是一个单词。相应的值是所有语义相似的单词的列表。由于我们在“人工”，“智能”，“机器”，“网络”，“经常性”，“深度”这6个词的列表中找到了前5个最相似的词，因此您会发现其中有30个词该all_similar_words列表。

接下来，我们必须找到所有这30个单词的单词向量，然后使用PCA将单词向量的维数从60减小到2。然后可以使用plt方法，该matplotlib.pyplot方法是绘制单词的方法的别名在二维向量空间上。

执行以下脚本以可视化单词：

`

  1. word_vectors = ft_model.wv[all_similar_words]
  2. for word_names, x, y in zip(word_names, p_comps[:, 0], p_comps[:, 1]):
  3. plt.annotate(word_names, xy=(x+0.06, y+0.03), xytext=(0, 0), textcoords='offset points')

`

上面脚本的输出如下所示：

适用于NLP自然语言处理的Python：使用Facebook FastText库_第1张图片

可以看到在文本中经常一起出现的单词在二维平面中也彼此靠近。

用于文本分类的FastText

文本分类是指根据文本的内容将文本数据分类为预定义的类别。情感分析，垃圾邮件检测和标签检测是一些用于文本分类的用例的最常见示例。

数据集

数据集包含多个文件，但我们仅对该yelp_review.csv文件感兴趣。该文件包含有关不同业务（包括餐馆，酒吧，牙医，医生，美容院等）的520万条评论。但是，由于内存限制，我们将仅使用前50,000条记录来训练我们的模型。如果需要，可以尝试更多记录。

让我们导入所需的库并加载数据集：

`

  1. import pandas as pd
  2. import numpy as np
  3. yelp_reviews = pd.read_csv("/content/drive/My Drive/Colab Datasets/yelp_review_short.csv")

`

在上面的脚本中，我们yelp_review_short.csv使用pd.read_csv函数加载了包含50,000条评论的文件。

通过将评论的数值转换为分类数值，可以简化我们的问题。这将通过在reviews_score数据集中添加新的列来完成。

最后，数据帧的标题如下所示

适用于NLP自然语言处理的Python：使用Facebook FastText库_第2张图片

安装FastText

下一步是导入FastText模型，可以使用以下wget命令从GitHub存储库中导入该命令，如以下脚本所示：

`

  1. !wget https://github.com/facebookre...

`

如果您运行上述脚本并看到以下结果，则表明FastText已成功下载：

`

  1. --2019-08-16 15:05:05-- https://github.com/facebookre...
  2. Resolving github.com (github.com)... 140.82.113.4
  3. Connecting to github.com (github.com)|140.82.113.4|:443... connected.
  4. HTTP request sent, awaiting response... 302 Found
  5. Location: https://codeload.github.com/f... [following]
  6. --2019-08-16 15:05:05-- https://codeload.github.com/f...
  7. Resolving codeload.github.com (codeload.github.com)... 192.30.255.121
  8. Connecting to codeload.github.com (codeload.github.com)|192.30.255.121|:443... connected.
  9. HTTP request sent, awaiting response... 200 OK
  10. Length: unspecified [application/zip]
  11. Saving to: ‘v0.1.0.zip’
  12. v0.1.0.zip [ <=> ] 92.06K --.-KB/s in 0.03s
  13. 2019-08-16 15:05:05 (3.26 MB/s) - ‘v0.1.0.zip’ saved [94267]

`

下一步是解压缩FastText模块。只需键入以下命令：

!unzip v0.1.0.zip

接下来，您必须导航到下载FastText的目录，然后执行!make命令以运行C ++二进制文件。执行以下步骤：

`

  1. cd fastText-0.1.0
  2. !make

`

如果看到以下输出，则表明FastText已成功安装在您的计算机上。

`

  1. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/args.cc
  2. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/dictionary.cc
  3. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/productquantizer.cc
  4. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/matrix.cc
  5. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/qmatrix.cc
  6. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/vector.cc
  7. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/model.cc
  8. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/utils.cc
  9. c++ -pthread -std=c++0x -O3 -funroll-loops -c src/fasttext.cc
  10. c++ -pthread -std=c++0x -O3 -funroll-loops args.o dictionary.o productquantizer.o matrix.o qmatrix.o vector.o model.o utils.o fasttext.o src/main.cc -o fasttext

`

要验证安装，请执行以下命令：

!./fasttext

您应该看到FastText支持以下命令：

`

  1. usage: fasttext
  2. The commands supported by FastText are:
  3. supervised train a supervised classifier
  4. quantize quantize a model to reduce the memory usage
  5. test evaluate a supervised classifier
  6. predict predict most likely labels
  7. predict-prob predict most likely labels with probabilities
  8. skipgram train a skipgram model
  9. cbow train a cbow model
  10. print-word-vectors print word vectors given a trained model
  11. print-sentence-vectors print sentence vectors given a trained model
  12. nn query for nearest neighbors
  13. analogies query for analogies

`

文字分类

在训练FastText模型进行文本分类之前，需要先提及FastText接受特殊格式的数据，具体如下：

`

  1. _label_tag This is sentence 1
  2. _label_tag2 This is sentence 2.

`

如果我们查看我们的数据集，它不是所需的格式。具有积极情绪的文本应如下所示：

**__label__**positive burgers are very big portions here.

同样，负面评论应如下所示：

__label__negative They do not use organic ingredients, but I thi...

以下脚本从数据集中过滤出reviews_score和text列，然后__label__在该reviews_score列中的所有值之前添加前缀。类似地，\n和\t被text列中的空格替换。最后，更新后的数据帧以的形式写入yelp_reviews_updated.txt。

`

  1. import pandas as pd
  2. from io import StringIO
  3. import csv
  4. col = ['reviews_score', 'text']

`

现在让我们打印更新后的yelp_reviews数据框。

yelp_reviews.head()

您应该看到以下结果：

`

  1. reviews_score text
  2. 0 __label__positive Super simple place but amazing nonetheless. It...
  3. 1 __label__positive Small unassuming place that changes their menu...
  4. 2 __label__positive Lester's is located in a beautiful neighborhoo...
  5. 3 __label__positive Love coming here. Yes the place always needs t...
  6. 4 __label__positive Had their chocolate almond croissant and it wa...

`

同样，数据框的尾部如下所示：

`1. reviews_score text

  1. 49995 __label__positive This is an awesome consignment store! They hav...
  2. 49996 __label__positive Awesome laid back atmosphere with made-to-orde...
  3. 49997 __label__positive Today was my first appointment and I can hones...
  4. 49998 __label__positive I love this chic salon. They use the best prod...
  5. 49999 __label__positive This place is delicious. All their meats and s...`

我们已经将数据集转换为所需的形状。下一步是将我们的数据分为训练集和测试集。80％的数据（即50,000条记录中的前40,000条记录）将用于训练数据，而20％的数据（最后10,000条记录）将用于评估算法的性能。

以下脚本将数据分为训练集和测试集：

`

  1. !head -n 40000 "/content/drive/My Drive/Colab Datasets/yelp_reviews_updated.txt" > "/content/drive/My Drive/Colab Datasets/yelp_reviews_train.txt"
  2. !tail -n 10000 "/content/drive/My Drive/Colab Datasets/yelp_reviews_updated.txt" > "/content/drive/My Drive/Colab Datasets/yelp_reviews_test.txt"

`

yelp_reviews_train.txt便会生成包含训练数据的文件。同样，新生成的yelp_reviews_test.txt文件将包含测试数据。

现在是时候训练我们的FastText文本分类算法了。

`

  1. %%time
  2. !./fasttext supervised -input "/content/drive/My Drive/Colab Datasets/yelp_reviews_train.txt" -output model_yelp_reviews

`

为了训练算法，我们必须使用supervised命令并将其传递给输入文件。这是上面脚本的输出：

`

  1. Read 4M words
  2. Number of words: 177864
  3. Number of labels: 2
  4. Progress: 100.0% words/sec/thread: 2548017 lr: 0.000000 loss: 0.246120 eta: 0h0m
  5. CPU times: user 212 ms, sys: 48.6 ms, total: 261 ms
  6. Wall time: 15.6 s

`

您可以通过以下!ls命令查看模型：

!ls

这是输出：

`

  1. args.o Makefile quantization-results.sh
  2. classification-example.sh matrix.o README.md
  3. classification-results.sh model.o src
  4. CONTRIBUTING.md model_yelp_reviews.bin tutorials
  5. dictionary.o model_yelp_reviews.vec utils.o
  6. eval.py PATENTS vector.o
  7. fasttext pretrained-vectors.md wikifil.pl
  8. fasttext.o productquantizer.o word-vector-example.sh
  9. get-wikimedia.sh qmatrix.o yelp_reviews_train.txt
  10. LICENSE quantization-example.sh

`

可以model_yelp_reviews.bin在上面的文档列表中看到。

最后，可以使用以下test命令测试模型。必须在test命令后指定型号名称和测试文件，如下所示：

!./fasttext test model_yelp_reviews.bin "/content/drive/My Drive/Colab Datasets/yelp_reviews_test.txt"

上面脚本的输出如下所示：

`

  1. N 10000
  2. P@1 0.909
  3. R@1 0.909
  4. Number of examples: 10000

`

这里P@1是指精度，R@1是指召回率。您可以看到我们的模型达到了0.909的精度和召回率，这相当不错。

现在，让我们尝试清除标点符号和特殊字符的文本，并将其转换为小写字母，以提高文本的一致性。

!cat "/content/drive/My Drive/Colab Datasets/yelp_reviews_train.txt" | sed -e "s/\([.\!?,’/()]\)/ \1 /g" | tr "[:upper:]" "[:lower:]" > "/content/drive/My Drive/Colab Datasets/yelp_reviews_train_clean.txt"

并且以下脚本清除了测试集：

"/content/drive/My Drive/Colab Datasets/yelp_reviews_test.txt" | sed -e "s/\([.\!?,’/()]\)/ \1 /g" | tr "[:upper:]" "[:lower:]" > "/content/drive/My Drive/Colab Datasets/yelp_reviews_test_clean.txt"

现在，我们将在清理的训练集上训练模型：

`

  1. %%time
  2. !./fasttext supervised -input "/content/drive/My Drive/Colab Datasets/yelp_reviews_train_clean.txt" -output model_yelp_reviews

`

最后，我们将使用在净化训练集上训练的模型对测试集进行预测：

!./fasttext test model_yelp_reviews.bin "/content/drive/My Drive/Colab Datasets/yelp_reviews_test_clean.txt"

上面脚本的输出如下：

`

  1. N 10000
  2. P@1 0.915
  3. R@1 0.915
  4. Number of examples: 10000

`

您会看到精度和召回率都有小幅提高。为了进一步改善模型，您可以增加模型的时代和学习率。以下脚本将元数设置为30，将学习率设置为0.5。

`

  1. %%time
  2. !./fasttext supervised -input "/content/drive/My Drive/Colab Datasets/yelp_reviews_train_clean.txt" -output model_yelp_reviews -epoch 30 -lr 0.5

`

结论

最近，已证明FastText模型可用于许多数据集上的单词嵌入和文本分类任务。与其他单词嵌入模型相比，它非常易于使用并且闪电般快速。

你可能感兴趣的:(python)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • python中的深拷贝与浅拷贝 anshejd70787 python
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
  • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
    猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
  • 用Python实现读取统计单词个数 程序媛了了 python游戏java
    完整实例代码：fromcollectionsimportCounterdefpythonit():danci={}withopen("pythonit.txt","r",encoding="utf-8")asf:foriinf:words=i.strip().split()forwordinwords:ifwordnotindanci:danci[word]=1else:danci[word]+=
  • 多线程编程之理财 周凡杨 java多线程生产者消费者理财
          现实生活中，我们一边工作，一边消费，正常情况下会把多余的钱存起来，比如存到余额宝，还可以多挣点钱，现在就有这个情况：我每月可以发工资20000万元 （暂定每月的1号），每月消费5000（租房+生活费）元（暂定每月的1号），其中租金是大头占90%，交房租的方式可以选择（一月一交，两月一交、三月一交），理财：1万元存余额宝一天可以赚1元钱，
  • [Zookeeper学习笔记之三]Zookeeper会话超时机制 bit1129 zookeeper
    首先，会话超时是由Zookeeper服务端通知客户端会话已经超时，客户端不能自行决定会话已经超时，不过客户端可以通过调用Zookeeper.close()主动的发起会话结束请求，如下的代码输出内容 Created /zoo-739160015 CONNECTEDCONNECTED .............CONNECTEDCONNECTED CONNECTEDCLOSEDCLOSED
  • SecureCRT快捷键 daizj secureCRT快捷键
    ctrl + a : 移动光标到行首ctrl + e ：移动光标到行尾crtl + b: 光标前移1个字符crtl + f: 光标后移1个字符crtl + h : 删除光标之前的一个字符ctrl + d ：删除光标之后的一个字符crtl + k ：删除光标到行尾所有字符crtl + u : 删除光标至行首所有字符crtl + w:  删除光标至行首
  • Java 子类与父类这间的转换 周凡杨 java 父类与子类的转换
        最近同事调的一个服务报错，查看后是日期之间转换出的问题。代码里是把 java.sql.Date 类型的对象 强制转换为 java.sql.Timestamp 类型的对象。报java.lang.ClassCastException。       代码：            
  • 可视化swing界面编辑 朱辉辉33 eclipseswing
          今天发现了一个WindowBuilder插件，功能好强大，啊哈哈，从此告别手动编辑swing界面代码，直接像VB那样编辑界面，代码会自动生成。       首先在Eclipse中点击help，选择Install New Software,然后在Work with中输入WindowBui
  • web报表工具FineReport常用函数的用法总结（文本函数） 老A不折腾 finereportweb报表工具报表软件java报表
    文本函数 CHAR CHAR(number):根据指定数字返回对应的字符。CHAR函数可将计算机其他类型的数字代码转换为字符。 Number:用于指定字符的数字，介于1Number:用于指定字符的数字，介于165535之间（包括1和65535）。 示例: CHAR(88)等于“X”。 CHAR(45)等于“-”。   CODE CODE(text):计算文本串中第一个字
  • mysql安装出错 林鹤霄 mysql安装
    [root@localhost ~]# rpm -ivh MySQL-server-5.5.24-1.linux2.6.x86_64.rpm Preparing...                #####################
  • linux下编译libuv aigo libuv
    下载最新版本的libuv源码，解压后执行： ./autogen.sh   这时会提醒找不到automake命令，通过一下命令执行安装（redhat系用yum，Debian系用apt-get）： # yum -y install automake # yum -y install libtool     如果提示错误：make: *** No targe
  • 中国行政区数据及三级联动菜单 alxw4616
    近期做项目需要三级联动菜单,上网查了半天竟然没有发现一个能直接用的! 呵呵,都要自己填数据....我了个去这东西麻烦就麻烦的数据上. 哎,自己没办法动手写吧. 现将这些数据共享出了,以方便大家.嗯,代码也可以直接使用   文件说明 lib\area.sql -- 县及县以上行政区划分代码（截止2013年8月31日)来源：国家统计局 发布时间：2014-01-17 15:0
  • 哈夫曼加密文件 百合不是茶 哈夫曼压缩哈夫曼加密二叉树
     在上一篇介绍过哈夫曼编码的基础知识,下面就直接介绍使用哈夫曼编码怎么来做文件加密或者压缩与解压的软件,对于新手来是有点难度的,主要还是要理清楚步骤;   加密步骤:  1,统计文件中字节出现的次数,作为权值   2,创建节点和哈夫曼树   3,得到每个子节点01串   4,使用哈夫曼编码表示每个字节  
  • JDK1.5 Cyclicbarrier实例 bijian1013 javathreadjava多线程Cyclicbarrier
    CyclicBarrier类 一个同步辅助类，它允许一组线程互相等待，直到到达某个公共屏障点 (common barrier point)。在涉及一组固定大小的线程的程序中，这些线程必须不时地互相等待，此时 CyclicBarrier 很有用。因为该 barrier 在释放等待线程后可以重用，所以称它为循环的 barrier。 CyclicBarrier支持一个可选的 Runnable 命令，
  • 九项重要的职业规划 bijian1013 工作学习
    一. 学习的步伐不停止        古人说，活到老，学到老。终身学习应该是您的座右铭。        世界在不断变化，每个人都在寻找各自的事业途径。        您只有保证了足够的技能储
  • 【Java范型四】范型方法 bit1129 java
    范型参数不仅仅可以用于类型的声明上，例如   package com.tom.lang.generics; import java.util.List; public class Generics<T> { private T value; public Generics(T value) { this.value =
  • 【Hadoop十三】HDFS Java API基本操作 bit1129 hadoop
      package com.examples.hadoop; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoo
  • ua实现split字符串分隔 ronin47 lua split
    LUA并不象其它许多"大而全"的语言那样，包括很多功能，比如网络通讯、图形界面等。但是LUA可以很容易地被扩展：由宿主语言(通常是C或 C++)提供这些功能，LUA可以使用它们，就像是本来就内置的功能一样。LUA只包括一个精简的核心和最基本的库。这使得LUA体积小、启动速度快，从 而适合嵌入在别的程序里。因此在lua中并没有其他语言那样多的系统函数。习惯了其他语言的字符串分割函
  • java-从先序遍历和中序遍历重建二叉树 bylijinnan java
    public class BuildTreePreOrderInOrder { /** * Build Binary Tree from PreOrder and InOrder * _______7______ / \ __10__ ___2 / \ / 4
  • openfire开发指南《连接和登陆》 开窍的石头 openfire开发指南smack
    第一步     官网下载smack.jar包     下载地址：http://www.igniterealtime.org/downloads/index.jsp#smack 第二步     把smack里边的jar导入你新建的java项目中 开始编写smack连接openfire代码 p
  • [移动通讯]手机后盖应该按需要能够随时开启 comsci 移动
        看到新的手机，很多由金属材质做的外壳，内存和闪存容量越来越大，CPU速度越来越快，对于这些改进，我们非常高兴，也非常欢迎      但是，对于手机的新设计，有几点我们也要注意      第一：手机的后盖应该能够被用户自行取下来，手机的电池的可更换性应该是必须保留的设计,
  • 20款国外知名的php开源cms系统 cuiyadll cms
    内容管理系统，简称CMS，是一种简易的发布和管理新闻的程序。用户可以在后端管理系统中发布，编辑和删除文章，即使您不需要懂得HTML和其他脚本语言，这就是CMS的优点。 在这里我决定介绍20款目前国外市面上最流行的开源的PHP内容管理系统，以便没有PHP知识的读者也可以通过国外内容管理系统建立自己的网站。 1. Wordpress WordPress的是一个功能强大且易于使用的内容管
  • Java生成全局唯一标识符 darrenzhu javauuiduniqueidentifierid
    How to generate a globally unique identifier in Java http://stackoverflow.com/questions/21536572/generate-unique-id-in-java-to-label-groups-of-related-entries-in-a-log http://stackoverflow
  • php安装模块检测是否已安装过, 使用的SQL语句 dcj3sjt126com sql
    SHOW [FULL] TABLES [FROM db_name] [LIKE 'pattern'] SHOW TABLES列举了给定数据库中的非TEMPORARY表。您也可以使用mysqlshow db_name命令得到此清单。 本命令也列举数据库中的其它视图。支持FULL修改符，这样SHOW FULL TABLES就可以显示第二个输出列。对于一个表，第二列的值为BASE T
  • 5天学会一种 web 开发框架 dcj3sjt126com Web框架framework
    web framework层出不穷，特别是ruby/python,各有10+个,php/java也是一大堆 根据我自己的经验写了一个to do list,按照这个清单，一条一条的学习，事半功倍，很快就能掌握 一共25条，即便很磨蹭，2小时也能搞定一条，25*2=50。只需要50小时就能掌握任意一种web框架 各类web框架大同小异:现代web开发框架的6大元素，把握主线，就不会迷路 建议把本文
  • Gson使用三(Map集合的处理,一对多处理) eksliang jsongsonGson mapGson 集合处理
    转载请出自出处：http://eksliang.iteye.com/blog/2175532 一、概述        Map保存的是键值对的形式，Json的格式也是键值对的，所以正常情况下，map跟json之间的转换应当是理所当然的事情。 二、Map参考实例 package com.ickes.json; import java.lang.refl
  • cordova实现“再点击一次退出”效果 gundumw100 android
    基本的写法如下： document.addEventListener("deviceready", onDeviceReady, false); function onDeviceReady() { //navigator.splashscreen.hide(); document.addEventListener("b
  • openldap configuration leaning note iwindyforest configuration
    hostname // to display the computer name hostname <changed name> // to change go to: /etc/sysconfig/network, add/modify HOSTNAME=NEWNAME to change permenately dont forget to change /etc/hosts
  • Nullability and Objective-C 啸笑天 Objective-C
    https://developer.apple.com/swift/blog/?id=25   http://www.cocoachina.com/ios/20150601/11989.html   http://blog.csdn.net/zhangao0086/article/details/44409913   http://blog.sunnyxx
  • jsp中实现参数隐藏的两种方法 macroli JavaScriptjsp
    在一个JSP页面有一个链接，//确定是一个链接?点击弹出一个页面，需要传给这个页面一些参数。//正常的方法是设置弹出页面的src="***.do?p1=aaa&p2=bbb&p3=ccc"//确定目标URL是Action来处理?但是这样会在页面上看到传过来的参数，可能会不安全。要求实现src="***.do"，参数通过其他方法传！//////
  • Bootstrap A标签关闭modal并打开新的链接解决方案 qiaolevip 每天进步一点点学习永无止境bootstrap纵观千象
    Bootstrap里面的js modal控件使用起来很方便，关闭也很简单。只需添加标签 data-dismiss="modal" 即可。 可是偏偏有时候需要a标签既要关闭modal，有要打开新的链接，尝试多种方法未果。只好使用原始js来控制。   <a href="#/group-buy" class="btn bt
  • 二维数组在Java和C中的区别 流淚的芥末 javac二维数组数组
    Java代码：   public class test03 { public static void main(String[] args) { int[][] a = {{1},{2,3},{4,5,6}}; System.out.println(a[0][1]); } }  运行结果： Exception in thread "mai
  • systemctl命令用法 wmlJava linuxsystemctl
    对比表，以 apache / httpd 为例 任务 旧指令 新指令 使某服务自动启动 chkconfig --level 3 httpd on systemctl enable httpd.service 使某服务不自动启动 chkconfig --level 3 httpd off systemctl disable httpd.service 检查服务状态 service h
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他