本人在参加Datawhale组织的11月组队学习《推荐系统入门实践:新闻推荐预测》时,在多路召回任务时,需要导入一个叫faiss库,于是百度查询了各种方法,踩过各种坑。最后踩坑踩到哭,可以自己做一个U盘启动盘或者安装虚拟机
虚拟机安装超链接
Faiss是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集(备注:向量集大小由RAM内存决定)的算法,以及用于算法评估和参数调整的支持代码。Faiss用C++编写,并提供与Numpy完美衔接的Python接口。除此以外,对一些核心算法提供了GPU实现。通过Faiss文档介绍可以了解faiss的主要功能就是相似度搜索。如下图所示,以图片搜索为例,所谓相似度搜索,便是在给定的一堆图片中,寻找出我指定的目标最像的K张图片,也简称为KNN(K近邻)问题。都是博客形式主义废话。干啥啥不行,干饭第一名
Anaconda和pycharm也不用多说,python编程入门首选之一,提供了良好的界面化和集成环境,不了解的可以上网搜一下,反正无脑用就完了。
这一步
参考老表链接
可以从windows里面下但是要下载linux版本的拷贝到ubantu过去,麻烦。本人是双系统,没有安装虚拟机,因为虚拟机跑的慢,然后踩到核弹。。默认清空整个磁盘把我整个机械硬盘都干没了,此处略,网上大部分都是如何将一篇简单的教程写的跟博士论文一样。再次不推荐博客了
Anaconda下载地址
pycharm下载地址
建议食用pro版本,别更我老表一样,之前我也是大众版,后来发现pro版真香,入门python小白分析代码必备变量。 链接如下获取方式,如果你是学生可以申请免费的,当然我也是,嫌麻烦,微信搜公众号 python联盟 回复jihuoma集火码。好像博文发不出就是这个原因。郑重声明本人没有打广告要是你有其他方法也行。。
先把下载好的压缩包解压好,然后在解压好的pycharm中找到bin文件,然后右键->在终端打开,。
执行
sh pycharm.sh
bash pycharm.sh
记住到bin文件里看不见pychram.sh文件,但是这条命令可以在bin路径下执行
bash Anaconda3-5.2.0-Linux-x86_64.sh
到anaconda路径下执行你下载的包,友情提醒我们的包版本不一样,你得输入你下载anaconda版本包的名字,
conda update all
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
更新不了。
如果要切换回默认源,使用命令
conda config --remove-key channels
后来本人又踩到坑我太难了 pip 不能更新
然后导致一些包下载不下载
pip install --upgrade pip -i https://pypi.douban.com/simple
-i 加上源的url
举例
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install numpy -i http://pypi.douban.com/simple
其他包也行,记住pip之用的是你python的编译器,conda是的anconda环境下的编译器。。pycharm个人认为使用anaconda下的python编译器,anconda集成python的许多package。
anaconda安装更新package指令
conda install package
conda update package
conda install faiss-cpu -c pytorch
conda install faiss-gpu cudatooklkit=10.0 -c pytorch
恭喜大功告成