lovefreedom22
lovefreedom22

CS231n Assignment1--Q3

Q3: Implement a Softmax classifier

作业代码已上传至我github: https://github.com/jingshuangliu22/cs231n,欢迎参考、讨论、指正。

softmax.ipynb

Train data shape: (49000, 3073)
Train labels shape: (49000,)
Validation data shape: (1000, 3073)
Validation labels shape: (1000,)
Test data shape: (1000, 3073)
Test labels shape: (1000,)
dev data shape: (500, 3073)
dev labels shape: (500,)

Softmax Classifier

loss: 2.374488
sanity check: 2.302585

numerical: 1.055128 analytic: 1.055127, relative error: 8.054454e-08
numerical: 1.799979 analytic: 1.799979, relative error: 3.548119e-08
numerical: 3.057507 analytic: 3.057507, relative error: 4.628624e-09
numerical: 3.042005 analytic: 3.042005, relative error: 1.489120e-08
numerical: 3.134774 analytic: 3.134774, relative error: 1.959762e-08
numerical: 3.469694 analytic: 3.469694, relative error: 1.521055e-09
numerical: -0.821283 analytic: -0.821283, relative error: 4.904056e-09
numerical: 0.033736 analytic: 0.033736, relative error: 2.233549e-07
numerical: -0.249902 analytic: -0.249903, relative error: 1.138011e-07
numerical: 0.259507 analytic: 0.259507, relative error: 5.076593e-08
numerical: -4.654762 analytic: -468.625947, relative error: 9.803298e-01
numerical: -3.464832 analytic: -349.169539, relative error: 9.803489e-01
numerical: 0.225706 analytic: 22.937998, relative error: 9.805121e-01
numerical: 0.458898 analytic: 45.620289, relative error: 9.800822e-01
numerical: -2.204595 analytic: -221.769293, relative error: 9.803138e-01
numerical: -0.125210 analytic: -13.301957, relative error: 9.813498e-01
numerical: 2.005059 analytic: 201.274224, relative error: 9.802729e-01
numerical: 1.269539 analytic: 129.611320, relative error: 9.806001e-01
numerical: -0.056690 analytic: -6.611941, relative error: 9.829980e-01
numerical: -0.262966 analytic: -27.175883, relative error: 9.808326e-01

naive loss: 2.374488e+00 computed in 0.211975s
vectorized loss: 2.374488e+00 computed in 0.009088s
Loss difference: 0.000000
Gradient difference: 0.000000

iteration 0 / 1500: loss 782.193431
iteration 100 / 1500: loss 287.369345
iteration 200 / 1500: loss 106.520535
iteration 300 / 1500: loss 40.317201
iteration 400 / 1500: loss 16.090033
iteration 500 / 1500: loss 7.234079
iteration 600 / 1500: loss 3.996430
iteration 700 / 1500: loss 2.795388
iteration 800 / 1500: loss 2.292711
iteration 900 / 1500: loss 2.170212
iteration 1000 / 1500: loss 2.175318
iteration 1100 / 1500: loss 2.168804
iteration 1200 / 1500: loss 2.132038
iteration 1300 / 1500: loss 2.146590
iteration 1400 / 1500: loss 2.076369
iteration 0 / 1500: loss 1533014.675630
iteration 100 / 1500: loss nan
iteration 200 / 1500: loss nan
iteration 300 / 1500: loss nan
iteration 400 / 1500: loss nan
iteration 500 / 1500: loss nan
iteration 600 / 1500: loss nan
iteration 700 / 1500: loss nan
iteration 800 / 1500: loss nan
iteration 900 / 1500: loss nan
iteration 1000 / 1500: loss nan
iteration 1100 / 1500: loss nan
iteration 1200 / 1500: loss nan
iteration 1300 / 1500: loss nan
iteration 1400 / 1500: loss nan
iteration 0 / 1500: loss 768.536932
iteration 100 / 1500: loss 6.860303
iteration 200 / 1500: loss 2.084644
iteration 300 / 1500: loss 2.097076
iteration 400 / 1500: loss 2.101419
iteration 500 / 1500: loss 2.098051
iteration 600 / 1500: loss 2.126691
iteration 700 / 1500: loss 2.055123
iteration 800 / 1500: loss 2.072236
iteration 900 / 1500: loss 2.111768
iteration 1000 / 1500: loss 2.136510
iteration 1100 / 1500: loss 2.105484
iteration 1200 / 1500: loss 2.069053
iteration 1300 / 1500: loss 2.135619
iteration 1400 / 1500: loss 2.033488
iteration 0 / 1500: loss 1550818.358399
iteration 100 / 1500: loss nan
iteration 200 / 1500: loss nan
iteration 300 / 1500: loss nan
iteration 400 / 1500: loss nan
iteration 500 / 1500: loss nan
iteration 600 / 1500: loss nan
iteration 700 / 1500: loss nan
iteration 800 / 1500: loss nan
iteration 900 / 1500: loss nan
iteration 1000 / 1500: loss nan
iteration 1100 / 1500: loss nan
iteration 1200 / 1500: loss nan
iteration 1300 / 1500: loss nan
iteration 1400 / 1500: loss nan
lr 1.000000e-07 reg 5.000000e+04 train accuracy: 0.327531 val accuracy: 0.353000
lr 1.000000e-07 reg 1.000000e+08 train accuracy: 0.100265 val accuracy: 0.087000
lr 5.000000e-07 reg 5.000000e+04 train accuracy: 0.330939 val accuracy: 0.331000
lr 5.000000e-07 reg 1.000000e+08 train accuracy: 0.100265 val accuracy: 0.087000
best validation accuracy achieved during cross-validation: 0.353000

softmax on raw pixels final test set accuracy: 0.340000

CS231n Assignment1--Q3_第1张图片

你可能感兴趣的:(Numpy)

  • 34、深度学习-自学之路-深入理解-NLP自然语言处理-RNN一个简单的程序，可以从程序中理解RNN的基本思想。 小宇爱 深度学习-自学之路深度学习自然语言处理rnn
    importsys,random,mathfromcollectionsimportCounterimportnumpyasnpf=open('tasks_1-20_v1/en/qa1_single-supporting-fact_train.txt','r')raw=f.readlines()f.close()tokens=list()forlineinraw[0:1000]:tokens.ap
  • NumPy的基本使用 Mo思 编程学习numpypython开发语言pip
    在Python的数据科学与数值计算领域，NumPy无疑是一颗耀眼的明星。作为Python中用于科学计算的基础库，NumPy提供了高效的多维数组对象以及处理这些数组的各种工具。本文将带您深入了解NumPy的基本使用，感受它的强大魅力。一、安装与导入在使用NumPy之前，首先要确保它已经安装在您的Python环境中。如果您使用的是Anaconda发行版，NumPy通常已经预装。若未安装，可以使用如下命
  • python实现将RGB相机与事件相机的照片信息进行融合以进行目标检测 go5463158465 python算法python数码相机目标检测
    要将RGB相机与事件相机的照片信息进行融合以进行目标检测，我们可以按以下步骤进行：整体思路数据读取：分别读取RGB图像和事件相机数据。数据预处理：对RGB图像和事件数据进行必要的预处理，如调整尺寸、归一化等。数据融合：将预处理后的RGB图像和事件数据进行融合。目标检测：使用融合后的数据进行目标检测。代码实现importcv2importnumpyasnpimporttorchfromtorchvi
  • macOS M2 安装 Jax (jax-metal) 丽英y 实践笔记macosjaxjax-metalmacmetalsonamamps
    Apple官方教程：AcceleratedJAXonMachttps://developer.apple.com/metal/jax/使用pipinstalljax或pipinstalljax-metal安装Jax后，运行验证代码：python-c'importjax;print(jax.numpy.arange(10))'会提示loc("-":0:0):error:currentmpsdiale
  • Java程序员面临抉择：激烈竞争下，转行大模型或是新出路，非常详细收藏我这一篇就够了！ 大模型教程 大模型学习学习大模型语言模型人工智能程序员转行
    Java程序员转行大模型领域，可以依据以下详细路线进行学习和职业转换：第1阶段：基础知识巩固数学基础：线性代数：矩阵运算、向量空间等。概率论与统计：概率分布、统计推断等。微积分：导数、积分、多变量函数等。Python编程：Python基础：数据类型、控制结构、函数等。Python进阶：面向对象编程、装饰器、生成器等。数据处理：NumPy、Pandas、Matplotlib。第2阶段：机器学习与深度
  • 符号学习初学代码——从开普勒第三定律到万有引力定律 Merci美滋滋 学习python机器学习
    备注PINN——physicsinformedneuralnetworkSR——symbolicregression代码详细分析见评论区链接一、SR_testimportnumpyasnpT=np.array([0.241,0.615,1,1.881,11.862]).reshape(-1,1)R=np.array([0.381,0.723,1,1.524,5.023]).reshape(-1,1
  • 债券到期收益率计算 周纠纠 金融科技-计算机相关python深度学习
    债券到期收益率YTM计算公式Python实现计算公式Python实现importscipy.optimizeassoimportnumpyasnp'''计算债券到期收益率的函数PV:表示债券全价；C:票面年利息；k:年付息频率；y:到期收益率；M:债券面值;T:债券期限（年）'''defYTM(PV,C,k,M,T
  • Implement Ridge Regression Loss Function 六月五日 Deep-MLDeep-ML
    ImplementRidgeRegressionLossFunctionWriteaPythonfunctionridge_lossthatimplementstheRidgeRegressionlossfunction.Thefunctionshouldtakea2DnumpyarrayXrepresentingthefeaturematrix,a1Dnumpyarraywrepresentin
  • 吴恩达-机器学习-多元线性回归模型代码 StrawBerryTreea 机器学习机器学习线性回归python吴恩达
    吴恩达《机器学习》2022版第一节第二周多元线性回归房价预测简单实现以下以下共两个实验，都是通过调用sklearn函数，分别实现了一元线性回归和多元线性回归的房价预测。一、一元线性回归importnumpyasnpnp.set_printoptions(precision=2)fromsklearn.linear_modelimportLinearRegression#输入数据X_train=np
  • GAN网络 Wzongming pycharmpython
    """ModuleimplementingGANwhichwillbetrainedusingtheProgressivegrowingtechnique->https://arxiv.org/abs/1710.10196"""importdatetimeimportosimporttimeimporttimeitimportnumpyasnpimporttorchasthclassGenerat
  • python sympy安装_如何为Python 3.4安装sympy weixin_39574720 pythonsympy安装
    我使用从here获取的以下命令安装了Pythonscipy堆栈sudoapt-getinstallpython-numpypython-scipypython-matplotlibipythonipython-notebookpython-pandaspython-sympypython-nose但是,我只能在Python2.7.6中导入sympy,这是我在终端输入python时的默认Python
  • 【机器学习】多元线性回归 T0uken Python全栈开发1024程序员节机器学习算法线性回归
    在实际应用中，许多问题都包含多个特征（输入变量），而不仅仅是单个输入变量。多元线性回归是线性回归的扩展，它能够处理多个输入特征并建立它们与目标变量的线性关系。本教程将系统性推演多元线性回归，包括向量化处理、特征放缩、梯度下降的收敛性和学习率选择等，并使用numpy实现。最后，我们会通过sklearn快速实现多元线性回归模型。多元线性回归模型简介多元线性回归的模型公式为：y=X⋅w+by=X\cdo
  • python画二维矩阵图_基于python 二维数组及画图的实例详解 weixin_39785400 python画二维矩阵图
    1、二维数组取值注：不管是二维数组，还是一维数组，数组里的数据类型要一模一样，即若是数值型，全为数值型#二维数组importnumpyasnplist1=[[1.73,1.68,1.71,1.89,1.78],[54.4,59.2,63.6,88.4,68.7]]list3=[1.73,1.68,1.71,1.89,1.78]list4=[54.4,59.2,63.6,88.4,68.7]list
  • Anaconda3 介绍和安装 gorgor在码农 #python入门基础pythonconda
    介绍Anaconda是一个开源的Python和R语言发行版，专注于数据科学、机器学习和科学计算，主要面向数据科学和机器学习领域。它集成了大量常用的科学计算库（如NumPy、Pandas、Matplotlib、Scikit-learn等），并提供了强大的包管理工具Conda和环境管理功能，适合快速部署和管理复杂的开发环境。特点：预装丰富库：包含250+常用的数据科学工具包，无需手动安装。跨平台支持：
  • Python：第三方库 衍生星球 python第三方库
    1.第三方Python库库名用途pip安装指令NumPy矩阵运算pipinstallnumpyMatplotlib产品级2D图形绘制pipinstallmatplotlibPIL图像处理pipinstallpillowsklearn机器学习和数据挖掘pipinstallsklearnRequestsHTTP协议访问pipinstallrequestsJieba中文分词pipinstalljieba
  • 根据deepseek模型微调训练自动驾驶模型及数据集的思路 ywfwyht 自动驾驶深度学习人工智能自动驾驶人工智能机器学习
    以下是使用DeepSeek模型微调训练自动驾驶模型的详细步骤和代码示例。本流程假设你已有自动驾驶领域的数据集（如驾驶指令、传感器数据等），并基于PyTorch框架实现。Step1:环境准备#安装依赖库pipinstalltorchtransformersdatasetsnumpypandasStep2:数据准备假设数据集格式为JSON，包含输入文本（传感器/场景描述）和输出控制指令：//data/
  • Python实战：解析labelme标注数据——如何将数据转换为COCO格式 程序员杨弋 Python全栈工程师学习指南python开发语言
    在计算机视觉中，标注数据是非常重要的，而Labelme是一个简单易用的自由标注工具，被广泛应用于图像语义分割、目标检测、实例分割等领域，然而标注数据并不总是以我们需要的格式存在，因此需要进行适当的转换，本文将详细介绍如何将Labelme标注数据转换为COCO格式。首先需要安装相关的Python库，包括labelme、numpy、matplotlib、pillow等，在安装完成后设置数据路径，并读取
  • yolov8(8.2.10)+deepsort（demo） fengsongdehappy YOLO
    只需要训练好yolov8的检测模型然后调用：results=model.track(frame,persist=True)#执行跟踪，persist=True表示持续跟踪。保持同一个人在多帧画面的id一就可以完整代码：importcv2importnumpyasnpfromultralyticsimportYOLOfromcollectionsimportdefaultdict#框的中心点的历史轨
  • 第三章 回归训练实战（以预测新冠感染人数为例） 不吃香菜（扣1复活版） 深度学习入门笔记深度学习人工智能
    完整项目代码（预测第三天的新冠感染人数）fromsklearn.feature_selectionimportSelectKBestfromsklearn.feature_selectionimportchi2importcsv#读CSVimportnumpyasnpimporttimeimportmatplotlib.pyplotaspltimportpandasaspdfromtorchimp
  • numpy.float8不存在；Python中，实现16位浮点数 ZhangJiQun&MXP 教学2021论文2024大模型以及算力算法python数据结构人工智能
    目录python中矩阵的浮点数存储numpy.float8不存在Python中，实现16位浮点数实现float16关于float8python中矩阵的浮点数存储在Python中，矩阵通常是通过嵌套列表（listoflists）、NumPy数组（numpy.ndarray）或其他类似的数据结构来表示的。矩阵中存储的数值所占用的位数取决于多个因素，包括数值的类型（整数、浮点数等）以及具体的数值范围。嵌
  • k均值聚类python实现 小尤笔记 均值算法聚类python开发语言Python基础
    K均值聚类（K-MeansClustering）是一种常用的无监督学习算法，用于将数据分成K个簇。以下是一个简单的Python实现K均值聚类的代码讲解，包括数据准备、初始化、迭代更新簇心和分配簇标签等步骤。CSDN大礼包：《2025年最新全套学习资料包》免费分享代码实现importnumpyasnpimportmatplotlib.pyplotasplt#生成示例数据np.random.seed(
  • 使用Python开发高级游戏：创建一个3D射击游戏 风亦辰739 Python小游戏python游戏3d
    在这篇文章中，我们将深入介绍如何使用Python开发一个简单的3D射击游戏。我们将使用Pygame库来创建2D游戏界面，并结合PyOpenGL来进行3D渲染。这个项目的目标是帮助你理解如何将2D和3D图形结合起来，创建更复杂的游戏机制，包括玩家控制、敌人AI、碰撞检测和声音效果。一、开发环境准备安装依赖库：Pygame：用于2D游戏开发和图形渲染。PyOpenGL：用于处理3D渲染。numpy：用
  • The pandas.np module is deprecated and will be removed from pandas in a future version. Import numpy lucky多多 解决安装配置等问题
    Thepandas.npmoduleisdeprecatedandwillberemovedfrompandasinafutureversion.Importnumpydirectlyinsteadfrompandasimportnp这种原因是因为我还在用frompandasimportnp看来是要升级下了pipinstall--upgradepandas之后根据控制台返回的提示作相应的更改，我这
  • yolo数据增强 攀神 YOLOpython开发语言
    importosimportcv2importnumpyasnpimportalbumentationsasA#定义数据增强的变换，可以根据需要自定义transform=A.Compose([A.HorizontalFlip(p=0.5),#水平翻转A.RandomBrightnessContrast(p=0.5),#随机亮度和对比度A.Rotate(limit=15,p=0.5),#随机旋转A.
  • Python编程笔记 我真不会起名字啊 python开发语言
    关于python在安装第三方库时遇到的问题（numpy、matplotlib、scipy、scikit-learn）软件设计模式课程设计---Python实现学生信息管理系统（MySQL数据库+前端可视化）Python实现图形的几何变换(平移、旋转、错切、反射、缩放)Python实现三次参数样条曲线、三次Bezier曲线、三次B样条曲线（tkinter实现输入框，matplotlib绘制曲线）
  • 自制本地影音播放器（python） 席子哥哥的代码库 pythonpython开发语言
    需要安装：pipinstallopencv-pythonpygamepillownumpy技术参数|特性|说明||分辨率支持|最高4KHDR||采样率|44.1kHz-192kHz||位深|16bit/24bit/32bit||声道配置|立体声/5.1/7.1环绕||字幕支持|SRT/ASS外挂字幕||色彩空间|RGB/YUV4:4:4/4:2:2/4:2:0|核心功能1.多格式支持音频：MP3/
  • 了解Python中的SciPy库 axecute pythonscipy开发语言算法矩阵
    么是SciPy？SciPy（发音为“SighPie”）是ScientificPython的首字母缩写词，它是Python的开源库，用于科学和技术计算。它是Python编程语言中称为Numpy的基本数组处理库的扩展，旨在支持高级科学和工程计算。为什么使用SciPy？它基本上是Python编程语言的扩展，用于提供数值计算功能，以及一个强大而高效的工具箱。以下是SciPy无价的一些原因：•广泛的功能：对
  • python大恒相机保存RAW图和实时显示 fmdpenny 相机镜头选型python数码相机开发语言
    一、用python进行采集临时有个任务需要进行数据采集二、直接上代码importgxipyasgximportcv2importnumpyasnpdefmain():#初始化设备管理器device_manager=gx.DeviceManager()#枚举设备dev_num,dev_info_list=device_manager.update_device_list()print(dev_inf
  • 如何利用Python调用同花顺API接口获取股票实时数据及历史数据 股票程序化交易接口 量化交易股票API接口Python股票量化交易python同花顺api股票数据实时数据股票量化接口股票API接口
    Python股票接口实现查询账户，提交订单，自动交易（1）Python股票程序交易接口查账，提交订单，自动交易（2）股票量化，Python炒股，CSDN交流社区>>>Python在金融领域的应用价值Python是一种功能强大且广泛使用的编程语言。在金融领域，它的重要性日益凸显。Python具有丰富的库，如Pandas、Numpy等，这些库能够方便地处理数据。它还具有简洁的语法，使得编写代码的效率大
  • 集成学习算法简述 終不似少年遊* 人工智能学习进阶集成学习算法机器学习人工智能提高效率
    目录1.必要的导入2.Bagging集成3.基于matplotlib写一个函数对决策边界做可视化4.总结图中结论5.扩展说明1.必要的导入#Tosupportbothpython2andpython3from__future__importdivision,print_function,unicode_literals#Commonimportsimportnumpyasnpimportos#to
  • SQL的各种连接查询 xieke90 UNION ALLUNION外连接内连接JOIN
    一、内连接   概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。                 内连接（join 或者inner join ）       SQL语法：       select * fron
  • java编程思想--复用类 百合不是茶 java继承代理组合final类
          复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书   一:组合语法:就是将对象的引用放到新类中即可     代码:     package com.wj.reuse; /** * * @author Administrator 组
  • [开源与生态系统]国产CPU的生态系统 comsci cpu
          计算机要从娃娃抓起...而孩子最喜欢玩游戏....       要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节....       投入一些资金和资源,人力和政策,让游
  • JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释 商人shang jvm内存
    jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。 非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
  • 页面上调用 QQ oloz qq
    <A href="tencent://message/?uin=707321921&amp;Site=有事Q我&amp;Menu=yes">   <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
  • 一些问题 文强chu 问题
    1.eclipse 导出 doc  出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql  * 必须得放前面 否则  select&nbs
  • 生活没有安全感 小桔子 生活孤独安全感
           圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
  • php 基础语法 aichenglong php 基本语法
    1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer  float/double Boolean string 1 .3 复合数据类型 数组array和对象 object 1 .4 特殊数据类型  null 资源类型(resource)    $co
  • mybatis tools 配置详解 AILIKES mybatis
    MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。 本文使用Markdown进行编辑，但是博客显示效
  • 继承与多态的探讨 百合不是茶 JAVA面向对象 继承 对象
    继承 extends   多态 继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：     在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
  • JS的undefined与null的实例 bijian1013 JavaScriptJavaScript
    <form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
  • TDD实践（一） bijian1013 java敏捷TDD
    一.TDD概述         TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。     
  • [Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
    什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息   Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
  • 【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
    1. 什么是UDTF   UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table， 貌似更应该理解为生成了类似关系表的二维行数据集   2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
  • tfs restful api 加auth 2.0认计 ronin47
    　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点： 　　一是基于客户端的ip设置。这个比较容易实现。 　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。 　　现在重点介绍第二种方法实现思路。 　　 前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
  • jdk环境变量配置 byalias javajdk
    进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
  • 《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
    package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
  • SQL 数值四舍五入 小数点后保留2位 chicony 四舍五入
    1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。 例如： 　　select   cast(round(12.5,2)   as   numeric(5,2))  
  • c++运算符重载 CrazyMizzz C++
    一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似 二、<<输出,>>输入的运算符重载      &nb
  • hive DDL语法汇总 daizj hive修改列DDL修改表
    hive DDL语法汇总 １、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name;   2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
  • jbox使用说明 dcj3sjt126com Web
    参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载]  技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
  • UISegmentedControl 开发笔记 dcj3sjt126com
      //    typedef NS_ENUM(NSInteger, UISegmentedControlStyle) {     //        UISegmentedControlStylePlain,     // large plain   &
  • Slick生成表映射文件 ekian scala
    Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
  • ES-TEST gengzg test
    package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
  • 为何外键不再推荐使用 hugh.wang mysqlDB
    表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。 在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
  • 领域驱动设计 julyflame VODAO设计模式DTOpo
    概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
  • 单例设计模式 hm4123660 javaSingleton单例设计模式懒汉式饿汉式
           单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。      &nb
  • logback zhb8015 loglogback
    一、logback的介绍      Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-class
  • 整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer sparkstormzookeeperPARALLELISMprocessing
    作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
  • spring-master-slave-commondao 王新春 DAOspringdataSourceslavemaster
    互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。 为此，往往搭建 db的 一主多从库的 数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他