datawhale 第2页

datawhale 大模型学习第十一章-大模型法律篇

简介新技术与法律关系：大型语言模型（LLM）的出现引发了对现有法律适用性的探讨，尤其是在版权、隐私和公平使用等方面。互联网法律挑战：互联网的匿名性和无国界特性对法律的管辖权提出了挑战。法律与道德区分：法律具有强制执行力，而道德则依赖于社会共识和组织规范。大型语言模型的法律问题数据收集与训练：LLM依赖大量数据，可能涉及未经许可的数据使用，引发版权和隐私问题。应用领域：LLM在问答、聊天机器人等下游

fan_fan_feng·2024-01-29 18:25

datawhale 大模型学习第九\十章-大模型有害性

大模型危害性主要包括：社会偏见性能差异有害信息虚假信息性能差异和社会偏见常常与历史性歧视一致。这将带来更加猛烈的少数群体偏见和边缘化。一、性能差异即系统对于某些人群（例如年轻人或白人）的准确性高于其他人群（如老年人或黑人）例如，Blodgett等人在2017年的研究发现，语言识别系统对非洲裔美国英语的表现不如对标准英语。二、社会偏见系统的预测或生成的文本在目标概念（例如科学）与特定人群（例如男性或

fan_fan_feng·2024-01-29 18:54

whale-quant【01_投资与量化投资】(学习与笔记)

本文整体来自datawhale_whale-quant内容的学习，在基础上加了自己的总结与补充。后续将会补充笔记。内容质量很高，喜欢的盆友请给github项目点一个strar以鼓励！

王多头发·2024-01-28 01:58

Datawhale 202210 Excel | 第五、六、七章 Excel函数示例 & Excel函数列表

Excel函数示例&Excel函数列表函数列表第五章IF函数5.1if函数5.2if函数与复杂逻辑5.3ifs函数第五章练习第六章查找函数6.1VLOOKUP6.2XLOOKUP第六章练习第七章动态函数7.1FILTER-[官方文档](https://support.microsoft.com/zh-cn/office/filter-函数-f4f7cb66-82eb-4767-8f7c-4877a

o0卤化氢0o·2024-01-27 21:29

DataWhale 大数据处理技术组队学习task1

DataWhale大数据处理技术组队学习task1一、大数据概述1.大数据时代（详细内容参考参考文章）2.大数据的概念（又或者是特点）4V数据量大（Volume）数据来源：可以是计算机、手机，也可以是其他联网设备

Y_fulture·2024-01-27 19:33

Datawhale 组队学习之大模型理论基础 Task7 分布式训练

第8章分布式训练8.1为什么分布式训练越来越流行近年来，模型规模越来越大，对硬件（算力、内存）的发展提出要求。因为内存墙的存在，单一设持续提高芯片的集成越来越困难，难以跟上模型扩大的需求。为了解决算力增速不足的问题，人们考虑用多节点集群进行分布式训练，以提升算力。8.2常见的并行策略分为“数据并行”和“模型并行”。8.2.1数据并行数据并行，需要对各个设备上的梯度进行AllReduce，以确保各个

AIzealot无·2024-01-27 19:00

GNN学习第六天

首先感谢datawhale的课程内容：引用GNN/Markdown版本/5-基于图神经网络的节点表征学习.md·Datawhale/team-learning-nlp-码云-开源中国(gitee.com

def1037aab9e·2024-01-27 01:59

Datawhale 大模型基础 Task6 模型之Adaptation篇笔记

通用大模型不能适用于全部领域，并且有着时效性等问题，因此需要进行适应来改善其性能。适应主要分为：预训练模型（主干部分的训练，最消耗算力）；获取特定领域的数据集；找一些参数用于适配；定义损失函数来作为适配的标准；进行问题的优化表示。适应的方法主要有：探测、微调（可以提升零样本性能、改善泛化能力、获取新任务的能力）。轻量微调和微调的思路大题相似，分为轻量级微调的变体、提示词微调、前缀微调、适配器微调。

AIzealot无·2024-01-26 06:40

Datawhale Task5：模型训练篇

本章学习模型训练第6章模型训练模型训练主要由目标函数和优化算法组成6.1目标函数有三类语言模型的目标函数：只包含解码器的模型（如，GPT-3）：计算单向上下文嵌入（contextualembeddings），一次生成一个token只包含编码器的模型（如，BERT）：计算双向上下文嵌入编码器解码器模型（如，T5）：编码输入，解码输出我们可以使用任何模型将token序列映射到上下文嵌入中（例如，LST

AIzealot无·2024-01-26 06:40

datawhale 大模型学习第五章-模型训练

一、目标函数今天要讨论的是以下三种模型结构：Decoder-only模型：例如，GPT-3，单向上下文嵌入，在生成文本时一次生成一个tokenEncoder-only模型:例如，BERT,利用双向上下文注意力生成embedingEncoder-decoder模型：例如，T5,利用双向上下文编码，利用单向上下文生成文本最终结果就是将token序列映射为一个Embedding向量其中：L:代表文本长度

fan_fan_feng·2024-01-24 16:20

DW大模型理论基础第二章大模型的能力

大模型的能力参考链接：https://github.com/datawhalechina/so-large-lm/tree/mainGPT-3——这个具有代表性的⼤型语⾔模型的能⼒值得我们探讨。

LucyFang2020·2024-01-24 08:49

第五章：大模型的数据

参考链接：https://github.com/datawhalechina/so-large-lm/tree/main一、大语言模型背后的数据⼤型语⾔模型是在"原始⽂本"上进⾏训练的。

LucyFang2020·2024-01-24 08:49

第十一章：大模型之Adaptation

参考链接：https://github.com/datawhalechina/so-large-lm/tree/main1引言为什么需要Adaptation?

LucyFang2020·2024-01-24 08:45

datawhale 大模型学习第四章-新模型架构

一、现状GPT3是一个通过96个Transformerblock堆叠在一起的神经网络.即：每一个TransformerBlock是一个多头注意力层的Block目前大模型的规模已经到了极限（模型越大，需要训练资源和时间也就越长）二、混合专家模型混合专家模型通俗点讲就是：有N个专家，每个专家有各种的不同领域能力和模型参数，通过一个门控制机制来给不同专家分配权重，最终汇总所有专家的结果。优点：1.专家与

fan_fan_feng·2024-01-22 21:48

深度强化学习Task2：策略梯度算法

本篇博客是本人参加Datawhale组队学习第二次任务的笔记【教程地址】文章目录基于价值算法和基于策略算法的比较策略梯度算法策略梯度算法的直观理解策略梯度算法REINFORCE算法基于平稳分布的策略梯度算法

卡拉比丘流形·2024-01-22 07:16

datawhale 第三章-模型架构

一、大模型的分词器1.1什么是分词？分词的目的是将输入文本分成一个个词元，保证各个词元拥有相对完整和独立的语义，以供后续任务（比如学习embedding或者作为高级模型的输入）使用。1.2分词的三种粒度词粒度在英文等语言中有着天然的空格分隔，但是对于中文等语言可能需要额外的分词算法来进行处理（比如中文的jieba分词）词粒度的缺点：词粒度的词表由于长尾效应可能会非常大，并且稀有词往往很难学好；OO

fan_fan_feng·2024-01-21 08:41

(202401)深度强化学习基础2：策略梯度

文章目录前言策略梯度1基于价值算法的缺点2策略梯度算法3REINFORCE算法本章小结前言感谢Datawhale成员的开源本次学习内容的文档地址为第九章策略梯度策略梯度这个章节会开始介绍基于策略梯度的算法

早上真好·2024-01-20 22:27

（202401）深度强化学习基础与实践1：马尔科夫过程、DNQ算法回顾

文章目录序言马尔科夫决策过程含义性质回报状态转移矩阵DQN算法深度网络经验回放目标网络实战DQN算法DQN算法进阶DoubleDQNDuelingDQNNoisyDQNPERDQNC51算法序言本文章记录Datawhale

早上真好·2024-01-20 22:56

datawhale 大模型理论基础引言

学习地址：大模型理论基础一、什么是语言模型（LanguageModel)语言模型其实是一个概率模型，给每一个句子列表计算一个概率值：p(x1,…,xL)例如：p(the,mouse,ate,the,cheese)=0.02,p(the,cheeseate,the,mouse)=0.01,p(the,cheeseate,the,mouse)=0.01自回归语言模型(Autoregressivelan

fan_fan_feng·2024-01-20 19:49

datawhale 第二章-大模型的能力

一、概述GPT-3作为一个语言模型，被训练来预测下一个词。并未明确针对特定任务进行训练。在某些任务上，比如语言建模，GPT-3大幅度超越了现有技术的最高水平；在其他任务上，GPT-3与训练有素，拥有大量标签数据的系统竞争时，却明显落后二、语言模型的适应性：从语言模型到任务模型的转化将要给语言模型往特定任务模型转换的过程中，需要以下两个输入：任务描述：即解释一下你这个任务是要干嘛的训练实例：也就是通

fan_fan_feng·2024-01-20 19:49

Datawhale 强化学习笔记(二）马尔可夫过程，DQN 算法

函数如何用梯度下降的方式更新网络参数强化学习vs深度学习提高训练稳定性的技巧经验回放目标网络代码实战DQN算法进阶DoubleDQNDuelingDQN算法代码实战参考在线阅读文档github教程开源框架JoyRLdatawhalechina

RessCris·2024-01-20 17:54

DataWhale组队学习之知识图谱task04

参考datawhale开源组织:https://github.com/datawhalechina/team-learning-nlp/blob/master/KnowledgeGraph_Basic/

YANJINING·2024-01-20 16:28

Datawhale AI夏令营机器学习组学习日记（任务2.1-2.2）

一、任务2.11.1任务内容字段x1至x8为用户相关的属性，为匿名处理字段。添加代码对这些数据字段的取值分析，那些字段为数值类型？那些字段为类别类型？对于数值类型的字段，考虑绘制在标签分组下的箱线图。从common_ts中提取小时，绘制每小时下标签分布的变化。对udmap进行onehot，统计每个key对应的标签均值，绘制直方图。1.2代码解析1.2.1字段x1至x8属性分析#导入库importp

m0_49558200·2024-01-20 06:11

Datawhale AI夏令营机器学习组学习日记（任务1）

一、赛题内容本次大赛提供了讯飞开放平台海量的应用数据作为训练样本，参赛选手需要基于提供的样本构建模型，预测用户的新增情况。赛题数据由约62万条训练集、20万条测试集数据组成，共包含13个字段。其中uuid为样本唯一标识，eid为访问行为ID，udmap为行为属性，其中的key1到key9表示不同的行为属性，如项目名、项目id等相关字段，common_ts为应用访问记录发生时间（毫秒时间戳），其余字

m0_49558200·2024-01-20 06:10

贷款违约预测-Task5 模型融合

赛题：零基础入门数据挖掘-零基础入门金融风控之贷款违约预测项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master

致Great·2024-01-19 21:45

【Datawhale x 财务学习笔记】用智谱清言的代码沙盒进行分析

体验网址智谱清言：https://chatglm.cn/prompt帮我分析一下这个excel文件，从财务角度给出利润情况，并给出优化建议体验结果首先，我将查看上传的Excel文件的内容，以便了解其结构和包含的数据。然后，我将基于这些数据进行分析，并提供财务角度的利润情况和优化建议。让我们开始吧。importpandasaspd#LoadtheExcelfilefile_path='/mnt/da

JeffDingAI·2024-01-19 16:21

清华毕业生去哪了？

Datawhale分享2023届就业情况，来源：清华大学近日，清华就业工作会召开清华2023届档案在校本科毕业生3200多人档案在校研究生毕业生5200多人这些清华学生毕业后都去哪了？就业还是深造？

Datawhale·2024-01-19 09:03

ICLR 2024接收率31％，清华LCM论文作者：讲个笑话，被拒了！

Datawhale分享顶会：ICLR2024，编辑：机器之心你被拒了吗？ICLR2024国际学习表征会议已经来到了第十二届，将于今年5月7日-11日在奥地利维也纳会展中心举行。

Datawhale·2024-01-19 09:33

超过GPT3.5？Mixtral 8*7B 模型结构分析

Datawhale干货作者：宋志学，Datawhale成员前言2023年12月11日，MistralAI团队发布了一款高质量的稀疏专家混合模型Mixtral8x7B。

Datawhale·2024-01-19 09:00

寻找游戏大模王赛后分享（我的寻找游戏大模王之旅

AI原生应用大赛的Top1荆轲刺秦王团队的小罗，很高兴能在这里与大家分享我们这次比赛的经验，同时也希望以后有机会可以和大家一起交流学习~左二是我初遇首先，怀着对创作游戏和学习大模型的那么一份憧憬，作为Datawhale

Unicornlyy·2024-01-18 10:20

图像处理——人脸情绪识别（python卷积神经网络）

、项目背景二、项目任务三、数据说明四、项目步骤1.图片基本情况查看2.图片处理3.模型构建4.模型训练5.验证集验证模型效果6.使用模型进行预测总结前言这是我第一次做图像处理的项目，项目基于科大讯飞和Datawhale

机智的小神仙儿·2024-01-18 09:15

吃瓜教程Task1：概览西瓜书+南瓜书第1、2章

卡拉比丘流形·2024-01-18 05:45

深度强化学习Task1：马尔可夫过程、DQN算法回顾

本篇博客是本人参加Datawhale组队学习第一次任务的笔记【教程地址】https://github.com/datawhalechina/joyrl-book【强化学习库JoyRL】https://github.com

卡拉比丘流形·2024-01-18 05:14

Datawhale 大模型基础理论 Day1 引言

开源链接如下：https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch01.md语言模型的概念：即能够赋予每个有意义的词

AIzealot无·2024-01-16 02:29

【wow-ts】前端学习笔记Typescript基础语法（一）

项目地址是https://github.com/datawhalechina/wow-ts。

miskirito·2024-01-15 22:40

2023虎扑高校排名公布！

Datawhale分享来源：虎扑、双一流高教、募格学术等高校排名榜大家应该都很常见吧，每一年，泰晤士排名、US排名、软科排名.....各类榜单层出不穷，根据各自的算法指数给高校排个高低，供学子们参考。

Datawhale·2024-01-15 11:16

AI大模型安全研究方向及学习路径！

Datawhale分享组织方：集智俱乐部、Datawhale导语2023年终于在此起彼伏的AI狂潮中涌向终点。通用人工智能AGI的实现路径逐渐雾消路现。

Datawhale·2024-01-15 11:46

冠军获奖经历：这一路我们不孤单！

Datawhale干货获奖：元贞、小罗，Datawhale优秀学习者前言大家好，我是2023寻找游戏大模王AI原生应用大赛的Top1荆轲刺秦王团队的小罗，很高兴能在这里与大家分享我们这次比赛的经验，同时也希望以后有机会可以和大家一起交流学习

Datawhale·2024-01-15 11:46

开年第一场AI学习来了！

Datawhale学习联合主办：MARS社区、人邮异步社区本期学习包含学习伙伴、算法学习和动手实践三大专区，共8个学习内容，详情如下：目录1.报名方式2.组队学习模式3.学习内容详情4.自学教程汇总1.

Datawhale·2024-01-15 11:15

动手学深度学习

本期Datawhale组队学习呢，是学习李沐老师的动手学深度学习pytorch版本，希望自己能坚持学下去有所收获。

伟伟好帅·2024-01-14 07:01

2024 CS Rankings 发布！清华世界第二

来源|DatawhaleCSRankings2024排名揭晓！全世界计算机科学机构的排名进行了大更新！

lqfarmer·2024-01-14 03:20

Tianchi发布完整开源数据集！

包含了计算机视觉，自然语言处理，金融，电商，医疗，工业，农业等数据集，非常适合学习和实践，Datawhale整理如下：#数据集开源地址https://tianchi.aliyun.com/dataset

无忧获客01·2024-01-13 18:09

Chat 向左，Agent 向右

Datawhale干货作者：李博杰，中国科学技术大学博士编辑丨极市平台导读也许“Agent”才是大模型的真正杀手级应用。

Datawhale·2024-01-12 13:39

MySQL：集合运算----Datawhale第四次打卡笔记

SQL基础教程声明：此博客内容整理自Datawhale打卡学习，且据打卡内容整理为笔记，转载请联系Datawhale及我本人授权，必须注明转载来源。

西关以西（望北楼）·2024-01-11 17:32

书生·浦语大模型实战营第一课笔记

Horace_01·2024-01-11 05:04

【组队学习】Task03：学习BERT和GPT

组队学习资料：datawhale8月组队学习-基于transformers的自然语言处理(NLP)入门Task03主要学习内容：2.3-图解BERT.md2.4-图解GPT.md声明:NLP纯小白,本文内容主要是作为个人学习笔记

诡途·2024-01-10 06:06

爆火全网的斯坦福家务机器人Mobile ALOHA，大！翻！！车！！！

Datawhale·2024-01-07 14:42

吴恩达最新预测：关于AI，这些事未来十年不会变

Datawhale干货分享：吴恩达等，来源：量子位2024年，AI的发展会有怎样的改变？在吴恩达最新的一封来信中，他认为有几件事情在接下来十年内都不会发生改变。

Datawhale·2024-01-07 14:12

GPT-4变笨的原因揭秘