日报&周刊合集 | 生产力工具与行业应用大全 | 点赞关注评论拜托啦!
https://huggingface.co/01-ai/Yi-34B/discussions/11#6553145873a5a6f938658491
最近两天,李开复麾下「零一万物」最新推出的 Yi 大模型陷入了「套壳 LLaMA 2」的争议,官方两次发布说明,李开复也在朋友圈转发解释。日报整理一下完整时间线:
11月6日,零一万物正式开源发布首款预训练大模型 Yi-34B
当天,HuggingFace 社区开发者 @ehartford 在社区留言指出,Yi 使用了 LLaMA 的架构(除了重新命名了两个变量量),但是没有在开源 License 中提及 LLaMA
次日,评论区有人制作了 Yi 和 LLaMA 的代码对比(https://www.diffchecker.com/bJTqkvmQ),坐实二者之间并无显著区别,不过此时这件事的影响力依然有限
11月14日,这个讨论被推上了科技社区 Hacker News,关注度飙升并引出了关于 Yi 大模型的更多讨论,比如模型声称 32K 但是配置只有 4K,而且也没有重现基准测试的说明等等(https://news.ycombinator.com/item?id=38258015)
随后,网友挖出前阿里VP贾扬清近期的一条朋友圈,吐槽国产某新推出的大模型实际上就是抄袭 LLaMA,只是为了表示不一样更换了几个变量名(见上图)
很快,零一万物发布第一轮回应,团队开源总监 Richard Lin 也在Hugging Face社区原贴之下回复,给出的解释是:命名问题是团队的疏忽,在大量训练实验中,团队对代码进行了多次重命名以满足实验要求,但在发布正式版本之前没将它们切换回来,并给出了解决方案(见上方链接)
11月15日,零一万物发布第二轮回应,公众号推文称:国内开源模型绝大多数采用 GPT/LLaMA 的架构,大模型持续发展与寻求突破口的核心点不仅在于架构,而是在于训练得到的参数;零一万物团队投注大部分精力调整训练方法、数据配比、数据工程、细节参数、baby sitting(训练过程监测)技巧等,这一系列超越模型架构之外,研究与工程并进且具有前沿突破性的研发任务,才是真正属于模型训练内核最为关键、能够形成大模型技术护城河 know-how积累 ⋙ 零一万物官方说明
随后,李开复转发朋友圈并配文:全球大模型架构一路从GPT2 --> Gopher --> Chinchilla --> Llama2 -->Yi,行业逐渐形成大模型的通用标准(就像做一个手机app开发者不会去自创ios、Android 以外的全新基础架构)
不过,零一万物的承认和后续声明带来了新的问题:根据 LLaMA 的开源许可,Yi 大模型非常有可能被视作 LLaMA 的衍生模型,那么 Yi 协议中「Yi 系列模型及其相关知识产权的所有权完全归许可方所有」的条款将不再有效,其知识产权将归 Meta、Yi 和任何第三方修改者共同拥有
看看官方是否会有进一步的动作
https://www.ft.com/content/dd9ba2f6-f509-42f0-8e97-4271c7b84ded
OpenAI CEO Sam Altman 在近期接受「金融时报 (Financial Times)」的采访时,透露了非常多的有效信息,让我们得以窥见 OpenAI 下一步的行动和 AGI (通用人工智能) 愿景的具体描述。日报将其内容概括为6条,感兴趣可以阅读底部中文全文:
GPT-5的开发进程与数据来源:即将开发下一代大模型 GPT-5,功能还不清楚 (「开盲盒」),发布时间未透露,需要的训练数据来自于互联网上公开可用的数据集以及公司的专有数据
GPTs 与 GPTs 商店:OpenAI正在基于ChatGPT构建商业模式,GPTs 采取类似于苹果应用商店的模式,与最优秀的GPT创作者共享收益,但这些并不是 OpenAI 的核心产品,只是通向核心产品的渠道
Altman 未来的重点关注领域:如何打造超级智能 & 探索增强计算能力的方法,目标是创建通用人工智能
AI芯片短缺与供需好转时间点:Nvidia H100芯片供应短缺,但随着 Google、Microsoft、AMD 和 Intel 等公司准备推出自己的 AI 芯片,芯片短缺将在明年有所好转
OpenAI与Microsoft 合作关系:合作关系良好,希望能从微软等公司筹集更多资金,因为需要训练成本实在是太高了,未来还有漫漫长路要走
OpenAI 的 AGI 愿景:大语言模型 LLM 是实现AGI的关键组成部分,但还需要更多的其他元素共同构建真正的 AGI,「牛顿永远不会仅仅通过阅读几何或代数来发明微积分,我们的模型也不例外,要创造全新的人类知识,我们还缺少什么关键的思想呢」 ⋙ 中文版全文
比赛详情 https://docs.qq.com/aio/DWmlUUnNhYUVLbnFM
GenWorld 联合 HuggingFace、Minimax、真格基金等海外内外知名 AI 组织,再次举办AI小说创作活动——「假如…? AI 故事大赛」。活动旨在帮助参赛者使用AI工具分享自己的故事,探索创意的边界,并且提供了非常有吸引力的奖品。
比赛时间是 2023年11月15日-12月20日,要求提交作品字数不超过 5,000 字,故事文字和多模态内容必须由AI生成,且不限制 AI 工具范畴和使用方式 (颇有点「八仙过海,各显神通」的意思呀) ~
写作是与我们距离最近、接触频率最高的AI场景了,上一届比赛的反响就很好!感兴趣可以报名试试看 ⋙ 了解更多
https://chat.openai.com/g/g-cbNeVpiuC-aisuan-ming
了解更多 https://weibo.com/1727858283/4968239118418896
群里很早之前就在讨论,ChatGPT 如何与命理学做一下结合,还兴致勃勃地讨论怎么开实体店……随着多模态和 GPTs 功能的开放,这个想法终于得以实现啦!
GPTs「AI算命」的开发者是 X@毅鸣,提供了大量专业训练语料,可以根据生辰八字进行命理推测,生成的结果也是有模有样的。
### 八字基本信息及构成:
### 八字基本分析:
### 命理详细分析:
#### 个性特点:
#### 事业:
#### 财运:
#### 婚姻:
#### 健康:### 未来1年趋势与预测:
### 流年预测:
### 未来3到5年趋势与预测:
### 一生的命运预测:
### 一生将会遇到的劫难:
### 一生将会遇到的福报:
### 综合建议:
https://aitutor.liduos.com
理论学习部分由Langchain、LlamaIndex等开源工具文档、一些最佳实践的技术博客、论文阅读三部分组成。在每个工具的理论学习结束后,辅以实践性代码帮助理解。最后会将各个模块整合起来实现一个信息处理系统。
大语言模型概述
大语言模型概况
你好, ChatGPT
OpenAI 文档解读
动手实现聊天机器人
基于 OpenAI API 搭建一个端到端问答系统
LLM 安全专题
LangChain入门
LangChain 介绍
LangChain 模块学习
LangChain 之 Chains模块
LangChain 之 Agents模块
LangChain 之 Callback模块
Embedding 嵌入
动手实现文档问答机器人
LlamaIndex 概述
LlamaIndex介绍
LlamaIndex索引
动手实现企业知识库
HuggingGPT 实现
HuggingFace 介绍
transformers 库基础组件
多模态任务设计
动手实现 HuggingGPT
LLMOps 专题
LLMOps 介绍
Model 模型层
Prompt 提示层
狭义LLMOps
Agent 专题
Agent 介绍
Agent 项目跟踪
Multi-Agent 系统
https://www.gatesnotes.com/AI-agents
GatesNotes是一个由比尔·盖茨(Bill Gates)创立的个人博客网站,旨在分享比尔·盖茨在科技、教育、健康、慈善等领域的观点、想法和经验
11月9日,比尔·盖茨在其个人网站发文讨论AI Agents (智能体) 将如何彻底改变我们与计算机的互动方式。他认为,未来五年内,人们将不再需要使用形形色色的应用程序来完成各种任务,而是可以直接用日常语言告诉设备自己想要做什么。这种变革将对软件行业产生巨大影响,可能成为自图形用户界面以来最大的计算革命。
比尔·盖茨这篇文章是对AI智能体非常高屋建瓴的总结 (实际上,GatesNotes 网站的历史文章质量也很高),推荐仔细阅读:
个人助理:AI智能体能够理解用户的需求,并根据用户的喜好、兴趣和生活情况提供个性化服务
健康护理:AI智能体将帮助患者进行基本的病情评估、提供治疗建议,还可以在心理健康领域提供更便捷的心理治疗服务
教育:AI智能体将改变教育领域的传统模式,为学生提供个性化的辅导,同时帮助老师处理繁琐的行政工作
生产力:AI智能体可以提高个人和团队的生产力,协助处理各种工作任务,并在日常生活中提供帮助
娱乐和购物:AI智能体可以根据用户的兴趣和喜好提供定制化的娱乐和购物建议,还可以帮助用户执行购物操作
技术行业的冲击浪潮:AI智能体将取代许多现有的应用程序 (如搜索引擎、电子商务网站等),将成为软件行业的下一个平台,改变应用程序和服务的开发方式
技术挑战:实现AI智能体的广泛应用还需克服一些技术难题,如构建能够捕捉用户兴趣和关系的数据库、确定用户与AI智能体的互动方式,以及制定允许AI智能体相互交流的标准协议
隐私和其他重要问题:用户需要能够控制他们的数据访问权限,确保数据仅与他们选择的人和公司共享,还需要解决数据所有权、广告定向、法律监管等方面的问题 ⋙ 中文翻译版本
真格基金举办「AI 创业公司与人才发展」圆桌讨论,邀请格灵深瞳研发负责人兼副总裁周瑞、享刻智能运营副总裁喻思斯、小蝇科技联合创始人 COO 伍博深、右脑科技联合创始人史杰、CTC 合伙人 Allen 五位嘉宾,与大厂 AI 条线研究和产品方向的 40+ 位的年轻人,交流在 AI 创业公司的职业发展。
以下是本次圆桌的5个精华 Q&A,对AI创业或加入创业公司感兴趣的伙伴,可以阅读原文:
AI创业团队目前的工作状态:优秀的AI创业团队应为世界定义新的AI产品,团队成员参与从0到1的过程,试错思路清晰,能快速迭代和切换
什么是适合自己的创业公司:考虑公司是否与自身发展方向一致,老板和团队是否值得信任,是否能提供足够的成长空间和利益分享
AI人才需要如何进行工作上的时间规划:对于创业公司而言,工作时长不重要,重要的是能否作为一个真正的有担当的、有主人翁意识的共创者工作
如何面对职业路上可能遇到的困难:对AI方向保持信仰,明确团队对个人发展的影响;初创公司中,员工需要调整心态,珍惜能决定公司命运的机会
如何构建足够陡峭的年龄能力曲线:一定是要做很多从0到1的事情,关注趋势行业、增长平台、关键岗位和跟对人这四个职业发展要素 ⋙ 阅读原文
https://hanlab.mit.edu/courses/2023-fall-65940
TinyML 是机器学习的一个研究领域,专注于在超低功耗的微控制器设备上开发和部署机器学习模型
麻省理工学院 (MIT) 2023年秋季的最新课程,TinyML and Efficient Deep Learning Computing (微型机器学习和高效的深度学习计算),核心目标是介绍高效的AI计算技术,以便在资源受限的设备上实现强大的深度学习应用。
课程涵盖了模型压缩、剪枝、量化、神经架构搜索、分布式训练、数据/模型并行、梯度压缩以及设备上的微调等主题,还介绍了针对大语言模型、扩散模型、视频识别和点云的特定应用加速技术,并将涉及量子机器学习等内容。
课程一共26讲,目前仍在进行中,课程页面 (见上方链接) 同步更新章节 Slides 和 Video (赞一个),课程实验作业也非常实用!感兴趣可以 Follow 一下:
第1讲:引言
第2讲:深度学习的基础知识
第3讲:剪枝与稀疏性(Part 1)
第4讲:剪枝与稀疏性(Part 2)
第5讲:量化(Part 1)
第6讲:量化(Part 2)
第7讲:神经架构搜索(Part 1)
第8讲:神经架构搜索(Part 2)
第9讲:知识蒸馏
第10讲:MCUNet:微控制器上的TinyML
第11讲:TinyEngine与并行处理
第12讲:Transformer与LLM(Part 1)
第13讲:Transformer与LLM(Part 2)
第14讲:视觉Transformer
第15讲:生成对抗网络(GAN)、视频和点云
第16讲:扩散模型
第17讲:分布式训练(Part 1)
第18讲:分布式训练(Part 2)
第19讲:设备上的训练与迁移学习
第20讲:高效的微调和Prompt工程技术
第21讲:量子计算基础
第22讲:量子机器学习
第23讲:抗噪声量子ML
第24讲:期末项目展示
第25讲:期末项目展示
第26讲:课程总结及特邀讲座
感谢贡献一手资讯、资料与使用体验的 ShowMeAI 社区同学们!
◉ 点击 日报&周刊合集,订阅话题 #ShowMeAI日报,一览AI领域发展前沿,抓住最新发展机会!
◉ 点击 生产力工具与行业应用大全,一起在信息浪潮里扑腾起来吧!