AIGC智能创作时代一书总结

基准模型：Foundation Model
大模型：Large Language Model，LLM
GAN（2014）、Diffusion（2015）、CLIP（2021）、Seq2Seq（2014）、Attention、Transformer（2017）、GPT（2018）、ChatGPT（2022）、RLHF、BERT（2018）、ViT
styleGAN（2018）、DVD-GAN（2019）
一、GAN：2014 早期AIGC的尝试
（1）GAN综合了深度学习和强化学习思想，由一个生成器和判别器的相互对抗，来实现图像和文字等元素的生成过程
GAN生成对抗过程：1.固定生成器，更新判别器 2.固定判别器，更新生成器，重复迭代达到标准
二、AI绘画
（1）2022.8 Stable Diffusion
Diffusion Model：扩散模型：是一类应用于细粒度图像生成的模型，尤其在跨模态的图像生成中，已逐渐代替GAN行程主流
（2）2021 CLIP：文本-图像预处理模型：用于匹配图像和文本的预训练神经网络模型
三、2017 Transformer
（1）Seq2Seq模型 2014
（2）注意力机制
（3）Transformer
四、GPT
（1）GPT-1 2018.6
（2）GPT-2 2019.2
（3）GPT-3 2020.5
（4）InstructionGPT
（5）ChatGPT 2022.11.30
（6）GPT-3.5
GPT-1：核心思想是将无监督学习作用于监督学习模型的预处理目标，先通过在无标签的数据上学习一个通用模型，然后根据问答和常识推理等特定自然语言处理任务微调模型，半监督学习
GPT-2：在语言模型领域，所有监督学习都可以看作无监督学习的子集，当模型的容量非常大且数据量足够丰富时，无监督学习的语言模型就可以覆盖所有有监督学习的任务
GPT-3：GPT-2的基础上大力出奇迹
InstructionGPT：经过微调GPT-3，可以尽量避免一些具有攻击性、不真实的语言输出，从人类反馈中进行强化学习，Reinforcement learning from human feedback，RLHF
ChatGPT：采用和InstructionGPT同样方式，调整数据集收集方式
Prompt提示词工程师：帮助人类更好地与AI互动
五、BERT模型
BERT变换器的双向编码器表示
ViT 视觉变换器
六、未来
预训练大模型+下游任务微调

1956人工智能这个科学领域正式形成
基于规则、机器学习、深度学习、强化学习、多模态跨模态生成领域
图灵测试：机器是否具备智能，能否判断是人还是机器
符号主义（逻辑判断符号）、联结主义（模仿人类）、行为主义

基于人类通过学习而获得智能，诞生了机器学习
基于人类在学习过程会有激励和惩罚，这些激励和惩罚会不断强化人类的能力，出现了强化学习
基于人类在接受信息时，往往将注意力集中在重要的信息上，产生了当代大模型的根基Transformer
基于人类在学习认图时并非学习照片细节的纹路，而是直接被不断告知关于图片中物体的描述，诞生了AI绘画的奠基性模型-CLIP模型

机器学习：计算机程序能从经验E中学习，以解决某一任务T，并通过性能度量P,能够测定在解决T时机器在学习经验E后的变现提升
机器学习训练过程：数据获取、特征工程（提取数据中的有效特征，并进行必要的转换）、模型训练、评估和应用
输出每个样本数据损失的函数叫做损失函数（Loss function）
所有损失综合在一起的平均情况，反应在代价函数（Cost function），描述训练这一模型产生的错误代价
强化学习：强化学习并不是对数据本身学习，而是在给定的数据环境中，让智能体学习如何选择一系列行动，来达成长期累积收益最大化的目标，强化学习本质是学习一套决策系统而非数据本身

代码开源社区：
（1）Github
（2）Papers with Code
（3）Hugging Face