10 主题模型 - 代码案例一 - LDA主题模型初识
# 加载数据
with open('./1.txt', 'r', encoding='utf-8') as f1:
res1 = f1.read()
with open('./2.txt', 'r', encoding='utf-8') as f2:
res2 = f2.read()
with open('./3.txt', 'r', encoding='utf-8') as f3:
res3 = f3.read()
contents = [res1, res2, res3]
print(contents)
['温暖 晨光 光照 照耀 生辉 王宫 一夜 未眠 赶到 宫门 门前 此处 已是 人马 马肃 肃立 数千 禁卫 禁卫军 身披 手中 中枪 闪烁 闪烁着 寒芒 军威 强烈 一匹 通体 火红 骏马 之上 着急 急匆匆 匆匆 赶来 准备 好了吗 今天 正是 日子 用力 点头 眼中 有着 浓浓 浓浓的 希冀 涌动 知道 体内 能否 重现 开始 修炼 就要 今日 有着 侍卫 一头 火红 骏马 过来 骏马 马尾 燃烧 烧着 着火 火焰 头部 位置 赫然 一个 略显 狰狞 狮头 此为 乃是 一品 耐力 悠久 驰骋 千里 原本 暴躁 早已 驯服 所以 当周 翻身 身上 上去 仅仅 仅仅只是 仅只 只是 便是 安静 下来 父王 拉住 少年 漆黑 眸子 仿佛 燃烧 开口 口说 说道 点点 点点头 点头 然后 后手 手掌 有着 号角 声响 响彻 紧接 紧接着 接着 上千 千重 战士 便是 化为 一股 洪流 护卫 当中 然后 轰隆 轰隆隆 隆隆 震动 涌出 王宫 顺着 城内 街道 直奔 城外 皇室 正是 皇陵 所在 皇陵 有数 数百 数百里 百里 不过 他们 脚程 两个 时辰 便是 抵达 一座 巍峨 青山 之下 下马 禁卫 禁卫军 此处 处分 分散 分散开来 散开 开来 把守 各处 通道 即便 便是 飞鸟 若是 靠近 射杀 就是 我们 皇室 皇陵 所在 指着 着眼 眼前 巍峨 青山 沉默 一会 缓缓 缓缓的 说道 当年 我们 周家 便是 是从 这里 起家 最后 打拼 拼出 一个 王朝 只不过 不过 没想 没想到 想到 先辈 努力 手中 打回 原形 有些 黯淡 脸色 轻声 轻声道 声道 父王 不必 自责 武家 有心 心算 无心 数百 数百年 百年 算计 无法 预料 所以 并非 父王 苦笑 一声 不再 再多 只是 迈步 对着 青石 铺就 石梯 走上 跟我来 点点 点点头 点头 紧随 石梯 通往 青山 九千 九十 九十九 十九 直上云霄 云霄 缓步 神色 肃穆 一炷香 抵达 山顶 只见 见得 山顶 一座 黑色 宗祠 矗立 古老 沧桑 仿佛 历经 岁月 立于 宗祠 之前 转过 过头 这个 高度 俯览 下去 眼前 顿时 微微 一亮 只见 见得 那大 大地 地上 三座 山脉 纵向 矗立 隐隐 竟是 形成 一个 一个天 天然 三条 条山 山脉 蜿蜒 匍匐 犹如 潜龙 拱卫 他们 脚下 青山 三龙 一股 磅礴 气势 油然 油然而生 然而 气势 赞叹 一声 他们 周家 看来 来风 风水 极佳 怪不得 不得 能够 开辟 王朝 天地 天地间 气运 地脉 风水 一分 周家 能够 多亏 亏了 风水 抿嘴 地脉 风水 一分 更多 还是 先辈 努力 天行健 行健 君子 自强 自强不息 不息 只要 勤奋 自强 有着 翻身 机会 坐享其成 再好 倾覆 少年 声音 虽然 显得 得有 有些 稚嫩 隐隐 透露 露出 出来 坚韧 有些 刮目 刮目相看 相看 脸庞 笑容 欣慰 看来 这些 遭遇 不见 不见得 见得 坏处 摸了摸 脑袋 然后 后步 步入 宗祠 跟上 只见 见得 大殿 殿内 供奉 一座 一座座 灵牌 香火 缭绕 那些 皇室 先辈 带领 对着 一座 灵牌 上香 行礼 最后 脚步 最深 最深处 深处 一座 灵牌 之前 他们 皇室 第一 第一任 一任 开国 皇帝 恭敬 行礼 之后 然后 伸出 伸出手 出手 手掌 灵牌 轻轻 转动 轰隆 灵牌 转动 顿时 有着 低沉 传来 然后 后周 便是 惊讶 见到 灵牌 后方 石壁 壁上 竟是 缓缓 缓缓的 裂开 一扇 厚重 隐秘 石门 石门 之内 略显 黑暗 一片 幽深 显得 神秘 石门 神色 有些 复杂 能否 修行 此处 闻言 神色 变得 紧张 许多 手掌 紧握 紧握着 眼神 忐忑 不管 年少 老成 终归 只是 一个 少年 关系 自己 能否 修行 这种 大事 事前 前面 还是 无法 保持 绝对 冷静 一眼 然后 便是 走入 石门 石门 之后 一条 长长 长长的 石壁 走廊 走廊 燃烧 烧着 长明 长明灯 明灯 带来 昏暗 灯光 没有 出声 整个 走廊 唯有 有着 脚步 细微 声音 如此 此前 前行 行约 约莫 十数 数分 数分钟 分钟 脚步 下来 因为 走廊 已经 抵达 尽头 出现 现在 他们 眼前 宽阔 古老 老山 山洞 山洞 尽头 矗立 一座 石台 直接 接来 来到 石台 台前 前方 此时 方才 发现 石台 台上 地面 面上 竟是 铭刻 诸多 古老 这些 形成 一个 莫测 图案 如今 造诣 根本 无法 分辨 辨出 这些 究竟 竟是 几品 只是 脑海 脑海中 海中 模糊 描绘 一下 感觉 神魂 大量 消耗 微微 晕眩 当即 赶紧 收回 回目 目光 父王 看向 难道 这里 能够 解决 不显 难题 石台 台上 那些 古老 面色 变得 凝重 一些 我们 周家 一直 有着 一道 口口 口口相传 相传 言说 密室 隐藏 一道 机缘 能够 我们 周家 真正 万世 兴盛 开启 机缘 钥匙 便是 周家 家传 传承 传承者 血脉 不过 虽然 我们 周家 历代 帝王 会来 来到 此处 试图 血脉 开启 最终 无一例外 一例 例外 失败 此处 看向 所以 带来 看看 是否 能够 开启 机缘 若是 成功 的话 想来 解决 不显 问题 应该 不难 眼前 古老 石台 惊奇 惊奇不已 不已 显然 没想 没想到 想到 他们 周家 竟然 流传 如此 一道 拍拍 肩膀 一口 一口气 口气 心中 打鼓 不过 还是 鼓足 鼓足勇气 勇气 走上 上石 石台 一道 一道道 古老 神秘 中盘 盘坐 下来 取出 锋利 小刀 咬牙 直接 手腕 划过 顿时 时鲜 鲜血 滚滚 流淌 淌出 出来 然后 顺着 那些 刻痕 蔓延 开来 短短 不过 过数 数息 石台 台上 那些 化为 为了 鲜红 鲜红色 红色 色彩 石台 一幕 手掌 忍不住 不住 紧握 起来 眼中 紧张 感受 鲜血 流逝 元本 显得 得有 有些 文弱 稚嫩 脸庞 顿时 时变 变得 更为 苍白 死死 死死的 那些 复杂 心跳 如雷 就是 最后 机会 牙关 关紧 紧咬 忍受 忍受着 脑海 脑海中 海中 阵阵 晕眩 此时 此时此刻 此刻 母后 后秦 吐血 一幕 再度 眼前 浮现 心中 阵阵 刺痛 母后 为了 元气 元气大伤 大伤 父王 为了 斩断 自身 气运 毒气 内忧 内忧外患 外患 随时 有着 倾覆 所以 改变 一切 要为 母后 恢复 父王 恢复 雄心 子民 不再 担惊 担惊受怕 惊受 并且 失去 一切 重新 夺回 夺回来 回来 一道 机缘 咆哮 咆哮声 心中 陡然 响彻 一瞬 一瞬间 瞬间 身躯 仿佛 隐隐 犹如 如是 有着 一道 愤怒 不甘 龙吟 身体 最深 最深处 深处 响彻 嗡嗡 一刻 石台 之上 鲜血 覆盖 古老 竟是 爆发 发出 璀璨 光芒 光芒 汇聚 而来 宛如 水银 迅速 笼罩 突如其来 如其 变故 石台 急忙 看向 然后 便是 震惊 见到 光芒 汇聚 而来 来时 盘坐 盘坐在 坐在 其中 竟是 此时 凭空 消失 不见', '各位 来宾 下午 无处 无处不在 不在 电子 喇叭 传来 优雅 动听 声音 今天 展览 展览馆 最后 一次 开放 明日 这里 几件 古物 就要 移送 送至 联邦 博物 博物馆 收藏 展览 展览馆 中人 人山人海 山人 人海 虽然 不能 摩肩 摩肩接踵 接踵 不了 多少 我们 力气 这里 上算 一个 清朗 口音 展览 展览馆 馆外 外围 抱怨 不知 知道 上算 知道 博士 布置 功课 我们 果子 果子吃 一个 同样 年轻 声音 音响 响起 口气 声音 主人 这次 参观 怨言 同伴 分别 之后 口气 硬着头皮 头皮 挤进 数十 数十年 十年 年来 首次 人满为患 展览 展览馆 年级 并不大 不大 今年 只有 十八 十八岁 八岁 这个 个人 人均 寿命 已经 达到 四位 四位数 位数 大宇 宇宙 时代 甚至 甚至于 至于 没有 有成 成年 卡里 卡里姆 里姆 星球 美丽 星球 联盟 所辖 数千 数千颗 千颗 适合 人类 居住 星球 之一 由于 星球 之上 人类 不是 很多 每个 个人 拥有 一大 大片 私有 田地 这里 永远 不会 塞车 永远 不会 浑浊 空气 但是 同样 这里 缺乏 一种 彼此 竞争 危机 危机感 按照 联盟 流行 一句 来说 这里 适合 合养 养老 地方 不适 适合 想要 打拼 拼出 一番 事业 年轻 年轻人 起码 现在 欣赏 虽然 心里 没有 什么 野心 野心勃勃 勃勃 勃勃的 欲望 所向 向往 只不过 不过 走出 出去 看一看 这个 世界 而已 只是 对于 这点 岁数 年轻 年轻人 来说 这个 愿望 还是 有些 奢侈 因为 父母 不会 认同 此时 愿望 一旦 失去 父母 在经济上 经济 支援 只有 沦落 落到 成为 救助 救助者 行列 之中 展览 展览馆 除了 人头 之外 看见 还是 人头 暗中 抱怨 不已 卡里 卡里姆 里姆 星球 本来 绝对 不会 出现 这样 情况 但是 一次 例外 人类 改造 美丽 星球 之后 数千 数千年 千年 年历 历史 第一 第一个 一个 个例 例外 一个 一个月 月前 星球 发掘 发掘出 掘出 一批 古物 据说 非常 珍贵 卡里 卡里姆 里姆 星球 执政 执政官 大肆 大肆宣扬 宣扬 自己 政治 资本 然而 不知 知道 通过 什么 渠道 联邦 博物 博物馆 知道 这件 派来 几个 考察 鉴定 定下 决定 定将 这些 东西 收入 联邦 博物 博物馆 之中 虽然 执政 执政者 政者 不满 满意 但是 来自 联邦 首都 调令 唯有 有无 无条件 条件 服从 不过 碍于 卡里 卡里姆 里姆 星球 居民 意愿 古物 还要 卡里 卡里姆 里姆 最大 展览 展览馆 停留 最后 一周 而今 今天 就是 一周 最后 一天 教授 一个 博学 上周 不知 知道 什么 神经 布置 一道 本次 古物 为题 题目 目的 观察 观察报 报告 下令 所有 学生 进行 实物 考察 一周 以来 整个 星球 上前 前往 展览 展览馆 古物 最后 一眼 骆绎不绝 不绝 一直 习惯 那么 一起 眼看 今天 今天下午 天下 下午 已经 最后 机会 唯有 皱着眉头 眉头 咬牙 冲进 冲进去 进去 里面 还是 很多 看来 这件 东西 确实 勾起 卡里 卡里姆 里姆 所有 所有人 有人 好奇 大家 素质 不错 自主 排着 向着 展览 展览馆 馆内 内部 走去 一次 出土 古物 听说 来自 这个 星球 已经 消失 不知 知道 多少 亿万 亿万年 万年 原住民 住民 所以 如此 惹人注目 注目 真正 物品 放在 展览 展览馆 正中 中心 而外 外围 只不过 不过 一些 普通 展品 罢了 众人 兴致 当然 不在 这里 在外 外围 没有 什么 有心 欣赏 这些 虚拟 虚拟空间 空间 中能 能够 任人 把玩 东西 耐心 随着 人群 移动 终于 轮到 走到 当中 那块 大展 展台 台前 岩石 中分 分离 东西 不少 但是 能够 称得上 价值 古物 不多 区区 一个 小小 小小的 展台 全部 部将 囊括 在内 人群 没有 移到 展台 所以 以方 目光 不能 清晰 看到 其中 物品 远远 远远望 远远望去 远望 望去 依旧 一片 模糊 随着 人群 缓慢 挪动 终于 来到 展台 面前 上面 一些 堪称 稀奇 稀奇古怪 古怪 东西 有大有小 说不上 说不上来 上来 那些 什么 此刻 耳边 传来 轻柔 广播 这次 新出土 出土 古文 文物 包含 一股 神奇 能量 没有 任何 仪器 可以 界定 定出 这种 能量 出处 作用 不知 不知不觉 不觉 目光 紧紧 其中 一颗 小小 小小的 圆珠 珠子 不明 明白 自己 为何 突然 东西 产生 无比 浓厚 兴趣 冥冥 冥冥中 对于 这个 圆珠 珠子 似乎 有着 一种 非常 常熟 熟悉 感觉 好像 本来 应该 该是 属于 自己 东西 一样 不过 眼睛 虽然 牢牢 东西 不放 但是 脚步 还是 下意识 意识 随着 人流 前进 耳边 不断 传来 有人 惊讶 叹息 叹息声 果然 名不虚传 不虚 一定 定要 亲眼 亲眼看见 眼看 看见 它们 才能 能感 感到 它们 与众不同 不同 没错 一定 恩赐 阿门 虽然 一个 彻底 无神 神主 主义 主义者 此刻 还是 抱有 一定 认同 认同感 同感 现在 这个 社会 已经 一个 彻底 天网 时代 只要 要是 人类 联盟 地盘 之中 天网 如同 蜘蛛 蜘蛛网 蛛网 无所 无所不在 不在 信息 已经 成为 任何 任何人 何人 能够 轻易 掌握 东西 古文 文物 刚刚 出土 之际 它们 照片 录像 早就 天网 网上 广为 广为流传 流传 不过 真正 人心 心动 所有 看见 它们 异口同声 同声 只有 亲眼 亲眼见到 眼见 见到 它们 时候 才能 能够 发觉 它们 不同 正如 广播 中所 介绍 一样 它们 身上 有着 一种 目前 前人 人类 科技 无法 无法解释 解释 神秘 力量 因为 如此 联邦 首都 那些 大佬 它们 感兴 感兴趣 兴趣 同样 是因为 因为 这个 原因 造成 展览 展览馆 人满为患 最终 终结 结果 目光 没有 注意 其它 物品 自始 自始至终 眼神 凝聚 一个 小小 小小的 圆珠 珠子 之上 似乎 只要 没人 打扰 能够 永久 注视 下去 一样 然而 人流 移动 不是 意志 中心 很快 不得 不得不 走过 展览 展览馆 正中 中心 台子 恋恋 恋恋不舍 收回 目光 一刹 一刹那 刹那 心中 涌起 浓浓 浓浓的 似乎 自己 突然 忘记 一个 什么 极为 极为重要 为重 重要 东西 一样 以致 以致于 致于 一声 声响 响亮 玻璃 碎裂 碎裂声 传来 随后 整个 个展 展览 展览馆 所有 灯具 同时 熄灭 人群 传来 连续 不绝 惨叫 惨叫声 叫声 绝大 绝大多数 大多 大多数 多数 女高音 高音 之中 伴随 随着 一些 沙哑 男性 惊呼 弯角 陷入 伸手 伸手不见 伸手不见五指 不见 五指 窘迫 之中 顿时 有人 出来 怎么 怎么回事 回事 天知道 知道 展览 展览馆 怎么 怎么回事 回事 那么 怎么 怎么回事 回事 怎么 灯光 投诉 片刻 之后 一道 雄厚 男子 声音 传来 众位 来宾 请原谅 原谅 刚才 突发 一件 意外 意外事故 外事 事故 展览 展览馆 停电 声音 不是 大声 大声吼叫 吼叫 叫出 出来 偌大 展览 展览馆 馆内 却是 每个 个人 清清 清清楚楚 清楚 楚楚 停电 竟然 遇到 传说 停电 我们 运气 真好 人群 不断 传来 低声 咒骂 惊讶 呼叫 这个 科技 极端 发达 社会 停电 二个 早已 人类 生活 绝缘 除了 那些 生活 环境 极端 恶劣 星球 人类 之外 可以 绝大 绝大多数 大多 大多数 多数 生下 下来 那一刻 一刻 刻到 死亡 不知 知道 停电 什么 滋味 然而 而今 今日 这个 个展 展览 展览馆 有幸 享受 一次 特别 待遇 从此 炫耀 本钱 哭笑不得 不得 之时 身边 传来 有人 走动 声音 此人 似乎 并未 受到 黑暗 影响 一步 避开 人群 快速 门口 移动 原本 不在 不在意 在意 那人 走过 身边 那一刻 一刻 突然 发觉 那人 身上 上有 有着 一种 熟悉 感觉 这种 感觉 刚才 看到 那个 圆珠 珠子 时候 一模一样 一样 心重 重重 重重的 一下 一个 恐怖 念头 脑海 脑海中 海中 闪过 那人 脚步 不停 转眼 转眼间 走过 此刻 那种 感觉 回来 于是 不知 原因 立即 判断 那个 圆珠 珠子 此刻 走过 那人 人身 身上 一种 强烈 不甘 涌上 上心 心头 脑海 海深 深处 似乎 有人 东西 属于 霍然 那人 人身 身上 圆珠 珠子 无人 情况 消失 甚至 甚至于 至于 携带 那个 神秘 一样 不知 知道 圆珠 珠子 悄然 悄然无声 无声 来到 面前 没有 任何 任何人 何人 注意 没有 有人 任何 仪器 察觉 这个 圆珠 珠子 飞到 耳边', '机器 学习 深度 学习 人工 人工智能 智能 现在 不得 不得了 必要 开始 储备 这方 这方面 方面 技术 技能 早日 点亮 自己 技术 以后 时代 抛弃 奠定 基础 以下 几个 小节 节概 概述 一下 几个 技术 关系 研究 学问 首先 概念 清楚 所谓 正本 正本清源 清源 网上 常常 常有 有人 人工 人工智能 智能 机器 学习 深度 学习 时髦 名词 漫天 这里 必要 要说 他们 关系 首先 人工 人工智能 智能 其内 内涵 相当 丰富 定义 可以 包括 通用 用人 人工 人工智能 智能 General AI 概念 新兴 计算 计算机 算机 机构 构建 具有 有人 人类 智力 力特 特征 复杂 机器 拥有 有人 人类 所有 有感 感觉 甚至 可能 更多 所有 有理 理智 人类 一样 思考 神奇 机器 狭义 人工 人工智能 智能 Narrow AI 概念 能够 特殊 特殊任务 任务 处理 理得 同人 人类 一样 或者 更好 技术 狭义 人工 人工智能 智能 相关 案例 比如 如有 Pinterest 图像 分类 Facebook 人脸 人脸识别 识别 其次 机器 学习 属于 人工 人工智能 智能 一种 人工 人工智能 智能 一类 实现 方法 运用 算法 分析 数据 从中 中学 学习 测定 预测 现实 世界 某些 不是 手动 编码 带有 特定 定指 指令 设定 软件 软件程序 程序 完成 某个 特殊 特殊任务 任务 而是 使用 大量 数据 算法 训练 机器 赋予 学习 如何 执行 任务 能力 然后 深度 学习 源于 神经 神经网 神经网络 网络 神经 神经网 神经网络 网络 属于 机器 学习 一种 通过 以上 分析 最后 发现 三者 关系 其实 实是 一个 一个包 包含 包含 关系 人工 人工智能 智能 包含 机器 学习 机器 学习 包含 深度 学习 网上 有数 数据 数据挖掘 挖掘 大数 数据 数据处理 处理 新名词 名词 所谓 数据 数据挖掘 挖掘 简单 粗暴 就是 机器 学习 技术 数据 数据库 据库 技术 大数 数据 数据处理 处理 技术 处理 数据 满足 所谓 5v 数量 量量 特别 格式 形态 特别 时效 时效性 特别 价值 特别 结果 准确 准确性 特点 出现 对数 数据 采集 处理 分析 可视 可视化 一系 一系列 系列 技术 解决 解决方案 方案 应用 方向 机器 学习 来说 目前 常用 应用 方向 包括 自然 自然语言 语言 处理 视频 处理 推荐 算法 量化 交易 等等 等等 自然 自然语言 语言 处理 包括 信息 信息提取 提取 自动 摘要 文本 本分 分类 文本 情感 分析 问答 系统 语言 识别 等等 应用 现在 就是 经典 应用 之一 背后 技术 包括 文本 本分 分词 文本 标注 基础 支撑 机器 学习 算法 包括 bayes 算法 马尔科 马尔科夫 科夫 视频 处理 包括 图像 图像识别 识别 视频 监控 应用 比如 手写 识别 图片 里面 识别 之类 就是 经典 应用 之一 还有 视频 监控 非法 闯入 识别 以及 所谓 替代 工作 经典 应用 背后 技术 包括 图像 特征 特征提取 提取 图像 变换 基础 支撑 机器 学习 算法 包括 深度 学习 各种 分类 算法 推荐 算法 包括 物品 推荐 好友 推荐 比如 jd 物品 推荐 社交 网络 好友 推荐 听歌 听歌网 网站 歌曲 推进 背后 技术 包括 基于 物品 推荐 基于 评价 推荐 等等 基础 支撑 机器 学习 算法 包括 各类 分类 算法 各类 算法 量化 交易 包括 股市 趋势 预测 预测 股市 走势 寻找 买卖 卖点 应用 背后 多种 股市 交易 策略 什么 捕鱼 策略 海龟 交易 交易法 等等 基础 算法 包括 各类 机器 学习 算法 总的来说 来说 机器 学习 已经 深入 人们 生活 方方 方方面面 方面 面面 正在 逐渐 改变 人们 生活 经典 书目 经典 书目 很多 大致 分为 基础 已经 专业 应用 程序 利用 python 进行 行数 数据 数据分析 分析 Python 数据 数据分析 分析 基础 基础教程 教程 NumPy 学习 学习指南 指南 NumPy 攻略 Python 科学 科学计算 计算 数据 数据分析 分析 还有 语言 scala 应该 学习 东西 机器 学习 基础 机器 学习 实战 机器 学习 西瓜 数据 数据挖掘 挖掘 概念 技术 神经 神经网 神经网络 网络 深度 学习 神经 神经网 神经网络 网络 机器 学习 大数 数据 数据 数据挖掘 挖掘 语言 言实 实战 mahout 算法 解析 案例 mahout 实战 大数 数据 spark 企业 企业级 实战 自然 自然语言 语言 处理 统计 自然 自然语言 语言 处理 自然 自然语言 语言 处理 原理 技术 实现 python 自然 自然语言 语言 处理 视频 处理 python 计算 计算机 算机 视觉 编程 opencv3 计算 计算机 算机 视觉 python 语言 言实 实现 推荐 算法 推荐 系统 实践 集体 智慧 编程 量化 交易 程序 程序化 交易 实战 量化 投资 策略 技术 经典 方面 主要 包括 python 各类 类库 scapy 爬虫 收集 集数 数据 numpy scipy pandas 数据 数据处理 处理 方面 matplotlib 数据 可视 可视化 sklearn python 机器 学习 spark mllib spark 大数 数据 数据库 据库 mahout 大数 数据 数据库 据库']
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation
将文本数据转换为向量的形式(词袋法) 要求给定的数据中单词是以空格隔开的
cntVector = CountVectorizer()
cnt = cntVector.fit_transform(contents)
print(cnt.shape)
print(cnt.toarray())
(3, 1552)
[[0 0 0 ... 1 1 1]
[0 0 0 ... 0 0 0]
[1 2 1 ... 0 0 0]]
LDA主题模型构建
learning_method：指定一部分一部分的文档进行模型的学习
lda = LatentDirichletAllocation(n_topics=2, learning_method='batch', random_state=28)
docs = lda.fit_transform(cnt)
C:\Users\ibf\Anaconda3\lib\site-packages\sklearn\decomposition\online_lda.py:294: DeprecationWarning: n_topics has been renamed to n_components in version 0.19 and will be removed in 0.21
DeprecationWarning)
#打印文档和主题之间的相关性
print(docs)
# 打印主题和词之间的相关性
print(lda.components_)
[[5.65144920e-04 9.99434855e-01]
[4.62876763e-04 9.99537123e-01]
[9.99256952e-01 7.43047788e-04]]
[[1.49998452 2.4999841 1.49998452 ... 0.50004614 0.50004614 0.50004614]
[0.50001548 0.5000159 0.50001548 ... 1.49995386 1.49995386 1.49995386]]
lda.components_.shape
(2, 1552)
12 主题模型 - 代码案例三 - scikit-learn中的LSA模型
13 主题模型 - 代码案例四 - scikit-learn中的NMF模型
14 主题模型 - 代码参考文档 - 1.txt\2.txt\3.txt