Michael云擎
Michael云擎

Comprehend-Elasticsearch-Demo5

1, Crawler.py 获取网络视频的弹幕json文件
2，DataPrepare.py 提取json文件中的弹幕到txt文本文件中
3，ComprehendAgency.py 调用Comprehend分析文本格式的弹幕
4，ConvertCompToESformat.py 将Comprehend返回的json结果转换为elasticsearch格式要求的index文件
5，upload_to_elasticsearch.py 将json格式的index文件上传到elasticsearch中
6，文件打包部署到lambda


python3 -m venv v-env
source v-env/bin/activate
pip3 install requests_aws4auth
pip3 install elasticsearch
deactivate
zip -r9 ${OLDPWD}/function.zip .
cd $OLDPWD
zip -g function.zip *.py
Comprehend-Elasticsearch-Demo5_第1张图片

Comprehend-Elasticsearch-Demo5_第2张图片

 

 

 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(Comprehend-Elasticsearch-Demo5)

        

            

                
    
                    
  • Comprehend-Elasticsearch-Demo5
                        Michael云擎

                        
    1,Crawler.py获取网络视频的弹幕json文件2，DataPrepare.py提取json文件中的弹幕到txt文本文件中3，ComprehendAgency.py调用Comprehend分析文本格式的弹幕4，ConvertCompToESformat.py将Comprehend返回的json结果转换为elasticsearch格式要求的index文件5，upload_to_elastics
    
                    
    • 
                                
  • linux系统服务器下jsp传参数乱码
                                    3213213333332132
javajsplinuxwindowsxml
                                    
    在一次解决乱码问题中， 发现jsp在windows下用js原生的方法进行编码没有问题，但是到了linux下就有问题， escape,encodeURI,encodeURIComponent等都解决不了问题 
但是我想了下既然原生的方法不行，我用el标签的方式对中文参数进行加密解密总该可以吧。于是用了java的java.net.URLDecoder,结果还是乱码，最后在绝望之际，用了下面的方法解决了
    
                                
    • 
                                
  • Spring 注解区别以及应用
                                    BlueSkator
spring
                                    
    1. @Autowired 
@Autowired是根据类型进行自动装配的。如果当Spring上下文中存在不止一个UserDao类型的bean，或者不存在UserDao类型的bean，会抛出 BeanCreationException异常，这时可以通过在该属性上再加一个@Qualifier注解来声明唯一的id解决问题。 
  
2. @Qualifier 
当spring中存在至少一个匹
    
                                
    • 
                                
  • printf和sprintf的应用
                                    dcj3sjt126com
PHPsprintfprintf
                                    
    <?php
printf('b: %b <br>c: %c <br>d: %d <bf>f: %f', 80,80, 80, 80);
echo '<br />';
printf('%0.2f <br>%+d <br>%0.2f <br>', 8, 8, 1235.456);

printf('th
    
                                
    • 
                                
  • config.getInitParameter
                                    171815164
parameter
                                    
    web.xml 
 
 <servlet>
  	<servlet-name>servlet1</servlet-name>
  	<jsp-file>/index.jsp</jsp-file>
  	<init-param>
  		<param-name>str</param-name>

    
                                
    • 
                                
  • Ant标签详解--基础操作
                                    g21121
ant
                                    
            Ant的一些核心概念： 
        build.xml：构建文件是以XML 文件来描述的，默认构建文件名为build.xml。        project：每个构建文
    
                                
    • 
                                
  • [简单]代码片段_数据合并
                                    53873039oycg
代码
                                    
            合并规则:删除家长phone为空的记录,若一个家长对应多个孩子,保留一条家长记录,家长id修改为phone,对应关系也要修改。 
        代码如下: 
       
    
                                
    • 
                                
  • java 通信技术
                                    云端月影
Java 远程通信技术
                                    
    在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术，例如：RMI、MINA、ESB、Burlap、Hessian、SOAP、EJB和JMS等，这些名词之间到底是些什么关系呢，它们背后到底是基于什么原理实现的呢，了解这些是实现分布式服务框架的基础知识，而如果在性能上有高的要求的话，那深入了解这些技术背后的机制就是必须的了，在这篇blog中我们将来
    
                                
    • 
                                
  • string与StringBuilder 性能差距到底有多大
                                    aijuans

                                    
      
        之前也看过一些对string与StringBuilder的性能分析，总感觉这个应该对整体性能不会产生多大的影响，所以就一直没有关注这块！ 
        由于学程序初期最先接触的string拼接，所以就一直没改变过自己的习惯！ 
        
    
                                
    • 
                                
  • 今天碰到 java.util.ConcurrentModificationException 异常
                                    antonyup_2006
java多线程工作IBM
                                    
    今天改bug，其中有个实现是要对map进行循环，然后有删除操作，代码如下： 

Iterator<ListItem> iter = ItemMap.keySet.iterator();
while(iter.hasNext()){
ListItem it = iter.next();
//...一些逻辑操作
ItemMap.remove(it);
}
 
结果运行报Con
    
                                
    • 
                                
  • PL/SQL的类型和JDBC操作数据库
                                    百合不是茶
PL/SQL表标量类型游标PL/SQL记录
                                    
    PL/SQL的标量类型: 
   字符,数字,时间,布尔,%type五中类型的 
--标量：数据库中预定义类型的变量
--定义一个变长字符串 
v_ename varchar2(10); 

--定义一个小数,范围 -9999.99~9999.99 
v_sal number(6,2); 

--定义一个小数并给一个初始值为5.4 :=是pl/sql的赋值号 

    
                                
    • 
                                
  • Mockito：一个强大的用于 Java 开发的模拟测试框架实例
                                    bijian1013
mockito单元测试
                                    
    Mockito框架： 
        Mockito是一个基于MIT协议的开源java测试框架。         Mockito区别于其他模拟框架的地方主要是允许开发者在没有建立“预期”时验证被测系统的行为。对于mock对象的一个评价是测试系统的测
    
                                
    • 
                                
  • 精通Oracle10编程SQL(10)处理例外
                                    bijian1013
oracle数据库plsql
                                    
    /*
 *处理例外
 */
--例外简介
--处理例外-传递例外
declare
   v_ename emp.ename%TYPE;
begin
   SELECT ename INTO v_ename FROM emp
      where empno=&no;
   dbms_output.put_line('雇员名：'||v_ename);
exceptio
    
                                
    • 
                                
  • 【Java】Java执行远程机器上Linux命令
                                    bit1129
linux命令
                                    
    Java使用ethz通过ssh2执行远程机器Linux上命令， 
  
封装定义Linux机器的环境信息 
  
package com.tom;


import java.io.File;

public class Env {
    private String hostaddr; //Linux机器的IP地址
    private Integer po
    
                                
    • 
                                
  • java通信之Socket通信基础
                                    白糖_
javasocket网络协议
                                    
    正处于网络环境下的两个程序，它们之间通过一个交互的连接来实现数据通信。每一个连接的通信端叫做一个Socket。一个完整的Socket通信程序应该包含以下几个步骤： 
①创建Socket； 
②打开连接到Socket的输入输出流； 
④按照一定的协议对Socket进行读写操作； 
④关闭Socket。 
  
Socket通信分两部分：服务器端和客户端。服务器端必须优先启动，然后等待soc
    
                                
    • 
                                
  • angular.bind
                                    boyitech
AngularJSangular.bindAngularJS APIbind
                                    
    angular.bind   描述：           上下文，函数以及参数动态绑定，返回值为绑定之后的函数. 其中args是可选的动态参数，self在fn中使用this调用。    使用方法：            angular.bind(se
    
                                
    • 
                                
  • java-13个坏人和13个好人站成一圈，数到7就从圈里面踢出一个来，要求把所有坏人都给踢出来，所有好人都留在圈里。请找出初始时坏人站的位置。
                                    bylijinnan
java
                                    
    
import java.util.ArrayList;
import java.util.List;


public class KickOutBadGuys {

	/**
	 * 题目：13个坏人和13个好人站成一圈，数到7就从圈里面踢出一个来，要求把所有坏人都给踢出来，所有好人都留在圈里。请找出初始时坏人站的位置。
	 * Maybe you can find out 
    
                                
    • 
                                
  • Redis.conf配置文件及相关项说明（自查备用）
                                    Kai_Ge
redis
                                    
       Redis.conf配置文件及相关项说明 
# Redis configuration file example
 
# Note on units: when memory size is needed, it is possible to specifiy
# it in the usual form of 1k 5GB 4M and so forth:
#

    
                                
    • 
                                
  • [强人工智能]实现大规模拓扑分析是实现强人工智能的前奏
                                    comsci
人工智能
                                    
     
 
     真不好意思,各位朋友...博客再次更新... 
 
     节点数量太少,网络的分析和处理能力肯定不足,在面对机器人控制的需求方面,显得力不从心.... 
 
     但是,节点数太多,对拓扑数据处理的要求又很高,设计目标也很高,实现起来难度颇大... 
 
    
                                
    • 
                                
  • 记录一些常用的函数
                                    dai_lm
java
                                    
    
public static String convertInputStreamToString(InputStream is) {

	StringBuilder result = new StringBuilder();

	if (is != null)
		try {
			InputStreamReader inputReader = new InputStreamRead
    
                                
    • 
                                
  • Hadoop中小规模集群的并行计算缺陷
                                    datamachine
mapreducehadoop并行计算
                                    
    注：写这篇文章的初衷是因为Hadoop炒得有点太热，很多用户现有数据规模并不适用于Hadoop，但迫于扩容压力和去IOE（Hadoop的廉价扩展的确非常有吸引力）而尝试。尝试永远是件正确的事儿，但有时候不用太突进，可以调优或调需求，发挥现有系统的最大效用为上策。 
 
-----------------------------------------------------------------
    
                                
    • 
                                
  • 小学4年级英语单词背诵第二课
                                    dcj3sjt126com
englishword
                                    
    egg  蛋 
twenty 二十 
any 任何 
well 健康的，好 
  
twelve 十二 
farm 农场 
every 每一个 
back 向后，回 
  
fast 快速的 
whose 谁的 
much 许多 
flower 花 
  
watch 手表 
very 非常，很 
sport 运动 
Chinese 中国的 
  
    
                                
    • 
                                
  • 自己实践了github的webhooks, linux上面的权限需要注意
                                    dcj3sjt126com
githubwebhook
                                    
    环境, 阿里云服务器 
  
1. 本地创建项目, push到github服务器上面 
  
2. 生成www用户的密钥 
sudo -u www ssh-keygen -t rsa -C "[email protected]" 
  
  
3. 将密钥添加到github帐号的SSH_KEYS里面 
  
3. 用www用户执行克隆, 源使
    
                                
    • 
                                
  • Java冒泡排序
                                    蕃薯耀
冒泡排序Java冒泡排序Java排序
                                    
    冒泡排序 
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 
蕃薯耀 2015年6月23日 10:40:14 星期二 
http://fanshuyao.iteye.com/
    
                                
    • 
                                
  • Excle读取数据转换为实体List【基于apache-poi】
                                    hanqunfeng
apache
                                    
    1.依赖apache-poi 
  
2.支持xls和xlsx 
  
3.支持按属性名称绑定数据值 
  
4.支持从指定行、列开始读取 
  
5.支持同时读取多个sheet 
  
6.具体使用方式参见org.cpframework.utils.excelreader.CP_ExcelReaderUtilTest.java 
比如： 
Str
    
                                
    • 
                                
  • 3个处于草稿阶段的Javascript API介绍
                                    jackyrong
JavaScript
                                    
    原文： 
http://www.sitepoint.com/3-new-javascript-apis-may-want-follow/?utm_source=html5weekly&utm_medium=email 
 
 
  本文中，介绍3个仍然处于草稿阶段，但应该值得关注的Javascript API. 
 
1) Web Alarm API 
  &
    
                                
    • 
                                
  • 6个创建Web应用程序的高效PHP框架
                                    lampcy
Web框架PHP
                                    
    以下是创建Web应用程序的PHP框架，有coder bay网站整理推荐： 
1. CakePHP 
CakePHP是一个PHP快速开发框架，它提供了一个用于开发、维护和部署应用程序的可扩展体系。CakePHP使用了众所周知的设计模式，如MVC和ORM，降低了开发成本，并减少了开发人员写代码的工作量。 
2. CodeIgniter 
CodeIgniter是一个非常小且功能强大的PHP框架，适合需
    
                                
    • 
                                
  • 评"救市后中国股市新乱象泛起"谣言
                                    nannan408

                                    
    首先来看百度百家一位易姓作者的新闻： 
 

    三个多星期来股市持续暴跌，跌得投资者及上市公司都处于极度的恐慌和焦虑中，都要寻找自保及规避风险的方式。面对股市之危机，政府突然进入市场救市，希望以此来重建市场信心，以此来扭转股市持续暴跌的预期。而政府进入市场后，由于市场运作方式发生了巨大变化，投资者及上市公司为了自保及为了应对这种变化，中国股市新的乱象也自然产生。

首先，中国股市这两天
    
                                
    • 
                                
  • 页面全屏遮罩的实现 方式
                                    Rainbow702
htmlcss遮罩mask
                                    
    之前做了一个页面，在点击了某个按钮之后，要求页面出现一个全屏遮罩，一开始使用了position:absolute来实现的。当时因为画面大小是固定的，不可以resize的，所以，没有发现问题。 
最近用了同样的做法做了一个遮罩，但是画面是可以进行resize的，所以就发现了一个问题，当画面被reisze到浏览器出现了滚动条的时候，就发现，用absolute 的做法是有问题的。后来改成fixed定位就
    
                                
    • 
                                
  • 关于angularjs的点滴
                                    tntxia
AngularJS
                                    
      
angular是一个新兴的JS框架，和以往的框架不同的事，Angularjs更注重于js的建模，管理，同时也提供大量的组件帮助用户组建商业化程序，是一种值得研究的JS框架。 
  
Angularjs使我们可以使用MVC的模式来写JS。Angularjs现在由谷歌来维护。 
  
这里我们来简单的探讨一下它的应用。 
  
首先使用Angularjs我
    
                                
    • 
                                
  • Nutz--->>反复新建ioc容器的后果
                                    xiaoxiao1992428
DAOmvcIOCnutz
                                    
    问题： 
public class DaoZ { 
  
  public static Dao dao() { // 每当需要使用dao的时候就取一次 
    Ioc ioc = new NutIoc(new JsonLoader("dao.js")); 
    return ioc.get(
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他