Watching Note for CBIR report vedio by Mingjing LI

Watching Note for CBIR report vedio by Mingjing LI

    The following link is the video of  "Web Image Search" by Mingjing Li（李明鏡）which is one part of "Microsoft Innovation Class" in USTC. Even it was recorded in 2005, but it is a rare tutorial for you to understand what is "Web Image Search".
     http://v.youku.com/v_show/id_XMjc4MzgzNDQ=.html
-----------------------------------------------------------
应用：
  明星
  风景
  医学
  数字图书馆
 对图像建索引，提供查询

类型：
  1. Web-based image search engines
    自动爬取网络图片，无版权
  2. Collection-based image search engines
    版权图片，付费盈利，无法爬取
    Corbis；Microsoft Office Online
  3. Content-based image search engines
    根据视觉信息建立索引：颜色，纹理，形状
    进展：大多实验系统
    例子：QBIC
   
Google Image Search
Yahoo! Image search
Baidu Image Search

keyword-based   1970's
  人为标注的主观性很强
content-based   1990's
  1）. Low-level feature:
    --Color, texture, shape
  2）. Step：
    --1-Feature Vector
    --2-Similarity measure
      Cosine similarity
      L1(最简单，最有效)
      L2 distance
    --3-Image ranking
  3). Semantic(语义鸿沟)
      空间特征空间点--!=--图片语义信息
  4). 鸿沟解决
    - 分区域表达(Regin-Based Image Retrieval)
    - 相关反馈(Relevance feedback)
一、Regin-Based Image Retrieval
    抽取区域特征
    -1- Image segmentation: JSeg algorithm; Homogeneous regions
    -2- Image representation: Variable length feature vector; extract from each region
    -3- Similarity measure: EMD-Earth Mover's Distance(特征长度可变的相似度度量)(有代码)
二、Relevance Retrieval
    反馈Learning from the users' choose.
    -1. Traditional
        Query point movemet   （效果一般）
        Feature re-weighting 
    -2. Classification
        SVM： 是或不是，相关反馈就是分类
        AdaBoost
三、业界认为由于语义鸿沟的存在，不可能在短期解决
四、业界的问题转换
    不用标注、不用内容、而是将新闻的内容将新闻的图片作为相似语义
    -1. Image file name
    -2. Image caption  (标题)
    -3. Allternate text(ALT tag)
    -4. Page title
    -5. Surrounding text
五、关键技术
    - Crawler
    - Page parser
    - Index builder
    - Query processing
    - User interface

------------------------------------------------------------------------
问题：
    1. 大规模数据
    2. 黄片的过滤
        通过过滤网页来过滤
六、Content-Based Image Retrivel
  1. Image Representation
     1). Color featrue:
        color moment;
        color histogram;
        color correlogram;
        color coherence vector
     2). Texture feature(重复模式)
        wavelet texture(TWT, PWT)
        Tamura corseness(不特别有用)
        Texture moment（比较有用）
     3). Shape feature
        Rarely used(特征不稳定，用的少)
  2. Color Spaces
      1). RGB: 与人类视觉的感知差别较大
      2). Gray: y = 0.299*R+0.587*G + 0.114*B; y = (R+G+B)/3(效果一样)
      3). HSV: RGB <-> HSV(比较有用)
  3. Color Moment(颜色矩)(比较可以)
      RGB: 6维，3个通道的均值和方差
      HSV: 6维，3个通道； x1 = S*V*COS(H); X2 = S*V*SIN(H); X3 = V;
  4. Color quantization(需要量化)
      量化；相似度
  5. Color Correlogram(**颜色,效果好)
      考虑空间信息，统计相关性
      量化值+D距离领域的像素+概率+自考虑自相关，不考虑互相关
  6. Wavelet Texture(效果不错)
      做3级分解,得到HHn,HLn,LHn + 均值+方差
      用哈尔小波基
  7. Color Texture Moment(组合)
      对三个颜色通道，做局部傅立叶变换，将系数做特征，对特征求均值方差
  8. 总结：
      Color correlogram may be the best
      Color moment
      Combination of color moment and texture moment
     
七、Manifold-Ranking Based Retrieval
    检索,双月牙例子
    将检索过程与反馈过程相统一
    SVM 公认分类效果最好的算法
    实验来源： Corel 图像库, 选取50个目录，共5000副
   
--------------------------------------------------------
八、Multimodal Learning in Web Image Search(多模态)
    互联网多信息融合
    Color, Texutre, Text
  1. Fusion  Scheme(融合方法)
    2) Linear fusion scheme
    3) Sequential fusion scheme
   
........