flow的采集与分析---vflow项目分析和解读

前言

vflow这个开源项目，是我一开始做flow这块的最开始参考的项目。虽然到最后，我们没有使用这个项目，但是该项目是一个企业级的处理netflow等协议的项目，有许多地方值得去研究。

特性

• PFIX RFC7011 collector
• sFLow v5 raw header packet collector
• Netflow v9 collector
• Decoding sFlow raw header L2/L3/L4
• Produce to Apache Kafka, NSQ, NATS
• Replicate IPFIX to 3rd party collector
• Supports IPv4 and IPv6
• Monitoring with InfluxDB and OpenTSDB backend

架构

Dynamic pool

提供了work pool，而且wokrer数量是根据buff堆积消息数量动态调整的，这点之前文章介绍过实现方式。

插件架构

vFlow 支持 Kafka,NSQ,NATS三种消息队列，但是你可以很容易地将消息写到其他的消息队列，比如 RabbitMQ。

package producer

import (
    "log"
    "sync"
)

// Producer represents messaging queue
type Producer struct {
    MQ           MQueue
    MQConfigFile string
    MQErrorCount *uint64

    Topic string
    Chan  chan []byte

    Logger *log.Logger
}

// MQueue represents messaging queue methods
type MQueue interface {
    setup(string, *log.Logger) error
    inputMsg(string, chan []byte, *uint64)
}

// NewProducer constructs new Messaging Queue
func NewProducer(mqName string) *Producer {
    var mqRegistered = map[string]MQueue{
        "kafka":     new(Kafka),
        "nsq":       new(NSQ),
        "nats":      new(NATS),
        "rawSocket": new(RawSocket),
    }

    return &Producer{
        MQ: mqRegistered[mqName],
    }
}

// Run configs and tries to be ready to produce
func (p *Producer) Run() error {
    var (
        wg  sync.WaitGroup
        err error
    )

    err = p.MQ.setup(p.MQConfigFile, p.Logger)
    if err != nil {
        return err
    }

    wg.Add(1)
    go func() {
        defer wg.Done()
        topic := p.Topic
        p.MQ.inputMsg(topic, p.Chan, p.MQErrorCount)
    }()

    wg.Wait()

    return nil
}

// Shutdown stops the producer
func (p *Producer) Shutdown() {
    close(p.Chan)
}

提供了接口，如果扩展到其他的消息队列，实现接口即可。

扩展支持更多的协议

vflow暂时支持sflow和netflow协议，对于cflow和netstream，我们可以扩展实现。我已经扩展了netstream的模块。在vflow.go中，加入指定的flow worker。如下：

//版本太老，不再支持
    netflow5 := NewNetFlowV5()
    netstream5 := NewNetStreamV5()

    // 主要支持四大协议
    sFlow := NewSFlow()
    ipfix := NewIPFIX()
    netflow9 := NewNetflowV9()
    netstream9 := NewNetStreamV9()

    protos[0] = sFlow
    protos[1] = ipfix
    protos[2] = netflow9
    protos[3] = netstream9
    protos[4] = netflow5
    protos[5] = netstream5

    for _, p := range protos {
        wg.Add(1)
        go func(p proto) {
            defer wg.Done()
            p.run()
        }(p)
    }

支持监控

在monitor文件夹下提供了监控相关，目前支持metrics导入到influxdb和opentsdb。
提供了完善的metrics指标。

硬件要求

Load	IPFIX PPS	CPU	RAM
low	< 1K	2-4	64M
moderate	< 10K	8+	256M
high	< 50K	12+	512M
x-high	< 100K	24+	1G

总结

1）udp的负载均衡
这里nginx就支持udp协议的代理。
2）关于最终存放flow采集以后的数据，vflow提供了clickhouse和memsql以及spark三种思路。
3）当然我们之所以没有采用vflow，是因为我们编写了telegraf的flow input插件，可以充分利用telegraf提供的各种输出插件以及过滤器等。