培训啦 IT技术

大数据培训_Flume海量日志采集快速入门

教培参考

教育培训行业知识型媒体

发布时间: 2024年12月24日 03:36

2025年【IT技术】报考条件/培训费用/专业咨询 >>

IT技术报考条件是什么？IT技术培训费用是多少？IT技术专业课程都有哪些？

点击咨询

大数据培训_Flume海量日志采集快速入门

Flume 介绍
Flume 是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume 可以采集文件，socket 数据包等各种形式源数据，又可以将采集到的数据输出到 HDFS、hbase、hive、 kafka 等众多外部存储系统中一般的采集需求，通过对 flume 的简单配置即可实现
Flume 针对特殊场景也具备良好的自定义扩展能力，因此，flume 可以适用于大部分的日常数据采集场景
Flume运行机制
1、 Flume 分布式系统中最核心的角色是 agent，flume 采集系统就是由一个个 agent 所连接起来形成
2、每一个 agent 相当于一个数据传递员，内部有三个组件：
①　Source：采集源，用于跟数据源对接，以获取数据
②　Sink：下沉地，采集数据的传送目的，用于往下一级 agent 传递数据或者往最终存储系统传递数据

③　Channel：angent 内部的数据传输通道，用于从 source

大数据培训

flume 接收telnet网络数据

vinetcat-logger.conf# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1
# 描述和配置source组件：r1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444
# 描述和配置sink组件：k1a1.sinks.k1.type = logger
# 描述和配置channel组件，此处使用是内存缓存的方式a1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100
# 描述和配置sourcechannel sink之间的连接关系a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

启动Flume
[hd@Masterflume]# flume-ng agent -c /home/hd/apps/flume/conf/-f example/netcat-logger.conf -n a1-Dflume.root.logger=INFO,console

Flume采集日志文件到HDFS

# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1
# Describe/configure the source#监听目录,spoolDir指定目录,fileHeader要不要给文件夹前坠名a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /home/hadoop/flumespoola1.sources.r1.fileHeader = true
# Describe the sinka1.sinks.k1.type = logger
# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1

启动Flume
[hd@masterflume]# flume-ng agent -c /home/hd/apps/flume/conf/-f example/spool-logger.conf -n a1-Dflume.root.logger=INFO,console

985大学 211大学全国院校对比专升本

温馨提示：

本文【大数据培训_Flume海量日志采集快速入门】由作者教培参考提供。该文观点仅代表作者本人，培训啦系信息发布平台，仅提供信息存储空间服务，若存在侵权问题，请及时联系管理员或作者进行删除。

上一篇: 华为培训所带来的优势

下一篇: 学人工智能有前途吗