博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Confluent本地安装和使用
阅读量:3951 次
发布时间:2019-05-24

本文共 2292 字,大约阅读时间需要 7 分钟。

Confluent本地单节点安装

0.前言

【点击这里查看confluent建立连接器与KsqlDB的使用】

我的环境

名字 版本
操作系统 centos7
confluent 5.5.1(商业版)
jdk 1.8

1. 安装jdk【建议安装】

上传到linux的/usr/local/目录下解压

tar -zxvf  jdk1.8.0_144.tar.gz

配置环境变量,修改/etc/profile文件

vi /etc/profile

添加以下内容

#javaexport JAVA_HOME=/usr/local/jdk1.8.0_144/export PATH=$JAVA_HOME/bin:$PATH

使环境变量生效

source /etc/profile

输入java -version查看是否安装成功

[root@hadoop89]# java -versionjava version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

2. 下载confluent

点击查看官网

点击百度网盘下载V5.5.1商业版本, 提取码:6x48

点击下载各个版本

confluent社区版开源免费,商业版1个kafka broker免费,两个或两个以上kafka broker有30天试用期,试用期过后需要购买密钥,否则无法使用,这里我安装商业版单个broker。具体内容参考下图

3. 安装confluent

上传confluent-5.5.1-2.12.tar.gz/usr/local/目录下解压

tar -zxvf confluent-5.5.1-2.12.tar.gz

上传需要的mysql、sql server、oracle等的驱动包到解压后的confluent的/share/java/kafka-connect-jdbc目录下

配置环境变量,修改/etc/profile文件

vi /etc/profile

添加以下内容

#confluentexport CONFLUENT_HOME=/usr/local/confluent-5.5.1export PATH=$CONFLUENT_HOME/bin:$PATH

使环境变量生效

source /etc/profile

输入confluent查看是否安装成功

4. 上传驱动包

confluent可以实时将不同数据库的数据同步到其他数据库, 需要上传相关数据库的驱动包

点击下载驱动包, 若失效请留言评论联系我获取

上传到$CONFLUENT_HOME/share/java/kafka-connect-jdbc目录下

cd $CONFLUENT_HOME/share/java/kafka-connect-jdbc

5. 启停confluent

启动confluent,一次无法全启动,建议多启动几次。

cofluent local start

关闭confluent

confluent local stop

查看confluent各个组件状态

confluent local status

启动后可能有一定延迟后浏览器才可以访问页面

ip:9021

查看日志,WGkeIh47为随机生成,哪儿个组件报错就查看哪儿个组件下的日志。

cd /tmp/confluent.WGkeIh47

#举例 如查看连接器报错日志cd connectcat connect.stdout

6. 设置日志不被清除

confluent启动和部分数据依赖于临时文件下的内容, 所以要设置/tmp下关于confluent的文件不被清理

vi /usr/lib/tmpfiles.d/tmp.conf

添加x /tmp/confluent*,如下

#  This file is part of systemd.##  systemd is free software; you can redistribute it and/or modify it#  under the terms of the GNU Lesser General Public License as published by#  the Free Software Foundation; either version 2.1 of the License, or#  (at your option) any later version.# See tmpfiles.d(5) for details# Clear tmp directories separately, to make them easier to overridev /tmp 1777 root root 10dv /var/tmp 1777 root root 30d# Exclude namespace mountpoints created with PrivateTmp=yesx /tmp/systemd-private-%b-*X /tmp/systemd-private-%b-*/tmpx /var/tmp/systemd-private-%b-*X /var/tmp/systemd-private-%b-*/tmpx /tmp/confluent*

转载地址:http://nduzi.baihongyu.com/

你可能感兴趣的文章
大数据下的帝都魔都的爱恨情仇
查看>>
GitHub最著名的20个Python机器学习项目!
查看>>
小白都能看懂的神经网络入门,快收下吧~
查看>>
这十大挑战,摆在深度学习面前(附论文)
查看>>
用Python分析李小璐微博.........贾乃亮到底.........
查看>>
教你用一行Python代码实现并行(附代码)
查看>>
Google发布了2017年最常被搜索的一个词,竟然看哭了几亿人
查看>>
学习 Python 编程的 19 个资源
查看>>
收藏!超全机器学习资料合集!(附下载)
查看>>
搞笑动图:这些痛,只有程序员懂…
查看>>
不学Python的同学,“跳一跳”都输了
查看>>
资源:惊艳全球数据行业的16个数据可视化例子
查看>>
先搞懂这八大基础概念,再谈机器学习入门!
查看>>
2017年深度学习必读31篇论文(附下载地址)
查看>>
数据看穿一生:前半生赚钱养娃,后半生赚钱买命
查看>>
【资源】年底送你一套编程视频(含源码)
查看>>
用Python给“冲顶大会”做外挂!王思聪们还敢撒币吗?
查看>>
用算法撩妹都不会,别跟我说你是程序员(文末附Python零基础入门课程)
查看>>
2017人工智能与机器学习年终盘点(重要工具资源汇总)
查看>>
收藏!超全机器学习资料合集!(附下载)
查看>>