高效指南：快速搭建Kylin分析环境

今天给各位分享高效指南：快速搭建Kylin分析环境的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

2）官方文件

http://kylin.apache.org/cn/docs/

3）下载地址

http://kylin.apache.org/cn/download/

单节点服务模式安装

kylin的运行环境分为单机模式和集群模式。单机模式下，只需要在任意一台机器上安装一个kylin服务即可。集群模式下，可以把它安装在所有机器上，然后所有机器的kylin就组成一个集群。

kylin的服务安装依赖于zookeeper、hdfs、yarn、hive、hbase等各种服务，在安装kylin之前我们需要保证我们的zookeeper、hdfs、yarn、hive、hbase服务正常。

|

主机名

服务

|

节点01

|

节点02

|

节点03

|

|

动物园管理员

|

法定对等点主

|

法定对等点主

|

法定对等点主

|

|

HDFS

|

名称节点

| | |

|

次要名称节点

| | |

|

数据节点

|

数据节点

|

数据节点

|

|

纱

|

资源管理器

| | |

|

节点管理器

|

节点管理器

|

节点管理器

|

|

映射减少

|

工作历史服务器

| | |

|

数据库

|

汉大师

| | |

|

HRegion服务器

|

HRegion服务器

|

HRegion服务器

|

|

蜂巢

| | |

Hive服务器2

|

| | |

元存储

|

第一步：下载kylin安装包上传并解压

kylin安装包下载地址为

http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.3/apache-kylin-2.6.3-bin-cdh57.tar.gz将安装包上传到node03服务器的/kkb/soft路径下，并解压到/kkb/install

node03执行以下命令解压

cd /kKB/软件

tar -zxf apache-kylin-2.6.3-bin-cdh57.tar.gz -C /kKB/install/

第二步：node03服务器开发环境变量配置

node03服务器添加以下环境变量：

须藤vim /etc/profile

导出JAVA_HOME=/kKB/install/jdk1.8.0_141

导出路径=PATH

导出HADOOP_HOME=/kKB/install/hadoop-2.6.0-cdh5.14.2

导出路径=路径

导出HBASE_HOME=/kKB/install/hbase-1.2.0-cdh5.14.2

导出路径=路径

导出HIVE_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=PATH

导出HCAT_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=路径

导出KYLIN_HOME=/kKB/install/apache-kylin-2.6.3-bin-cdh57

导出路径=路径

导出目录=/kKB/install/apache-kylin-2.6.3-bin-cdh57/bin

导出路径=PATH

更改环境变量后，记得source /etc/profile才能生效

第三步：node03启动kylin服务

node03 执行以下命令启动kylin服务

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh 启动

第四步：浏览器访问kylin服务

访问kylin服务的浏览器界面

http://node03.kaikeba.com:7070/kylin/

用户名： 管理员

密码：KYLIN

kylin的集群环境安装

单节点kylin环境主要用于方便测试和学习。在实际工作中，我们主要使用kylin的集群模式进行开发。接下来我们看一下kylin的集群模式是如何运作的。

Kylin 实例是无状态的，运行时状态存储在Hbase 的元数据中（由kylin.metadata.url 指定）

只要每个实例指向读取公共元数据，就可以完成集群的部署（即元数据共享）

对于每个实例，您必须指定实例运行的模式（kylin.server.mode）。总共有3种模式。

作业只能运行作业引擎

查询只能运行查询引擎

all 都可以运行作业和查询

查询模式下，仅支持sql查询，不进行cube构建等相关操作。特别注意：kylin集群中只有一个实例可以运行作业引擎，其他实例必须处于查询模式。

集群模式重要配置参数介绍

当kylin以集群模式运行时，会有多个运行实例，可以通过conf/kylin.properties中的两个参数进行设置

kylin.server.cluster-servers

列出所有要在实例之间同步的其余Web 服务器，例如设置为：

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.server.mode

确保一个实例配置为all或job，其他实例必须处于查询模式。

第一步：将node03服务器的kylin安装包分发到其他机器

将node03服务器/kkb/install路径下的kylin安装包分发到其他服务器

node03执行以下命令停止kylin服务，然后将kylin安装包分发到其他服务器上。

node03执行以下命令

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh 停止

cd /kKB/安装/

scp -r apache-kylin-2.6.3-bin-cdh57/node02:$PWD

scp -r apache-kylin-2.6.3-bin-cdh57/node01:$PWD

第二步：三台机器修改kylin配置文件kylin.properties

分别修改三台服务器上的kylin配置文件kylin.properties。

修改node01服务器的配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=查询

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-秒=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

修改node02服务器的配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=查询

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-秒=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

修改node03服务器的配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=全部

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-秒=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

第三步：三台机器配置环境变量

在三台机器上编辑/etc/profile并添加环境变量

注意：需要将hive安装文件夹复制到每台机器上。

须藤vim /etc/profile

导出JAVA_HOME=/kKB/install/jdk1.8.0_141

导出路径=PATH

导出HADOOP_HOME=/kKB/install/hadoop-2.6.0-cdh5.14.2

导出路径=路径

导出HBASE_HOME=/kKB/install/hbase-1.2.0-cdh5.14.2

导出路径=路径

导出HIVE_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=PATH

导出HCAT_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=路径

导出KYLIN_HOME=/kKB/install/apache-kylin-2.6.3-bin-cdh57

导出路径=路径

导出目录=/kKB/install/apache-kylin-2.6.3-bin-cdh57/bin

导出路径=PATH

导出HBASE_CLASSPATH=/kKB/install/hbase-1.2.0-cdh5.14.2

导出路径=路径

第四步：三台机器启动kylin服务

在三台机器上执行以下命令启动kylin服务

cd /kkb/soft/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh 启动

第五步：node02安装nginx实现请求负载均衡

注意：nginx安装需要root用户安装

在node02服务器上安装nginx服务，实现请求负载均衡

将nginx安装包上传到/kKB/soft路径下，然后解压，配置nginx配置文件，然后启动nginx服务。

1.解压nginx压缩包

cd /kKB/软/

tar -zxf nginx-1.8.1.tar.gz -C /kkb/install/

2.编译nginx

yum -y 安装gcc PCRE 开发zlib 开发openssl openssl 开发

cd /kKB/install/nginx-1.8.1/

./configure --prefix=/usr/local/nginx

制作

进行安装

3、修改nginx配置文件

node02执行以下命令修改nginx配置文件

cd /usr/local/nginx/conf

vim nginx.conf

添加以下内容

在nginx.conf配置文件最后一个“}”上面一行，添加以下内容

上游凯克巴{

最少连接；

服务器192.168.52.100:7070权重=8；

服务器192.168.52.110:7070权重=7；

服务器192.168.52.120:7070权重=7；

}

服务器{

听8066；

服务器名称本地主机；

地点/{

proxy_passhttp://kaikeba；

}

}

4.nginx启动和停止命令

nginx启动命令，node02执行以下命令启动nginx服务

cd /usr/local/nginx/

sbin/nginx -c conf/nginx.conf

nginx stop命令，node02执行以下命令停止nginx服务

cd /usr/local/nginx/

sbin/nginx -s 停止

好了，文章到这里就结束啦，如果本次分享的高效指南：快速搭建Kylin分析环境和问题对您有所帮助，还望关注下本站哦！

用户评论

泪湿青衫

想试试Kylin，不过环境配置总是卡在某个步骤...

    有10位网友表示赞同！

怪咖

刚入手Kylin，学习一下你们的安装教程吧！

    有16位网友表示赞同！

墨城烟柳

Kylin的安装文档写的真不错，跟着做起来还是很顺畅的。

    有15位网友表示赞同！

你是梦遥不可及

哪位高手能分享一下Kylin环境搭建遇到的坑？

    有14位网友表示赞同！

゛指尖的阳光丶

感觉Kylin的系统很稳定，环境配置也相对容易上手。

    有16位网友表示赞同！

回忆未来

之前用过其他数据分析工具，发现Kylin的速度更快了好多！

    有15位网友表示赞同！

淡抹烟熏妆丶

安装过程中要注意哪些细节啊？想弄一台自己玩玩Kylin。

    有20位网友表示赞同！

别悲哀

Kylin适合什么场景的数据分析？有哪些实战案例分享吗？

    有6位网友表示赞同！

盲从于你

准备学一下Kylin，先来搞定环境配置这一步！

    有19位网友表示赞同！

纯情小火鸡

有没有大佬提供一句部署Kylin的环境命令呢？省时省力！

    有14位网友表示赞同！

爱情的过失

学习了一下Kylin的文档，感觉安装还是挺简单的。

    有20位网友表示赞同！

歇火

想从零搭建一个完整的Kylin体验，这篇文章挺有帮助的。

    有18位网友表示赞同！

断桥残雪

我需要创建一个小型项目实验Kylin，环境配置应该怎么来？

    有6位网友表示赞同！

南宫沐风

分享一下你们的Kylin环境搭建经验和建议吧！

    有11位网友表示赞同！

￡烟消云散

Kylin的安装过程会不会很复杂？对于初学者来说难吗？

    有14位网友表示赞同！

我要变勇敢℅℅

这篇文章能详细讲解Kylin的环境搭建步骤吗？

    有16位网友表示赞同！

笑叹★尘世美

我正在研究Kylin，这篇关于环境安装的文章很有用！

    有18位网友表示赞同！

我怕疼别碰我伤口

想搭建一个高效的Kylin环境，文章分享了不少思路。

    有10位网友表示赞同！

箜篌引

学习一下Kylin的安装流程，以便更好地使用它。

    有11位网友表示赞同！

眉黛如画

想要了解如何优化Kylin的环境配置，提高性能效果。

    有14位网友表示赞同！

堕落爱人！

Kylin在实际应用中比较常用的环境搭建方式是什么？

    有18位网友表示赞同！

【高效指南：快速搭建Kylin分析环境】相关文章：

1.蛤蟆讨媳妇【哈尼族民间故事】

2.米颠拜石

3.王羲之临池学书

4.清代敢于创新的“浓墨宰相”——刘墉

5.“巧取豪夺”的由来－－米芾逸事

6.荒唐洁癖　惜砚如身（米芾逸事）

7.拜石为兄－－米芾逸事

8.郑板桥轶事十则

9.王献之被公主抢亲后的悲惨人生

10.史上真实张三丰：在棺材中竟神奇复活