如何修改hue的配置
ue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特性,通过翻译原文简单了解一下Hue所支持的功能特性集合:
默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为MySQL、Postgresql,以及Oracle
基于文件浏览器(File Browser)访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用,并提供可视化的数据视图,以及仪表板(Dashboard)
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板(Dashboard)
支持Pig编辑器,并能够提交脚本任务
支持Oozie编辑器,可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器,能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器,可以访问Hive的元数据,以及HCatalog
支持Job浏览器,能够访问MapReduce Job(MR1/MR2-YARN)
支持Job设计器,能够创建MapReduce/Streaming/Java Job
支持Sqoop 2编辑器和仪表板(Dashboard)
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
1 Hue安装(参考官网:http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/)
1.1 在git上下载HUE源码或者在它的官网下载(如果已经安装git可省略第一步)
sudo apt-get install git
git clone https://github.com/cloudera/hue.git
1.2 需要安装一些依赖的软件包
官网给出了一些,如果环境不一样,灵活调整,GIT上面给出的依赖文件列表:
大哥,我第二天玩,esc成跳跃了,空格没用了,设置打不开了,和你一样,为啥啊,啥也没干
你的整好没!!!
配置hue server
[desktop]
http_host=cdh1
http_port=8888
secret_key=qpbdxoewsqlkhztybvfidtvwekftusgdlofbcfghaswuicmqp
time_zone=Asia/Shanghai
如果想配置 SSL,则添加下面设置:
ssl_certificate=/path/to/certificate
ssl_private_key=/path/to/key
并使用下面命令生成证书:
# Create a key
$ openssl genrsa 1024 > host.key
# Create a self-signed certificate
$ openssl req -new -x509 -nodes -sha1 -key host.key > host.cert
配置 DB Query
DB Query 的相关配置在 hue.ini 中 databases 节点下面,目前共支持 sqlite, mysql, postgresql 和 oracle 四种数据库,默认使用的是 sqlite 数据库,你可以按自己的需要修改为其他的数据库。
[[database]]
engine=sqlite3
name=/var/lib/hue/desktop.db
配置 Hadoop 参数
HDFS 集群配置
在 hadoop.hdfs_clusters.default 节点下配置以下参数:
fs_defaultfs:
logical_name: NameNode 逻辑名称
webhdfs_url:
security_enabled:是否开启 Kerberos
hadoop_conf_dir: hadoop 配置文件路径
完整配置如下:
[hadoop]
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://mycluster
# NameNode logical name.
logical_name=mycluster
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
## webhdfs_url=http://localhost:50070/webhdfs/v1
webhdfs_url=http://cdh1:14000/webhdfs/v1
# Change this if your HDFS cluster is Kerberos-secured
security_enabled=true
hadoop_conf_dir=/etc/hadoop/conf
配置 WebHDFS 或者 HttpFS
Hue 可以通过下面两种方式访问 Hdfs 中的数据:
WebHDFS:提供高速的数据传输,客户端直接和 DataNode 交互
HttpFS:一个代理服务,方便与集群外部的系统集成
两者都支持 HTTP REST API,但是 Hue 只能配置其中一种方式;对于 HDFS HA部署方式,只能使用 HttpFS。
对于 WebHDFS 方式,在每个节点上的 hdfs-site.xml 文件添加如下配置并重启服务:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
配置 Hue 为其他用户和组的代理用户。对于 WebHDFS 方式,在 core-site.xml 添加:
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
对于 HttpFS 方式,在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置并重启 HttpFS 进程:
<!-- Hue HttpFS proxy user setting -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
对于 HttpFS 方式,在 core-site.xml 中添加下面配置并重启 hadoop 服务:
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>
修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 属性。
对于 WebHDFS:
webhdfs_url=http://cdh1:50070/webhdfs/v1/
对于 HttpFS:
webhdfs_url=http://cdh1:14000/webhdfs/v1/
YARN 集群配置
在 hadoop.yarn_clusters.default 节点下配置:
[hadoop]
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=cdh1
resourcemanager_port=8032
submit_to=True
security_enabled=true
resourcemanager_api_url=http://cdh1:8088
proxy_api_url=http://cdh1:8088
history_server_api_url=http://cdh1:19888
集成 Hive
在 beeswax 节点下配置:
[beeswax]
hive_server_host=cdh1
hive_server_port=10000
hive_conf_dir=/etc/hive/conf
这里是配置为连接一个 Hive Server2 节点,如有需要可以配置负载均衡,连接一个负载节点。
集成 Impala
在 impala 节点下配置
[impala]
# Host of the Impala Server (one of the Impalad)
server_host=cdh1
# Port of the Impala Server
server_port=21050
# Kerberos principal
impala_principal=impala/cdh1@JAVACHEN.COM
# Turn on/off impersonation mechanism when talking to Impala
impersonation_enabled=True
这里是配置为连接一个 Impala Server 节点,如有需要可以配置负载均衡,连接一个负载节点。
参考 Configuring Per-User Access for Hue 和 Use the Impala App with Sentry for real security,在配置 impersonation_enabled 为 true 的情况下,还需要在 impalad 的启动参数中添加 authorized_proxy_user_config 参数,修改 /etc/default/impala中的 IMPALA_SERVER_ARGS 添加下面一行:
-authorized_proxy_user_config=hue=* \
另外,如果集群开启了 Kerberos,别忘了配置 impala_principal 参数。
集成 kerberos
首先,需要在 kerberos server 节点上生成 hue 用户的凭证,并将其拷贝到 /etc/hue/conf 目录。:
$ kadmin: addprinc -randkey hue/cdh1@JAVACHEN.COM
$ kadmin: xst -k hue.keytab hue/cdh1@JAVACHEN.COM
$ cp hue.keytab /etc/hue/conf/
然后,修改 hue.ini 中 kerberos 节点:
[[kerberos]]
# Path to Hue's Kerberos keytab file
hue_keytab=/etc/hue/conf/hue.keytab
# Kerberos principal name for Hue
hue_principal=hue/cdh1@JAVACHEN.COM
# Path to kinit
kinit_path=/usr/bin/kinit
接下来,修改 /etc/hadoop/conf/core-site.xml,添加:
<!--hue kerberos-->
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hue.kerberos.principal.shortname</name>
<value>hue</value>
</property>
最后,重启 hadoop 服务。
集成 LDAP
开启 ldap 验证,使用 ldap 用户登录 hue server,修改 auth 节点:
[desktop]
[[auth]]
backend=desktop.auth.backend.LdapBackend
另外修改 ldap 节点:
[desktop]
[[ldap]]
base_dn="dc=javachen,dc=com"
ldap_url=ldap://cdh1
# ldap用户登陆时自动在hue创建用户
create_users_on_login = true
# 开启direct bind mechanism
search_bind_authentication=false
# ldap登陆用户的模板,username运行时被替换
ldap_username_pattern="uid=<username>,ou=people,dc=javachen,dc=com"
注意:在开启ldap验证前,先普通方法创建一个ldap存在的用户,赋超级用户权限,否则无法管理hue用户。
集成 Sentry
如果 hive 和 impala 中集成了 Sentry,则需要修改 hue.ini 中的 libsentry 节点:
[libsentry]
# Hostname or IP of server.
hostname=cdh1
# Port the sentry service is running on.
port=8038
# Sentry configuration directory, where sentry-site.xml is located.
sentry_conf_dir=/etc/sentry/conf
另外,修改 /etc/sentry/conf/sentry-store-site.xml 确保 hue 用户可以连接 sentry:
<property>
<name>sentry.service.allow.connect</name>
<value>impala,hive,solr,hue</value>
</property>
集成 Sqoop2
在 sqoop 节点配置 server_url 参数为 sqoop2 的地址即可。
集成 HBase
在 hbase 节点配置下面参数:
truncate_limit:Hard limit of rows or columns per row fetched before truncating.
hbase_clusters:HBase Thrift 服务列表,例如: Cluster1|cdh1:9090,Cluster2|cdh2:9090,默认为: Cluster|localhost:9090
集成 Zookeeper
在 zookeeper 节点配置下面两个参数:
host_ports:zookeeper 节点列表,例如: localhost:2181,localhost:2182,localhost:2183
rest_url:zookeeper 的 REST 接口,默认值为 http://localhost:9998
集成 Oozie
未使用,暂不记录。
管理 Hue
如果配置了 kerberos,则先获取 hue 凭证:
kinit -k -t /etc/hue/conf/hue.keytab hue/cdh1@JAVACHEN.COM
启动 hue server:
$ service hue start
停止 hue server:
$ service hue stop
hue server 默认使用 8888 作为 web 访问端口,故需要在防火墙上开放该端口。
你可以在 /var/log/hue 目录查看 hue 的日志,或者通过 http://cdh1:8888/logs 查看。
测试
在开启了 LDAP 后,使用 LDAP 中的管理员用户登录 hue,根据提示向导进行设置并将 LDAP 中的用户同步到 Hue Server,然后依次测试每一个功能是否运行正常。
电脑的保护色怎么设置
设置方法:桌面空白处点击右键,选择“外观” 然后点击“高级”按钮,选择“项目”列表里面的窗口(windows),再点颜色(color) -其它颜色(others),然后把Hue(色调)设为85,Sat(饱和度)设为90,Lum(亮度)设为205。然后单击添加到自定义颜色(Add to custom colors),按"确定"...一直确定。把窗口设...
电脑win7设置绿豆沙保护色如何设置电脑的保护色绿豆沙色
6.抓张图备份下原来的配置,记录下来。7.修改成85,123,205 -》添加到自定义颜色-》选中自定义颜色中唯一存在的豆绿色-》点“确定”。8.看效果,可对比步骤二的图。9.打开下word,效果更明显。我们知道,长期使用电脑,眼睛盯着屏幕会使眼睛非常干涩、疲劳,所以现在流行将电脑设置成可以保护眼睛的...
CDH 配置 Sentry 服务
Hue -> 配置 -> 搜索 sentry -> 勾选Sentry -> 保存更改 Sentry -> 配置 -> 搜索 admin -> 勾选Sentry -> 保存更改 -> 重启服务 为Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。具体受限制的属性参数如下,当然你依旧可以在HiveServer2服务端进行参数修改。保护Hive...
如何修改浏览器背景颜色与窗口背景颜色
1。修改窗口背景颜色 设置方法:打开控制面板中的"显示" 选择外观(appearance)-高级(advanced),然后在项目(items)那栏选窗口(windows),再点颜色(color)-其它(others),然后把Hue(色调)设为85,Sat(饱和度)设为90,Lum(亮度)设为205。然后单击 "添加到自定义颜色"(Add to custom colors),按OK...
飞利浦灯泡如何重置
找到重置按钮:Philips Hue智能灯泡或智能灯座上通常会有一个物理重置按钮。这个按钮可能位于灯泡底部、灯座侧面或Hue Bridge设备上。执行重置操作:根据产品说明书或在线指南,用户需要长按重置按钮几秒钟,直到灯泡开始闪烁或Bridge设备的指示灯显示重置状态。这表示灯泡或系统已被重置为出厂设置。重新配置:...
怎么修改win7资源管理器的背景色?
,然后勾选第一个“不使用网 页中指定的颜色”(ignore colors specified on web pages),然后点“确定” (OK)。3、注意:IE背景改为绿色后,可能各种网页上字体颜色也看不到了,如果有需要看字体颜色,还是需要手动 去除配置,不过在大部分网页中,我们是不需要怎么关心字体颜色的。
如何把电脑界面改成保护眼睛的豆绿色?
1、在桌面上点击鼠标右键,然后点击“个性化”2、在打开的对话框中点击“窗口颜色”,在“项目”下拉列表里选择“窗口”3、再打开右边的“颜色”列表,选择“其他”4、在打开的列表里将色调修改为85,饱和度修改为123,亮度修改为205 5、然后点击确定 6、打开IE浏览器,选“工具”栏中的“internet选项...
飞利浦hue的功能配置
飞利浦hue在中国首先推出的是初始套装,其包括3个 LED 灯泡以及一个桥接器;一个桥接器可以同时支持50个灯泡。而且hue使用的LED灯泡要比传统白炽灯灯泡节能。而在控制方面,飞利浦提供了 iOS、Android 两大平台的应用供不同的用户进行选择。· 可联接不同的互联网服务或社交网站,提供天气预报、约会提醒,...
华为a1路由器怎么设置HUE Bridge应用
快来看看吧!设置HUE Bridge应用步骤第一步:安装应用 1、手机连接到路由器的wifi,打开“华为居”App,登录与路由器绑定的华为帐号。2、在首页“家居”中点击您需要设置的路由器,进入路由器管理页面,然后点击“路由市场”,在未安装列表中选择“HUE Bridge”,点击安装即可完成安装。第二步:配置使用 ...
电脑屏幕绿色怎么设置电脑护眼屏幕怎么设置
6.抓张图备份下原来的配置,记录下来。7.修改成85,123,205 -》添加到自定义颜色-》选中自定义颜色中唯一存在的豆绿色-》点“确定”。8.看效果,可对比步骤二的图。9.打开下word,效果更明显。我们知道,长期使用电脑,眼睛盯着屏幕会使眼睛非常干涩、疲劳,所以现在流行将电脑设置成可以保护眼睛的...