python利用thrift连接hive

Linux就该这么学

Thrift是一个跨语言服务部署框架,最初由Facebook于2007年开发,后于2008年进入Apache孵化器(Apache Incubator)。类似于SOAP,COM 和CORBA,Thrift通过定义一个中间定义语言和Thrift代码生成工具,生成指定语言的代码。

目前,Thrift支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml的代码生成

1.   安装thrift依赖库

yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel 

下载thrift:http://mirror.bjtu.edu.cn/apache//thrift/0.8.0/thrift-0.8.0.tar.gz

安装thrift

tar -zxvf thrift-0.8.0.tar.gz

cd  thrift-0.8.0

./configure --with-boost=/usr/local

make && make install

我的hive使用的是cloudera cdn3u3版本,python版本为2.7

在使用Python连接hive之前需要将hive中的文件拷贝到python的sys.path中

cp -r $HIVE_PATH/lib/py /usr/local/lib/python2.7/site-packages

 

[html] view plaincopyprint?

 

  1. #!/usr/bin/env python  
  2. import sys  
  3. from hive_service import ThriftHive  
  4. from hive_service.ttypes import HiveServerException  
  5. from thrift import Thrift  
  6. from thrift.transport import TSocket  
  7. from thrift.transport import TTransport  
  8. from thrift.protocol import TBinaryProtocol  
  9.   
  10. def hiveExe(sql):  
  11.   
  12.     try:  
  13.         transport = TSocket.TSocket('127.0.0.1', 10000)   
  14.         transport = TTransport.TBufferedTransport(transport)  
  15.         protocol = TBinaryProtocol.TBinaryProtocol(transport)  
  16.         client = ThriftHive.Client(protocol)  
  17.         transport.open()  
  18.   
  19.   
  20.         client.execute(sql)  
  21.   
  22.         print "The return value is : "   
  23.         print client.fetchAll()  
  24.         print "............"  
  25.         transport.close()  
  26.     except Thrift.TException, tx:  
  27.         print '%s' % (tx.message)  
  28.   
  29. if __name__ == '__main__':  
  30.     hiveExe("select * from t_afan_test")  

本文由 CentOS中文站 - 专注Linux技术 作者:centos 发表,其版权均为 CentOS中文站 - 专注Linux技术 所有,文章内容系作者个人观点,不代表 CentOS中文站 - 专注Linux技术 对观点赞同或支持。如需转载,请注明文章来源。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注