显示标签为“thrift”的博文。显示所有博文
显示标签为“thrift”的博文。显示所有博文

2009年3月23日星期一

thrift粘合java

上篇用thrift粘合了erlang,分别写了客户端和服务器端。这篇继续些个java版本的客户端。其实通过这几篇可以发现,这些客户端和服务器端的格式是大同小异的,也再次说明了语言层面中语法的区别实在不大~

首先还是需要libthrift-java的包,还是去上上篇提到的地址那里去下载。
然后运行
thrift --gen java hello.thrift
这样就生成了gen-java的文件夹,里面就是thrift给我们生成好的文件。(Hello.java)
然后我们进入gen-java的目录,写一个客户端文件:
HelloClient.java

import org.apache.thrift.TException;
import org.apache.thrift.transport.TTransport;
import org.apache.thrift.transport.TSocket;
import org.apache.thrift.transport.TTransportException;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TProtocol;

public class HelloClient{
public static void main(String [] args){
try{
TTransport transport = new TSocket("localhost", 9090);
TProtocol protocol = new TBinaryProtocol(transport);
Hello.Client client = new Hello.Client(protocol);

transport.open();
String result = client.say("world");
System.out.println(result);
transport.close();
}
catch(TException ex){
ex.printStackTrace();
}
}
}
配写一个方便的Makefile:

LIB_PATH=/usr/share/java/libthrift.jar

all:
javac -cp ./:${LIB_PATH} HelloClient.java
run:
java -cp ./:${LIB_PATH} HelloClient
clean:
rm *.class
make之前别忘了先启动服务器端,我们使用上次erlang版本的Server:

erl> hello_server:start()

然后执行我们的这个客户端:

make
make run

可以看到java版的这个也正常输出了Hello, world

2009年3月22日星期日

thrift粘合erlang

上篇用thrift尝试了粘合cpp和python,其实我们也可以看出来,所谓的粘合,无非是thrift通过socket的方式产生各种语言的服务器端和客户端的代码,然后可以用任意语言写服务器接口,用任意语言去调用这些服务端的接口。

ok,继续上次hello.thrift,我们先装好thrift-erlang的扩展包,还是去上篇文章里提到的地址down下来安装。然后是生成erlang的代码:
thrift -erl hello.thrift
这样就生成了gen-erl的文件夹。

接着我们用上一篇的python版本的hello跑服务器端,也就是python HelloServer.py
然后我们写个erlang版本的客户端去测试:
hello_client.erl
%% @author author

-module(hello_client).
-include("hello_thrift.hrl").
-export([test/0]).

p(X)->
io:format("~s~n", [X]),
ok.

test()->
Port = 9090,
{ok, Socket} = thrift_client:start_link("localhost",
Port,
hello_thrift),
{ok, Result} = thrift_client:call(Socket, say, ["world"]),
p(Result),
thrift_client:close(Socket),
ok.

写个Makefile:

ERL_THRIFT=/usr/lib/erlang/thrift/

all:
erlc -I ${ERL_THRIFT}/include *.erl
erl +K true -pa ${ERL_THRIFT}/ebin
clean:
rm *.beam
make之,会走到erl的命令行,运行:

erl> hello_client:test()

可以看到输出了

Hello, world
ok

说明这个客户端正常运行了。

都说erlang的高并发能力,不用erlang写服务器端有点可惜,所以来做一个erlang版本的服务器端,继续在gen-erl的文件夹下建立一个hello_server.erl:

%% @author author

-module(hello_server).
-include("hello_thrift.hrl").
-export([start/0, handle_function/2, say/1, stop/1]).

debug(Info)->
io:format("Debug info:~s~n",[Info]).

say(Name)->
Sentence = "Hello," ++ Name,
debug(Sentence),
BinSentence = list_to_binary(Sentence),
BinSentence.

start()->
start(9090).

start(Port)->
Handler = ?MODULE,
thrift_socket_server:start([{handler, Handler},
{service, hello_thrift},
{port, Port},
{name, hello_server}]).

stop(Server)->
thrift_socket_server:stop(Server).


handle_function(Function, Args) when is_atom(Function), is_tuple(Args) ->
case apply(?MODULE, Function, tuple_to_list(Args)) of
ok -> ok;
Reply -> {reply, Reply}
end.
上面的也很简单,和python版本的HelloServer本质是相同的,绑定9090的端口,实现了say的函数;其它的函数,start和stop不用多说,handle_function这个函数比较重要,注意我们erlang版本的客户端的代码调用了thrift_client:call的方法,这个方法传递了函数名和参数的tuple,以让服务器去做函数调用的分发,这一层在python版本的Server中是看不出的,而erlang的这个版本的handle_function就是实现了这个,这个函数是必须的。

第二个需要注意的地方是say函数,这个函数返回一个字符串,我本来使用直接返回Sentence结果,但是当客户端调用时总是出错,后来将这个字符串转成了二进制,也就是使用了list_to_binary的函数,这样才正确运行。我想也是thrift的内部通讯是通过2进制的,这个在cpp和python版的命名中(BinaryProtocol)可以看出来。

ok,试验我们的erlang服务器端,先停掉python版的那个服务器端(因为两个都用了9090的端口),然后Makefile不用变,make之,进入erl的控制台,运行:
erl> hello_server:start()

服务器就启动了。

运行erlang版的客户端/cpp版的客户端/python版的客户端都没有问题~ ^_^

---
Erlang版的就先到此,接下来或许是java版的。

2009年3月20日星期五

初试thrift

继上一篇在ubuntu下安装thrift包,在ubuntu下要使用某种语言,还需要安装对应的语言包,比如python,需要使用

import thrift

包的地址也是https://launchpad.net/%7Etxamqpteam/+archive/ppa,下载python-thrift的那个包即可。所以如果要用其他语言,一样要下载扩展包,那个libthrift0,libthrift-dev,java的,erlang的。。。

然后写个最简单的hello 的thrift服务,
hello.thrift:


#!/usr/bin/env thrift

service Hello{
string say(1:string name)
}
先些python版本的,运行thrift --gen py hello.thrift
将在目录下产上一个gen-py的文件夹,进入这个文件夹,可以看到有个hello的文件夹,这就是thrift生成的python代码了,不过服务部分还是需要我们自己搭建,下面来写个hello的服务:
HelloServer.py

from hello import Hello
from hello.ttypes import *

from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer

class HelloHandler():
def __init__(self):
pass

def say(self, name):
word = "Hello, %s"%(name)
print word
return word

handler = HelloHandler()
processor = Hello.Processor(handler)
transport = TSocket.TServerSocket(9090)
tfactory = TTransport.TBufferedTransportFactory()
pfactory = TBinaryProtocol.TBinaryProtocolFactory()

server = TServer.TSimpleServer(processor, transport, tfactory, pfactory)

print "Starting Server..."
server.serve()

上面的handler实现了say的方法:拿到name参数,增加hello后return出去。然后将handler作为处理器传给server,运行了SimpleServer。thrift默认绑定的端口是9090。
运行:python HelloServer.py 一个Hello的服务器就运行起来了。

接着试一下这个服务,运行hello文件夹里thrift生成的Hello-remote文件:
./Hello-remote say "world"
可以看到在9090端口运行的服务器就返回了 Hello, world了。

自己做个client:
刚才是使用thrift自己生成的Hello-remote的客户端,下面做一个自己的客户端:

#!/usr/bin/env thrift

from hello import Hello
from hello.ttypes import *

from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

try:
transport = TSocket.TSocket("localhost", 9090)
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hello.Client(protocol)
transport.open()
print client.say("world")
transport.close()
except Thrift.TException, ex:
print "ex:%s"%(ex.message)

代码也很简单,打开9090的端口,通过Hello的client调用say的函数,同样返回Hello, world(就是和服务器端一样,那几个类名比较难记,和服务器通讯也要些不少代码:拿socket,缓存socket,绑定协议)

使用C++调用python服务:
既然facebook用thrift作了代码之间的通讯和粘合,我们就做个C++的client来和python的服务器的这个服务器通讯:
首先是用thrift生成cpp的代码:
thrift --gen cpp hello.thrift
这样就生成了gen-cpp的文件夹,在文件夹下生成了需要的cpp和h文件,下面是client的代码:
(注意要用C++的库,需要安装上面提到的libthrift-dev)
client_remote.cpp:

#include <string>
#include <iostream>

#include <protocol/TBinaryProtocol.h>
#include <transport/TSocket.h>
#include <transport/TTransportUtils.h>

#include "Hello.h"

using namespace std;

using namespace apache::thrift;
using namespace apache::thrift::protocol;
using namespace apache::thrift::transport;

using namespace boost;

int main(int argc, char* argv[])
{
shared_ptr socket(new TSocket("localhost", 9090));
shared_ptr transport(new TBufferedTransport(socket));
shared_ptr protocol(new TBinaryProtocol(transport));

HelloClient client(protocol);
try
{
transport->open();
string input;
string result;
while (true)
{
cout << "Input your name:";
cin >> input;
if (input == "quit") break;
client.say(result, input);
cout << result;
}

transport ->close();
}
return 0;
}

注意库里cpp代码整个在apache::thrift的命名空间里,下载的thrift的20080411的版本中的sample的cpp用的是facebook::thrift的命名空间,是编译不过的。其他代码格式和python版本的client是类似的,也是创建socket,buffer它,调用协议。

Makefile:

BOOST_DIR = /usr/include/boost
THRIFT_DIR = /usr/include/thrift

LIB_DIR = /usr/lib

GEN_SRC = hello_constants.cpp hello_types.cpp Hello.cpp

client:
g++ client_remote.cpp -o HelloClient -I${THRIFT_DIR} -I${BOOST_DIR} -L${LIB_DIR} -lthrift ${GEN_SRC}

make之

运行这个版本的HelloClient,同样可以和服务器正常通信。

---
以上是实验了python和cpp版本的,接下来想尝试java和erlang版本的。

2009年3月16日星期一

ubuntu 安装thrift

thrift

安装参考地址:
http://wiki.apache.org/thrift/GettingUbuntuPackages

但是在我机器上装了半天,make的时候总报错:
说什么 eval 1: libtool_args += XXXX 乱七八糟的错误。
调试了半天也没有搞定。

后来只好从网上搜些非官方的安装deb包:
https://launchpad.net/~txamqpteam/+archive/ppa

还是这个快,装上之后,写个最简单的thrift文件:
#/usr/bin/env thrift
service Calculator{
void ping(),
i32 add(1:i32 num1, 2:i32 num2)
}
然后执行 thrift --gen py a.thrift后生成了gen-py的文件夹,下面有了python的文件,初步观察代码相当多。。。简单的两行做个rpc还真要写不少代码。

先弄到这里,下一步尝试使用python和C的互调