2012년 8월 21일 화요일

logging for future use in hbase and rhive


logging으로 그냥 쓰던 db에 넣으려고 했는데,
hbase와 rhive를 알아버렸다.

erlang 과 hbase를 연결해서, log들을 넣고,
나중에 rhive로 분석해서 뭔가 의미 있는 것을 추출할 수 있으리라 기대하면서,
일단은 hbase를 설정해 놓으려고 한다. ㅎ

설치는 아래처럼 하면 될 듯.
http://kungfooguru.wordpress.com/2009/08/31/erlang-thrift-and-hbase/

아쉽게도 erlang으로 되어 있지 않아서, thrift로 통신해야 하지만, 별 문제는 없을 듯.

다만, 궁금한 것은 hbase의 안정성과 성능이다.
hbase가 zookeeper로 구현해서 node추가/삭제/관리는 잘 할 듯 보이고, 안정성은 돌려봐야 한다. cassandra에 비해서 안정성이 떨어진다는 이야기가 있다. -.-;
rhive에서 어떤 DB도 연결해서 쓸 수 있을 것 같은데... hbase가 딱히 답은 아닐 수도 있다.
실전에서 rhive를 사용하는 입장에서, logging DB를 유지 관리하는 입장에서의 답이 매우 궁금하다.

R 언어를 배우는 것도 흥미롭다. 벡터 기반언어의 재미를 느낄 수 있다. rCuda도 있다고 하니... 미래가 흥미롭기도 하다.

현재의 state-of-the-art는 실시간은 아닌데, 실시간 분석이 되려면 어찌 되야 하는지 연구 대상이다.
서비스 중에 각종 얼러트를 서비스 책임자에게 날려줄 수 있다면, 얼마나 좋겠는가?