Celery 설치

우와 앞에꺼에 비하면 정말 쉽다.

pip를 이용시

>>>pip install Celery

easy_install 이용시
>>>easy_install Celery

파일을 다운받아서 설치시
 http://pypi.python.org/pypi/celery/

1 2 3 4 5 6 7

$ tar xvfz celery-0.0.0.tar.gz $ cd celery-0.0.0 $ python setup.py build # python setup.py install # as root

개발자 버젼입니다.

깃헙에서 받으세요

1	$ git clone git://github.com/celery/celery.git

잡시다 오늘 허접하지만 많이 나갔네요

pika install

rabbitMQ를 혼자 재설치 해보는데 또하나의 벽이 생겨서 포스팅 하는겁니다.

pika의 설치부분입니다.

pika는 rabbitMQ Library 입니다. 이를 설치하기 위한 방법으로 rabbitMQ는 pip를 이용하여 설치하는것을 권하고 있습니다.

python pakage index라고 알려져 있는 pip를 이용하기 위해서는 설치를 해야 합니다.

이를 설치하기 위해서는 easy_install을 설치하라고 rabbitMQ의 Tutorial에서 링크를 제공합니다.

http://pypi.python.org/pypi/setuptools

위 링크를 따라들어가면 윈도우에서 setuptools를 이용할수 있습니다.

설치방법은 각 os버젼에 따라서 링크를 따라들어가면 알수있는데 기본적으로는  ez_setup.py파일을 다운받아서 설치하는것입니다. 이를 실행하면 파바박 하고 글자들이 막 올라오고 끝이났다고 알려주는데

더이상 무엇을 해야 할지 모르겠습니다.

그래서 다시 튜토리얼에 가서 따라 할려면 .. 에러가 팍팍 ㅜㅜ

가만히 읽어 보니 ez_setup.py를 실행하면 python의 script 폴더에 easy_install이 생겼으니 이를 환경변수에 추가하라고 써있네요 ... 영맹이고 성격이 급한 사람은 찾기 힘들었습니다.(제 얘기네요 ... )

정신을 다잡고 환경변수에 원하는 버젼의 python의 script 폴터를 추가했더니~~~

cmd 에서 easy_install pip 명령이 먹힙니다.

pip가 install 성공했다면 메시지가 뜨면

이번에는

>>> pip install pika

라고 명령합니다..

헐 설치 되었어... 리눅스라고 가장 다르다고 생각했던 부분인 프로그램 설치....윈도우에서도 비슷하게 하는게 가능하네 ... python pakage에 한해서 하는 얘기입니다. 근데 워낙 파이썬이 파생된 프로젝트가 많아서 유용할것 같습니다.

끝~~

Celery 시작하기

분산처리환경, Grid Computing, Message Queue

세가지 개념이 아직 구분이 가질 않습니다. 어린아이가 세상을 다 알지 못하듯이 저 또한 저 세개의 개념을 알지 못하는것이겠습니다.

일단 목표는 정해져 있습니다. 서버에서 마스터 메시지큐 서버를 구축하고 워커를 구축하고 그들의 움직임을 통제하는것입니다.

그것을 위해서 저는 celery를 선택하였습니다. 다른 이유는 없고 python 홈페이지에서 분산컴퓨팅을 위한 패키지라고 설명을 해주었기때문입니다.

일단 설치를 하려고 합니다.

홈페이지 입니다.

http://www.celeryproject.org/

내용을 읽다보니 Broker가 있어야 한다네요 rabbitmq를 설치하라고 합니다.

설치합니다.

http://www.rabbitmq.com/

RabbitMQ를 이용하기 위해서는 erlang을 설치하라고 하네요 .... 올해 초 회사 동료가 공부하자고 해서 책도 사서 읽었던 얼랭이니 ... 설치에는 무리가 없죠 ㅎ

http://www.erlang.org/

역으로 얼랭을 설치하고 rabbitMQ를 설치 후 rabbitMQ에서의 예제인 "Hello world!!" 를 구성합니다.

언어는 파이썬으로 하고

http://www.rabbitmq.com/tutorials/tutorial-one-python.html

rabbitMQ Library인 pika를 이용하기로 합니다.

pika를 설치하는 방법이 여러가지 있다고 하는데 ... pip를 이용한다고 합니다.

예제를 하나 실행하는데도 여정이 깁니다.

https://pypi.python.org/pypi/setuptools

파이썬 링크를 들어가는것 보면 파이썬이 깔려 있어야 하는것 같습니다. 없으시면 파이썬 깔고오세요 ~~~

pip를 깔면 rabbitMQ Tutorial 에서 보이는 pika를 설치할수 있습니다. 현재의 싸이트는 이전 피카버젼을 명시하고 있으므로 피카의 버젼은 그냥 무시하시면 최신버젼이 깔리는것 같습니다.

자 이제 pika를 깔았으면

tutorial을 진행합니다.

내용자체가 tutorial만 보시더라도 알 수 있는 내용이므로 패스

단, 사실 저는 저 tutorial을 성공하기까지 정말 오랜 시간이 걸렸습니다. 아무리 서버를 올려도 에러메시지가 떨어지더라구요... 그래서 에러메시지를 분석한 결과 제가 호스트 네임 부분이 이상하게 들어가고 있다는것을 알았고 그 호스트 네임은 컴퓨터 이름을 이용한다는 사실도 알았습니다. 만일 당신의 컴퓨터이름이 한글이라면 당장 영어로 바꾸세요. 특수문자도 빼시는게 좋겠습니다.

그럼 rabbitMQ를 이용하여 no more faster~~

아 ... Celery 는 가지도 못했네요... 곧가겠죠 ㅎㅎ

kooderive 설치와 설정

존경해 마지 않는 Mark S. joshi 아저씨의 최근 역작인 kooderive 분석에 관한 얘기를 쓰겠다.

현재는 kooderive 0.3 버전까지 Release 되어있는 상태이고 이것은

https://www.google.co.kr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CBsQFjAA&url=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fkooderive%2F&ei=ZgufU7DtNcqF8gXY6ILYAw&usg=AFQjCNFw_G47cWqOgRGjPGEtaCxcYqYNkg&sig2=j1TzzBDwqdBjYlayn6Sgdg&bvm=bv.68911936,d.dGc

에서 확인, 다운로드가 가능하다.

현재 노트북에 있는 그래픽 카드는 GT 540M  이다. 쿠다의 버전은 6.0 toolkit을 쓸것이고 Visual Studio 2012 express for deskTop을 사용할것이다. 무슨 이유인지 Visual Studio 2012는 MS에서 버린 느낌이 들지만 .. joshi 아저씨가 택한 버전이라 .. 따르려고 한다.. 사실 컴터에 2010 버전과 2013 버전이 있지만 ... 둘다 작업을 하다가 실패 했다능...

이전엔 cuda를 깔기가 복잡했던것 같은데 이제는 여기에서 컴터에 맞는 버전을 가져다가 설치를 하면 알아서 visual studio 버전마다 필요한 요소들을 설치해준다. 5.5 버전이 나오기 전에는 좀 복잡하고 설정도 많이 해야 했던거 같은데 ... toolkit이 알아서 해준다. 사실 joshi 아저씨는 toolkit의 버전을 5.5라고 했지만 ... 내가 못찻았다... 그부분은 알아서 누군가가 찾는다면 링크좀 남겨주세요~~

그럼 적당히 준비가 다 된듯 하다.

1. GPU programming이 가능한 그래픽 카드
2. Cuda Toolkit 6.0
3. Visual Studio 2012
그리고
4. kooderive 0.3 release

Ten IPython essentials

1. 콘솔에서 IPython 구동하기

IPython이 제대로 설치 되었다면 shell 상에서 IPython 이라는 명령어를 통하여 sheel을 IPython interpreter 처럼 사용할수 있다.

2. IPython을 system shell처럼 사용한다.
IPython shell은 extended shell 로서 pwd, cd, ls 등의 명령어를 이용할 수 있다.
%lsmagic 명령어를 통하여 사용할 수 있는 모든 magic 명령어를 검색할 수 있다.

3. history를 이용하기
IPython은 command history 기능을 제공한다.

4. tap 자동완성
IPython에서는 Tap 키를 이용한 자동완성 기능을 제공한다. Tap키를 이용하여 제공할수 있는 것이 하나라면 자동으로 채워지지만 두개 이상이라면 Tap 키를 이용하여 자동완성을 할수 있는 리스트를 제공한다.

5. %run 명령어
%run 명령어를 통하여 ***.py 형식의 파이썬 스크립트 파일을 실행할수 있다.

6. %timeit
간단한 benchmark 를 위한 magic 명령어이다. 하나의 수행을 하는 경우 경과시간을 표시할수 있다. 하나의 수행을 여러번 반복적으로 수행하는 경우, 각시행의 경과시간과 평균시간을 구할수 있다.

7. %debug
IPython 에는 강력한 디버거가 존재한다. 콘솔상에서 예외처리가 일어나는 경우 어디든지 %debug 명령어를 통하면 모든 지역변수, stack trace back에 접근할수 있고 위아래를 u, d키를 이용하여 이용이 가능하며 q키를 이용하여 종료할수 있다.

8.Pylab
%Pylab magic을 이용하여 공학계산을 포용하고 있는 NumPy 와 matplotlib을 이용할 수 있다.

9. IPython notebook을 이용하기
Notebook은 IPython의 기능을 다행문자편집을 위한 브라우져에서 사용가능하게 한다. 이것은 세련되고 강력한 상호작용과 재생산을 위한 Python을 사용하기 위한 방법이다.

10. Customizing IPython
Python 파일에서 사용자가 선호하는 것을 당신은 저장할수 있다. 이 파일은 IPython profile 이라고 불리운다. 해당파일을 생성하기위해서는 ipython profile create 라고 쓴다. 만약 다른이름의 프로필 파일을 만들고 싶다면 ipython profile create profilename 이라고 쓴다. 그 프로필 파일을 이용하여 ipython을 launch 하고 싶다면 ipython --profile= profilename 이라고 쓴다.

python pakage website

1. IPython

http://ipython.org/

2. Numpy 다차원 배열에서의 고성능의 벡터연산을 위한 페키지

http://www.numpy.org/

3. Scipy 진보된 수치적 알고리즘

http://www.scipy.org/

3. Matplotlib

http://matplotlib.org/

4. Matplotlib-basemap mapping tool box for Matplotlib

http://matplotlib.org/basemap/

5. NetworkX

http://networkx.lanl.gov

6. Pandas

http://pandas.pydata.org

7. Python Imaging Library(PIL)

http://pythonware.com/products/pil

8. Cython

http://cython.org

IPython 설치하기

IPython 설치하기

http://ipython.org/install.html

IPython을 설치하는 방법은 다양합니다. 그리고  공식문서에서 고급사용자와 개발자를 대상으로 소스에서 수동설치하는 방법을 자세히 다루고 있습니다.

간단히 설치를 원하는 사용자를 위한 설명은 여기에서 하겟습니다. 이것들은 python 2.7을 기반으로 설정이 되어 있습니다. 이것은 notebook 과 과학적인 계산과 데이터 분석에 쓰이는 추가적인 기본 라이브러리모든 종속성을 모두 포함하고 있습니다.

Mac or Windows

1. Anaconda 혹은 무료 버젼인 Enthought Canopy

2. IPython Update 

Anaconda:

conda update conda
conda update ipython

Enthought Canopy:

enpkg ipython

Linux

리눅스에서는 우리가 원하는 모든것은 pakage managers 에 이미 있다.

1. IPython과 그의 종속적인 것들의 설치:

• 우분투 혹은 Debian기반의 리눅스 shell:

  sudo apt-get install ipython-notebook
  

• Fedora 18 :

  sudo yum install python-ipython-notebook
  

2. 과학적인 계산을 위한 추가 설치:

• 우분투 혹은 Debian기반의 리눅스 shell:

  sudo apt-get install python-matplotlib python-scipy \
                       python-pandas python-sympy python-nose
  

• Fedora 18:

  sudo yum install python-matplotlib scipy python-pandas sympy python-nose