카테고리 보관물: 잡담

jupyter ubuntu linux daemon으로 설정하기

Published / by greennuri

ubuntu에서 jupyter daemon으로 설정하기

다음과 같은 방식으로 서비스 설정 파일을 작성한다.

위치 : /etc/systemd/system/
파일명 : ipython-notebook.service

내용
Unit
type=simple
PIDFile=/var/run/ipython-notebook.pid
ExecStart=/usr/bin/ipython notebook –no-brower
User=ipynb
Group=ipynb
WorkingDirectory=/home/ipynb/notebooks

Install
WantedBy=multi-user.target

위의 설정 파일에서는 서비스를 돌리는 계정과 그룹을 ipynb로 정의 하고 있다. 그러므로 계정을 추가 해야 한다

useradd ipynb
su – ipynb
cd $IPYNB HOME ipynb로 계정 전환후 ipython 홈 디렉토리로 이동한다.
systemctl daemon-reload
systemctl enable ipython-notebook
systemctl start ipython-notebook

pyspark dataframe 관련함수 1

Published / by greennuri
  1. rdd -> dafaFrame 변환
    dataframe df = spark.createDataFrame(rdd,columns)
    columns : array of string
    ie
    rdd에 두개의 컬럼이있다고 치고
    dataFrame df = spark.createFataFrame(rdd,["key","value"])

  2. 기존 데이터 프레임 컬럼에 기존 컬럼 데이터로 새로운 컬럼 더하기
    df = df.withcolumn(new_column_name, function | column)
    ie. 기존 데이터 그대로 새로운 컬럼에 할당
    df = df.withcolumn("new_column", df["value"])
    ie. 기존 데이터에 “test” 문자열을 더해서 할당 하기
    df = df.withColumn("new_column", df["value"]+"test")
    ie. 기존의 데이터에 사용자 정의 함수 결과를 새로운 컬럼으로 추가 하기
    from pyspark.sql.functions import udf
    from pyspark.sql.types import *
    def plus_text(str):
    return str + "_test"
    udf1 = udf(plus_text, StringType())
    df = df.withColumn("col1", udf1("content"))

Published / by greennuri

Markdown test
writing with Markdown is quick and easy. And reading Markdown is just as nice!

  • It’s just plain text.
  • No need to use the mouse.

딥러닝 만드는 제작자들한테 부탁 하고 싶은것

Published / by greennuri
  1. 좀 쉽게 만들어줘~~~
    1. theano, tensorflow같은 그래프 구조 어렵다(허접이라 좀 어렵다)
  2. gpu 가속 기본으로 좀 넣어줘라
    1. gensim 니네들은 뭔데 gpu가속 안 하냐…
  3. 분산 컴퓨팅이랑 통합 좀 해줘
    1. 데이타 크면 컴퓨터 하나를 몇시간을 켜야 하는데… 허접한 컴이라도 몇대 있음 분산 병렬 처리로 좀 되게 해줘…

쉽게 이야기 하면, keras 같은 모듈 방식에 spark위에서 멀티로 돌려도

알아서 처리 되는, 그리고 gpu도 기본으로 사용하는 라이브러리 좀…