curl -XGET "http://dss11r:9200/docs_blog_v4_s30_201501/_search?pretty=true" -d' { "from": 0, "size": 100000000, "fields": ["author","article_date"], "query": { "filtered": { "query": { "bool": { "must": [ { "match_phrase": { "body": "お茶…

mecab-neologdのcygwinへのインストール cygwinではsudo がないのでコケル以下の通り http://kivantium.hateblo.jp/entry/2015/03/15/175612 を参考に git clone https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadic-neologd git pull ./b…

シェルスクリプトでお手軽な文書の形態素解析test.csv 日付[TAB]xxx[TAB]xxx[TAB]xxx[TAB]xxx[TAB]xxx[TAB]xxx[TAB]文書[TAB]xxxx while read i; do str=`echo "$i" | awk -F"\t" '{print $7}' | mecab -Owakati` date1=`echo "$i" | awk -F"\t" '{print $1}…

http://qiita.com/ynakase/items/e91da987a7b066cada28easy_install: easy_install googlecl

Rで移動平均はrollapply関数をつかつよい。

検索条件をした1ディレクトリ下の1列目と3列目とりだしたファイルを作るワンライナー find .. -name "*_s.csv" -and -not -name "*_name_s.csv" -printf "%f\n" | xargs -I% sh -c 'A=%;cut -d"," -f1,3 ../$A > $A'

Cent OS 5.10 にRのforecast パッケージをインストールポイントは以下の通り。 （１）Ｒが古いとだめなので、Rを最新版にアップデート （２）gccがver4.11 で古いので、gcc44 やg++44を使う。 （３）gcc44では、最新版のRcppArmadillo は使えないので、ver4.…

以下のリンクがまとまっているので、以下のリンクにとんでください。 http://d.hatena.ne.jp/arupaka-_-arupaka/20151109/1447040736以下はメモCent OS 5.10 にRのforecast パッケージをインストール Cent OSのバージョンが古いので注意が必要。 （１）Ｒの…

エラスティックサーチの検索クエリの例 not 検索 { "size": 0, "query": { "filtered": { "query": { "bool": { "must": [ { "match": { "body": "ラーメン" } }, { "range": { "size": { "lt": 3 } } } ], "must_not": [ { "match_phrase": { ​ "body…

HoltsWinters法 ff2<-ts(ff[!is.na(ff)],frequency=12,start=c(2006,11)) hol<-HoltsWinter(ff2) plot(c(ff2,predict(hol,6))) points(c(ff2),col=2)

エラスティックサーチの検索結果をCSVにかえるワンライナー ruby -r "json" -ne 'v=JSON.load($_);print v["hits"]["hits"][0]["_source"].values.map{|j| j.gsub("\n","\\n")}.join(",");' _search; 複数検索結果が返ってくる場合。 ruby -r "json" -ne 'v=…

まず、wikipediaのタイトルとハテナワードをゲット： wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz wget http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv 次に，辞書用CSVファイルに変換 例えば、 ht…

Rで刈込み移動平均を計算する． zooパッケージの移動関数適応関数rollapplyを利用する． #刈込なし library(zoo) v<-rep(1,1000)+rnorm(1000) v[c(10,200,500,700)]<-10^5; x<-(rollapply(zoo(v),50,mean)); v2<-rep(NA,length(v)) v2[index(x)]<-x plot(v2)…

段組みの図に１列と２列をまぜる。こんな感じ - FF FF F - \begin{figure} \begin{tabular}{cc} \begin{minipage}[t]{0.5\hsize} \includegraphics[width=4cm]{PDF_412.eps} \end{minipage} \begin{minipage}[t]{0.5\hsize} \includegraphics[width=4cm]{PDF…

環境変数の設定 export DISTPLAY=:0.0 startXwin xtermを起動させておくことがポイント xterm & リモート minty（普通の）ターミナルで、これで絵がでるようになる ssh -Y xxxx.xxxx.xxx

８文字の例 str0="アイウエオカキクケコサシスセソタチツテノナニヌネノハヒフヘホマミムメモヤユヨワヲン" str0.chomp.split("").sample(8).join()

Rで時系列の一番数値が大きい月を計算 データ例 data<-seq(3,10,length.out=365) data<-rep(data,8) data<-seq(2,10,length.out=length(data))*data 月別集計：３６５日の移動平均でトレンドを殺してる． v3<-v/filter(v,rep(1,365)) v4<-tapply(v3[!is.na(v…

gitの使いかた初期設定 git config --global user.name 名前 [h.watanabe@food program]$ git config --global user.email Eメール ディレクトリを登録 mkidir test cd test git init ファイルを作成 test.txt 状態を確認 1689 git status インデックスに登…

rubyで数値計算を行うためにrb-gslを導入する． 古い記事 http://d.hatena.ne.jp/arupaka-_-arupaka/20091024/1256391373 では情報が古くなったので、更新．(1)gslのソースをとってくる->インストール 1064 cd 1065 wget http://mirror.jre655.com/GNU/gsl/g…

density4<-function(z1,v=seq(-10,10,length.out=120),base_dx=0.04,min_count=3,smooth=TRUE){ #v<-sample(unique(z1),100) #v<-seq(-10,10,length.out=120) #base_dx<-0.04 count<-NULL dx_b<-NULL cou_c<-min_count cou_b<-NULL for(i in 1:length(v)){ j2…

Rのtapplyで各曜日ごとの平均を調べる tapply(ts1,rep(1:7,length.out=length(ts1)),"mean") 簡易的な週ごとの平均結果 1 2 3 4 5 6 7 174.1370 173.4612 162.5548 138.6849 144.5091 165.8032 172.0847

例えばラベルごとの平均を求める． label<-c(1,3,2,3,2,1,1,2,3) data<-c(23,13,43,52,32,21,0,21,51) f1<-tapply(v1,v0,mean) f1 plot(names(f1),f1) 出力 1 2 3 14.66667 32.00000 38.66667

$ curl -i http://ebisufan.com/news/wp-content/uploads/2013/03/tanuki019.jpg | ruby -ne 'BEGIN{v=1;f=open("tmp5","w");f2=open("tmp6.jpg","w");};if v==1; then f.print $_; if $_.chomp! =~ /^$/ then;v=0; end; else f2.print $_ end;'

ggplot2で両対数グラフ その３． いくつかの系列をプロット d<-data.frame(rr_rd_mean_0[[1]],rr_rd_sd[[1]],rr_rd_mean_0[[42]],rr_rd_sd[[42]],rr_rd_mean_0[[79]],rr_rd_sd[[79]]) colnames(d)<-c("x1","y1","x2","y2","x3","y3") g<-ggplot(data=d)+them…

プログラム require 'Mecab' m=MeCab::Tagger.new("-Owakati -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd") print m.parse("ちょい飲み")

プログラム 参考： http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.normalize.html $ cat normal_test.py from scipy.sparse import lil_matrix, csr_matrix from sklearn.preprocessing import normalize a=lil_matrix((20000,20…

ファイル１の１列目に存在しないファイル２の列を出力するスクリプト． joinでできるかも。。diff的になもの $ cat diff_1.rb require 'optparse' require 'set' option={} opt=OptionParser.new opt.on('-b VAL'){|v| option[:b]=v} opt.on('-n VAL'){|v| o…

rubyでコマンドオプションを受け取る optparse 基本 VALは受け取る変数．なんでもよい． opt.on('-o VAL') -oオプションで変数を受け取る場合VALはvalでもhogehogeｄめお文字列ならOK. 引数なしは認めない opt.on('-o') だと引数をうけとらず true or false …

scikit-learnのcygwin、windows8への導入 昔は難しかったみたいだけど、今は簡単になったのかも。 (1)cygwinのsetup.exe等でnumpy,python,easy_install、gcc, gcc-fortran など必要そうなものをいれておく． (2) easy_install pip (3) pip install scipy (4)…

◆ワンライナー シェル芸 input.csv: タブ区切りのテーブル cat input.csv | ruby -F"\t" -ane 'BEGIN{puts "<table>"}; puts "<tr>";print $F.map{|i| "<td>"+i.to_s+"</td>"}.join("");puts "</tr>";END{puts "</table>"}' > tmp1.html ◆可視化 入力ファイル tmp2 例： A,2013-01-01,3,4,5,6,…