データ解析

一行でgifアニメをつくる。

ImageMagickで簡単にgifアニメをつくる。ImageMagickは非常に便利な 画像処理ソフト。 まず、元の絵 xxxx1.png xxxx2.png xxxx3.png を用意する。 それらを一つのフォルダにまとめる。そのフォルダで、次のコマンドを打つ。 convert -delay 500 *.png test.g…

 ネットワーク分析ツール

http://d.hatena.ne.jp/Imura/20071025

 並列化入門

openmpiで並列化。 一番最初に書くべきプログラム。 自分のランクを出力する プログラム。> 1)コンパイル mpicc test.c -o test.out2)実行 3ノード並列で実行 mpirun -np 3 test.out5ノード並列で実行 mpirun -np 5 test.outNノード並列で実行 mpirun -np N…

Rで対数のCDFで改訂版

Rで対数のCDFで改訂版 wakuloglog110<-function(){ alpha123<-par("plt") alpha123b<-alpha123 alpha123b[1]<-0.2 par(plt=alpha123b) alpha123 } wakuloglog210<-function(minx,maxx,miny,maxy){ minminx<-as.integer(log(max(c(minx,min(axTicks(1)))),10)…

 rubyで一行でヒストグラムを書く。

rubyで一行で2列目のヒストグラムを書く? cut + rubyをつかう。 cut -d"," -f2 InputFile.txt | ruby -e 'require "GSL"; d=[];STDIN.each{|i|d<

 べき分布の指数の推定関数

べき分布の指数の推定関数 powerFit<-function(x){ D<-0 P<-0 alpha123<-0 N123<-100 xminmin<-0 xminb<-0 kazu<-0; Dp<-function(x){ i<-1:100 2*sum(((-1)^(i-1))*exp(-2*i*i*x*x)) } h1b<-x ALPHA<-0 XMIN<-0 PVALE<-0 i<-1 xminxmin<-exp(seq(min(log(h1…

 rubyで安定分布乱数の発生法

rubyでの安定分布乱数の発生法これだけででるのか?? でるとしたら、ものすごく楽。 http://rb-gsl.rubyforge.org/randist.html 最低限 require 'rubygems' require 'narray' require 'gsl' #乱数の初期化 #メルセンヌツイスタ、種は0 rng=GSL::Rng.alloc #…

GSLとrubyで統計計算 (要約等計量とヒストグラム)

参考 http://rb-gsl.rubyforge.org/ref.htmlとても便利そう。要約統計量の計算 require 'rubygems' require 'narray' require 'gsl' #ベクトル型 v=GSL::Vector[1..6] v[2]=10 puts v #平均 puts v.mean #分散 puts v.sd #最大値 puts v.max #最小値 puts v.…

エクセルファイルをxmlやcsvに

xlhtml

pythonとRのインターフェース

pythonとRのインターフェース http://rpy.sourceforge.net/rpy.html http://pd.ba.isenshu-u.ac.jp/minato/ruby4.htm http://www.otacky.jp/python.html

ポアソン分布の累積分布関数(CDF)

この記事は間違っています!!!!理由、 gnuplotでは、 igamma関数は wikiで定義されているような不完全ガンマ関数ではないからです。 igammaはガンマ分布の 密度関数です。 平均meanのポアソン分布の累積分布関数(CDF)のgnuplotでの表現。 igamma(floor(x+…

cygwinでデータ解析する場合入れておくとよいソフト

1. awk 2. sed 3. gnuplot 4. ruby 5. perl 6. octave 7. ImageMagick 8. gimp 9. vim 10. X関係 11. w3m setup.exeからはインストール できないが、日本語を扱う場合は、 nkf もかなり重要。

 コロモゴロフ-スミルノフ検定 ruby 実装 改訂版

コロモゴロフ検定 ruby 実装 改訂版 include Math #べき分布の分布関数 def f(x=2,alpha=1,xmin=1) z=1-(xmin**alpha)/(x**alpha) return z end#正規分布の分布関数def f2(x,mean=1,sd=1) 0.5*(1.0+erf*1*exp(-2.0*j*j*x*x); } return sum; end sortData=dat…

ruby:csv出力に便利な配列クラスのjoinメソッド

csvファイル出力にはArrayクラスのjoinが便利。join("区切り")で区切り文字で配列 を結合した文字列を出力。 カンマ区切りなら join(",") でOK awkのOFSに対応できる。 a="test1"; b="test2"; c="test3";puts [a,b,c].join(",") 出力 test1,test2,test3

コルモゴロフ-スミルノフ検定の実装 (ruby版)

コロモゴロフ-スミルノフ検定のrubyでの実装。 基本的に昔書いたコロモゴロフ検定のR版 http://d.hatena.ne.jp/arupaka-_-arupaka/20090819/1250660276 のrubyへの翻訳。 検定する分布はべき分布 今回は、rubyのNArray(数値計算用配列) を利用する。そのた…

べき分布の最尤推定量の漸近正規性。

べき分布の最尤推定量(Hill estimator)の漸近正規性の確認するRのコード。下記のことをシミュレーション で確認。 参考)昔書いたもの べき分布 の指数の最尤推定量 (Hill estimator) たぶん、こんな感じ。最尤推定量は漸近正規性をもつ。 その標準偏差は、…

べき分布フィッティングの自動化

べき分布フィッティングの自動化。べき指数の推定のKS testと最尤法を使う方法はかなり使える。 コードは、最後のフィッティングの補正の箇所。 h1d=1 & b1b==code]plot(sort(h1d),length(h1d):1/length(h1d),log="xy",type="l") alphaxminh1e=xmin & b1b==c…

コロモゴロフ-スミルノフ検定の実装 (R版)

Rでコロモゴロフ-スミルノフ検定 (Kolmogrov-Smirnov test)の実装する。 比較対象がべき分布fの場合 組み込み関数ks.testを使うと #べき分布乱数の発生 h1c#べき分布の確率関数の定義 alpha xminf 1-xmin^alpha/(x)^(alpha) }test#表示 test test$statistic …

sortコマンド応用編:複数の列を優先的に並び替え。逆順並び替え。

sort並び替えの応用編2列目でまず並び替え3列目を数字で逆順に並び替える。gオプション、またはnオプション数字並び替え。rオプション、逆順に並び替え。 sort -k2,2 -k3,3gr [Filename]

ソートによるファイルの併合

tmp1 1 a 2 b 3 c 4 dtmp2 1 x 2 y 2 z 3 z 3 y 4 xout.txt 1 x a 2 y b 2 z b 3 z c 3 y c 4 x dを一列目のkeyで上のように併合する。 awk '{print $0,"a"}' tmp1 > tmp1b awk '{print $0,"b"}' tmp2 > tmp2bcat tmp1b tmp2b > tmp3 sort -k -k1.1n -k3 tmp…

split関数

rubyのStringクラスのsplit関数 (String#splitを書くそうだ..。) セパレートした文字列を区切る関数カンマ区切りでは a="1,2,3,4,5" b=a.split(/\s*,\s*/) puts b[3] 関数内の正規表現の部分は、\sが空白文字。[ \t\n\r\f] と同じ。 「コメジルシ」が0回以上…

uniqで共通する要素の数を数える。

uniqは共通する要素数を数えられて 便利。uniqは連続する共通する一行を まとめるコマンド。共通する行の数を数えることもできる。データを並び替えた後 uniq -c をすれば共通する要素の数を 数えてくれる。一列のデータの場合は次のコマンド でOK sort [fil…

一列目が共通する要素の数を数えるawkスクリプト

一列目の共通する要素数を数える awk。 awk '{a[$1]=a[$1]+1}END{for(i in a){print i,a[i];}}' netkane.csv 同じようなことは、 sort notkane.csv | uniq -c でもできる。

awkでヒストグラム暫定版

awkでヒストグラム暫定版。 まだこれではうまくいきません。awk '{i=int(log($2)/0.2); a[i]=a[i]+1;}END{for(i in a){print 0.1*i,a[i]}}' hi .txt > tmp

Bsh:whlieループでファイルを読み込む

bshでは、whileループで一行づつファイルを 読み込みながら処理できる。 書式while read LINE do処理 [例:echo $LINE]done 実際の実装: while read LINE do str=`echo $LINE | awk '{print $1}'` str2=`echo $LINE | awk '{print $2}'` kigyoumei=`grep $st…

unixのsortコマンドでの列指定: k オプション

sortは大切。 kオプションは列指定 sort -k2 [Filename]Filenameで指定するファイルの2列目で並び替え。ちなみに列の区切りの記号を変えるのは tオプション sort -t"," [Filename] でカンマ区切りに対応。注) cutは-d","で区切りを変える。 sortとは違うの…