データ解析
ImageMagickで簡単にgifアニメをつくる。ImageMagickは非常に便利な 画像処理ソフト。 まず、元の絵 xxxx1.png xxxx2.png xxxx3.png を用意する。 それらを一つのフォルダにまとめる。そのフォルダで、次のコマンドを打つ。 convert -delay 500 *.png test.g…
http://d.hatena.ne.jp/Imura/20071025
openmpiで並列化。 一番最初に書くべきプログラム。 自分のランクを出力する プログラム。> 1)コンパイル mpicc test.c -o test.out2)実行 3ノード並列で実行 mpirun -np 3 test.out5ノード並列で実行 mpirun -np 5 test.outNノード並列で実行 mpirun -np N…
Rで対数のCDFで改訂版 wakuloglog110<-function(){ alpha123<-par("plt") alpha123b<-alpha123 alpha123b[1]<-0.2 par(plt=alpha123b) alpha123 } wakuloglog210<-function(minx,maxx,miny,maxy){ minminx<-as.integer(log(max(c(minx,min(axTicks(1)))),10)…
rubyで一行で2列目のヒストグラムを書く? cut + rubyをつかう。 cut -d"," -f2 InputFile.txt | ruby -e 'require "GSL"; d=[];STDIN.each{|i|d<
べき分布の指数の推定関数 powerFit<-function(x){ D<-0 P<-0 alpha123<-0 N123<-100 xminmin<-0 xminb<-0 kazu<-0; Dp<-function(x){ i<-1:100 2*sum(((-1)^(i-1))*exp(-2*i*i*x*x)) } h1b<-x ALPHA<-0 XMIN<-0 PVALE<-0 i<-1 xminxmin<-exp(seq(min(log(h1…
rubyでの安定分布乱数の発生法これだけででるのか?? でるとしたら、ものすごく楽。 http://rb-gsl.rubyforge.org/randist.html 最低限 require 'rubygems' require 'narray' require 'gsl' #乱数の初期化 #メルセンヌツイスタ、種は0 rng=GSL::Rng.alloc #…
参考 http://rb-gsl.rubyforge.org/ref.htmlとても便利そう。要約統計量の計算 require 'rubygems' require 'narray' require 'gsl' #ベクトル型 v=GSL::Vector[1..6] v[2]=10 puts v #平均 puts v.mean #分散 puts v.sd #最大値 puts v.max #最小値 puts v.…
xlhtml
pythonとRのインターフェース http://rpy.sourceforge.net/rpy.html http://pd.ba.isenshu-u.ac.jp/minato/ruby4.htm http://www.otacky.jp/python.html
この記事は間違っています!!!!理由、 gnuplotでは、 igamma関数は wikiで定義されているような不完全ガンマ関数ではないからです。 igammaはガンマ分布の 密度関数です。 平均meanのポアソン分布の累積分布関数(CDF)のgnuplotでの表現。 igamma(floor(x+…
1. awk 2. sed 3. gnuplot 4. ruby 5. perl 6. octave 7. ImageMagick 8. gimp 9. vim 10. X関係 11. w3m setup.exeからはインストール できないが、日本語を扱う場合は、 nkf もかなり重要。
コロモゴロフ検定 ruby 実装 改訂版 include Math #べき分布の分布関数 def f(x=2,alpha=1,xmin=1) z=1-(xmin**alpha)/(x**alpha) return z end#正規分布の分布関数def f2(x,mean=1,sd=1) 0.5*(1.0+erf*1*exp(-2.0*j*j*x*x); } return sum; end sortData=dat…
csvファイル出力にはArrayクラスのjoinが便利。join("区切り")で区切り文字で配列 を結合した文字列を出力。 カンマ区切りなら join(",") でOK awkのOFSに対応できる。 a="test1"; b="test2"; c="test3";puts [a,b,c].join(",") 出力 test1,test2,test3
コロモゴロフ-スミルノフ検定のrubyでの実装。 基本的に昔書いたコロモゴロフ検定のR版 http://d.hatena.ne.jp/arupaka-_-arupaka/20090819/1250660276 のrubyへの翻訳。 検定する分布はべき分布 今回は、rubyのNArray(数値計算用配列) を利用する。そのた…
べき分布の最尤推定量(Hill estimator)の漸近正規性の確認するRのコード。下記のことをシミュレーション で確認。 参考)昔書いたもの べき分布 の指数の最尤推定量 (Hill estimator) たぶん、こんな感じ。最尤推定量は漸近正規性をもつ。 その標準偏差は、…
べき分布フィッティングの自動化。べき指数の推定のKS testと最尤法を使う方法はかなり使える。 コードは、最後のフィッティングの補正の箇所。 h1d=1 & b1b==code]plot(sort(h1d),length(h1d):1/length(h1d),log="xy",type="l") alphaxminh1e=xmin & b1b==c…
Rでコロモゴロフ-スミルノフ検定 (Kolmogrov-Smirnov test)の実装する。 比較対象がべき分布fの場合 組み込み関数ks.testを使うと #べき分布乱数の発生 h1c#べき分布の確率関数の定義 alpha xminf 1-xmin^alpha/(x)^(alpha) }test#表示 test test$statistic …
sort並び替えの応用編2列目でまず並び替え3列目を数字で逆順に並び替える。gオプション、またはnオプション数字並び替え。rオプション、逆順に並び替え。 sort -k2,2 -k3,3gr [Filename]
tmp1 1 a 2 b 3 c 4 dtmp2 1 x 2 y 2 z 3 z 3 y 4 xout.txt 1 x a 2 y b 2 z b 3 z c 3 y c 4 x dを一列目のkeyで上のように併合する。 awk '{print $0,"a"}' tmp1 > tmp1b awk '{print $0,"b"}' tmp2 > tmp2bcat tmp1b tmp2b > tmp3 sort -k -k1.1n -k3 tmp…
rubyのStringクラスのsplit関数 (String#splitを書くそうだ..。) セパレートした文字列を区切る関数カンマ区切りでは a="1,2,3,4,5" b=a.split(/\s*,\s*/) puts b[3] 関数内の正規表現の部分は、\sが空白文字。[ \t\n\r\f] と同じ。 「コメジルシ」が0回以上…
uniqは共通する要素数を数えられて 便利。uniqは連続する共通する一行を まとめるコマンド。共通する行の数を数えることもできる。データを並び替えた後 uniq -c をすれば共通する要素の数を 数えてくれる。一列のデータの場合は次のコマンド でOK sort [fil…
一列目の共通する要素数を数える awk。 awk '{a[$1]=a[$1]+1}END{for(i in a){print i,a[i];}}' netkane.csv 同じようなことは、 sort notkane.csv | uniq -c でもできる。
awkでヒストグラム暫定版。 まだこれではうまくいきません。awk '{i=int(log($2)/0.2); a[i]=a[i]+1;}END{for(i in a){print 0.1*i,a[i]}}' hi .txt > tmp
bshでは、whileループで一行づつファイルを 読み込みながら処理できる。 書式while read LINE do処理 [例:echo $LINE]done 実際の実装: while read LINE do str=`echo $LINE | awk '{print $1}'` str2=`echo $LINE | awk '{print $2}'` kigyoumei=`grep $st…
sortは大切。 kオプションは列指定 sort -k2 [Filename]Filenameで指定するファイルの2列目で並び替え。ちなみに列の区切りの記号を変えるのは tオプション sort -t"," [Filename] でカンマ区切りに対応。注) cutは-d","で区切りを変える。 sortとは違うの…