日本の全上場企業名一覧？をcsvで取得（重複あり）。 http://www.jpubb.com/様を利用させていただいています。 get.rb require 'rubygems' require 'hpricot' require 'mechanize' require 'kconv' require 'uri' $KCODE="u" #exit(); str3="http://www.jpub…

.:クラス名 not それ以外に puts (j.search("*:not(.nextprev)"));

nextprevを含まない要素を検索

nextprevを含まない要素を検索

Hpricotでタイトルダグが"title=Last Page"で終わるリンクの取得 ポイントは[]のセレクタの前に「@」をつけること。 str3="http://www.jpubb.com/list/list.php?se="+market+"&pageID="+"1" tmp=agent.get(str3).body doc=Hpricot(tmp); j=((doc/"a[@title$=…

rubyで日経一部上場企業の一覧を取得する。 http://www.jpubb.com/ さまにアクセスさせていただいています。 require 'rubygems' require 'hpricot' require 'mechanize' require 'kconv' require 'uri' $KCODE="u" str3="http://www.jpubb.com/list/list.ph…

ruby mechanize クローラのサンプル require "rubygems" require "mechanize" require "hpricot" require "kconv" require "uri" #require "timeout" #require "resolv" #require "resolv-replace" $KCODE="u" URL2="http://finance.nifty.com/cs/theme/lst/…

sedでTESTが含まれる行以降を表示 sed -ne '/TEST/,$p' Noun.sh

http://www.pistolfly.jp/weblog/2011/06/open-uritimeout.html Time out時間を１秒に設定。 １秒たって接続できなければあきらめる。 require "rubygems" require "mechanize" require "hpricot" require "kconv" require "uri" #require "timeout" require…

yahoo検索で検索数を表示するスクリプト 検索word: "test" require "rubygems" require "mechanize" require "hpricot" require "kconv" require "uri" $KCODE="u" #tmp123="http://www.aeon.info/" #text="link:"+tmp123; text="test" search=URI.encode(te…

http://weboook.blog22.fc2.com/blog-entry-268.html

require "rubygems" require "mechanize" require "hpricot" require "kconv" require "uri" $KCODE="u" #text="\"http://ntt.co.jp\"" #text="\"a href=\"http://www.toyota.co.jp/\"" #text="link: www.ntt.co.jp -site: ntt.co.jp site: jp" #text="link:…

CSSセレクタ http://weboook.blog22.fc2.com/blog-entry-268.html Hpricot http://route477.net/rubyscraping/?Hpricot%2FShowcase HpricotとCSSセレクタ http://route477.net/d/?date=20070205 require "rubygems" require "mechanize" require "hpricot" r…

rubyでページのURL一覧を取得 例：ヤフーの長野県の検索結果のリンク require "rubygems" require "mechanize" require "hpricot" require "kconv" require "uri" $KCODE="u" text="長野県" search=URI.encode(text.toutf8) URL="http://search.yahoo.co.jp/…

library(nnet) x1<-plus_minas(USDJPY2011[,2]) x1[x1==-1]<-0 lag<-6 #x0b<-x1[1:(length(x1)-8)] x1b<-x1[1:(length(x1)-lag)] x2b<-x1[2:(length(x1)-lag+1)] x3b<-x1[3:(length(x1)-lag+2)] x4b<-x1[4:(length(x1)-lag+3)] x5b<-x1[5:(length(x1)-lag+4)…

ラグモデル fを任意の関数に。 lag_model<-function(tmax=100,lag=1,f=mean){ x<-0 tmp<-unif(lag+1) for(i in 1:tmax){ x[i+1]<-eval(f)(tmp) tmp<-c(tmp[2:length(tmp)],x[i+1]) } }

Rで関数を変数のように扱って実行 a<-sum; eval(a)(1:100); a<-sd; eval(a)(1:100) 参考 http://d.hatena.ne.jp/tsutatsutatsuta/20120114/1326542583

Rでbox平均。 corcor2<-0 sdsdsd2<-0 IQRIQR3<-0 lenlen3<-0 sdsdsd3<-0 meanmean3<-0 jjj<-flow_volume for(i in 1:length(filelist)){ try(ll<-mat_volume[,i]) try(corcor2[i]<-cor(ll,jjj,use="complete.obs")) try(sdsdsd2[i]<-sd(ll/jjj,na.rm=T)) ll2…

distribution_of_runs a123bvector(kkkb,c(1,-1)) b123bvector(kkkb,c(-1,1)) z diff(z) }

]sedで正規表現で指定したパタン数行削除； コマンドであるパターン以降の数行を削除例 以下のtest.txtのxxxから２行後ろまで削除 test.txt abc xxx efd xyz cfd mmm sed "/xxx/,+2d" test.txt 出力例 abc cfd mmm

サイトスケープでノードのサイズ（大きさ）をファイルで指定する． 参考にさせていただいたブログ http://wiki.livedoor.jp/bioinformatics/d/Cytoscape/Tutorials/Introduction_to_Cytoscape （１）ネットワークを作る（このブログの昔の記事参照）． （２…

色々な計算：最大の連，符号の反転など prob<-0 kkkk<-0 prob<-0 length1<-0 pvalue<-0 pp<-0 pp2<-0 pp3<-0 #7 for(i in 1:(2^7)){ digit<-7 prob123<-vector_prob((kkkb),decbin(i,digit=digit)) kkkk[i]<-paste(decbin(i,digit=digit),collapse=" ") leng…

連とは， 連続する+ or –の組． 例) +-+-+-+++--+++++-++- 右から+,-,+,-,+,-,+++,--,+++++,-,++,- の１２個の連 連検定とは， （１）連検定 連の数が無作為と比べて異なるか をしらべる検定．（分布の検定にも使える） 無作為なら連の数の分布は, 平均と分…

Rでベクトル内のの連続するパタンの出現する位置を検索. 入力例： #ベクトル x #パタン patan 出力例: macthing_vector(x,patan) [1] 3 4 8 プログラム x<-c(1,2,3,3,3,3,2,3,3,3) patan<-c(3,3,3) macthing_vector<-function(x,patan){ patan_length<-lengt…

http://www.wine-reviews.net/wine-reviews/applications/how-to-install-microsoft-office-2010-on-linux-with-wine.html

http://d.hatena.ne.jp/kita_yuta/20100615/1276606183

Linux(ubuntu)でigorProを使いたい． そこで，wine(linux上でwindowsソフトを走らせられるソフト) を利用してigorを使う． (1)unbuntu をアップロード (2)apt-get install wine (3)CD-ROMを表示してigorProのseup.exe をクリック (4)igor起動後標準フォント…

連続する２つの値をシャッフル 入力例 c(1,2,3,4,5) 出力例 > local_shuffle(c(1,2,3,4,5)) [1] 1 2 4 3 5 > local_shuffle(c(1,2,3,4,5)) [1] 1 2 3 4 5 > local_shuffle(c(1,2,3,4,5)) [1] 2 1 3 4 5 > local_shuffle(c(1,2,3,4,5)) [1] 2 1 4 3 5 > local…

Rで２つを1組ごとにシャッフル. 入力例:(1,2),(3,4),(5)の並びは保存したままシャッフル c(1,2,3,4,5) 出力例 > pare_shuffle(c(1,2,3,4,5,6)) [1] 1 2 5 6 3 4 > pare_shuffle(c(1,2,3,4,5,6)) [1] 5 6 3 4 1 2 > pare_shuffle(c(1,2,3,4,5,6)) [1] 3 4 1 2…

R: 分時データの欠損値をNAで埋める関数．入力例 date_123=c("2012-5-01","2012-5-02","2012-5-02","2012-5-02") time_123=c("23:59:00","00:00:00","00:02:00","00:03:00") value=c(1,2,3,5) 出力例（左から, UNIXTIME, 値，日付，時間，UNIXTIME） time1 v…