https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

まず、setup.exeで python3-pip や python2-pipをインストールしておく pip で最初は失敗したが、rebaseallでできるようになった。 pip3 install --upgrade pip python3 -m pip install pandas

pythonでEXCELファイルを操作 http://www.lisz-works.com/entry/openpyxl-basic を参考に インストール pip install openpyxl 新しいファイルを開いてセルA1にhelloと書いて閉じる import openpyxl as px #openFile wb=px.Workbook() #Making sheet ws=wb.cr…

（１）python を導入 参考：https://qiita.com/yuta_h3/items/2988c4d0811bf8c344c0 git clone git://github.com/yyuu/pyenv.git ~/.pyenv ~/.bash_profile に以下を書きこむ export PYENV_ROOT="${HOME}/.pyenv" if [ -d "${PYENV_ROOT}" ]; then export PA…

pandas pythonでデータをグループわけして記述統計を調べて外部ファイルでソートして出力するワンライナー 並び順の指定なし 入力 python -c "import pandas as pd;df2=pd.read_csv('a3.txt',names=['st','fee']);print df2.groupby('st').describe().unstac…

２つのファイルを併合するワンライナー（pandas利用） python -c "import pandas as pd;df=pd.read_csv('a1.txt',names=['id','st']);df2=pd.read_csv('a2.txt',names=['st','count']);print pd.merge(df,df2,on='st');" 入力 $ cat a1.txt 1,タヌキ 2,キツ…

groupbyを使う. ２列目を４列目で場合ごとに平均 ll0=df2,4.groupby(4).mean()$ #そのほか ll1=df6,4.groupby(4).mean()$ ll1=df6,4.groupby(4).median()$ ll1=df6,4.groupby(4).describe()$ 参考： pandasにsqlでよくやる処理をやらせてみる http://www.mws…

pandasで３列目の同じ値のものをカウントしてマージ $ cat count_station.py import pandas as pd import glob l1=glob.glob('./uniq_data*') (l1) #print l1 start=True for i in l1: i.strip() try: df=pd.read_csv(i,header=None) q1=df[4].value_counts(…

離散化、ビンに切って、ビニングして、カテゴリごとに集計 xはデータフレーム x[0]で１列目をとりだしている． qcutはデータ数をあわせる分割, cutは均等割り． x[0]として、pd.Seres化することに注意 x0だと、DataFrame。 cats=pd.qcut(x[0],30) print cats…

pandasでInfとnanを平均で埋める． In [416]: b Out[416]: a c 0 1.000000 3 1 2.000000 4 2 3.000000 NaN 3 inf 5 In [415]: b.replace(np.inf,np.nan).fillna(b.replace(np.inf,np.nan).mean()) Out[415]: a c 0 1 3 1 2 4 2 3 4 3 2 5

インストール pip install sympy例： sympyで数列の和を計算して，因数分解 コード calc.py from sympy import * i,N=symbols('i N',integer=True) a=summation(i**2,(i,1,N)) print a b=factor(a) print b 実行 $ python calc.py 出力 N**3/3 + N**2/2 + N/…

（１）とりあえずのリンク抽出 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ from bs4 import BeautifulSoup soup=BeautifulSoup(open("index.html")) #title print(soup.title.string) v=(soup.find_all('a')) for i in v: print(i['href']) （…

プログラム 参考： http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.normalize.html $ cat normal_test.py from scipy.sparse import lil_matrix, csr_matrix from sklearn.preprocessing import normalize a=lil_matrix((20000,20…

scikit-learnのcygwin、windows8への導入 昔は難しかったみたいだけど、今は簡単になったのかも。 (1)cygwinのsetup.exe等でnumpy,python,easy_install、gcc, gcc-fortran など必要そうなものをいれておく． (2) easy_install pip (3) pip install scipy (4)…

curl -O https://mecab.googlecode.com/files/mecab-python-0.98.tar.gz gzip -d mecab-python-0.98.tar.gz tar -xvf mecab-python-0.98.tar.gz

有向きコンフィグレーションモデル import networkx as nx import random as ran #in1=[3,3,3,3,3] #out1=[3,3,3,3,3] def f(x): return int(ran.random()**(-1.0/3.0)) in1=map(f,range(10000)); out1=[] out1[:]=in1[:]; G=nx.directed_configuration_mode…

無向グラフからループの取り出し import networkx as nx G=nx.read_edgelist("test.net",create_using=nx.Graph()) j=nx.cycle_basis(G,'1') print j test.net 1 2 2 3 3 1 1 5 5 4 4 1 1 6

python で有向ネットワークの三角形の取り出し。test.net 1 2 2 3 3 1 1 5 5 1 import networkx as nx G=nx.read_edgelist("test.net",create_using=nx.DiGraph()); for i in G.nodes(): outs=G.successors(i); ins=G.predecessors(i); for j in outs: for k…

pythonの辞書型（連想配列、ハッシュ型）イテレータのまとめ。 a[キー]=バリュー。 キーでイテレート a={} a["a"]=1; a["c"]=2; for i in a.keys(): print i; 値（バリュー）でイテレート a={} a["a"]=1; a["c"]=2; for i in a.values(): print i; 値（バリ…

pythonの辞書型（連想配列の）要素の削除の色々。 http://www.pythonweb.jp/tutorial/dictionary/index6.html基本 del a["xxx"] でキー"xxx"を持つ要素が消える。

j=sorted(range(len(a)),lambda x,y:a[x]-a[y]) map(lambda x:b[x],j) map(lambda x:b[x],sorted(range(len(a)),lambda x,y:a[x]-a[y])) map(lambda x:b[x],filter(lambda x:a[x]==5,range(len(a))))

http://psyco.sourceforge.net/ http://tanopy.blog79.fc2.com/blog-entry-3.html

pythonで一列目の共通するもの数を数える。いわゆる uniq -c とおなじ。 import random import sys import csv a1={} for row in csv.reader(file(sys.argv[1]),delimiter=" "): col1,col2=row col1=col1.strip("\n"); if (col1 in a1): a1[col1]=a1[col1]+1…

便利http://www.shido.info/py/python2.htmlzip(a,b)はa,bまとめて、 イテレート（ループ） できる。>|python| for i,j in zip(a,b): print i,j|

pythonからRを使う。環境準備。 rpy2を利用する。 cygwin上で利用する。 Rpy2を http://rpy.sourceforge.net/index.html Rpy2を http://pypi.python.org/pypi/rpy2/ からrpy2-2.0.7.tar.gz をダウンロード。展開： gzip -d rpy2-2.0.7.tar.gz tar -xvf rpy2-…

pythonとＲのインターフェース http://rpy.sourceforge.net/rpy.html http://pd.ba.isenshu-u.ac.jp/minato/ruby4.htm http://www.otacky.jp/python.html