pandas

pandas pythonでデータをグループわけして記述統計を調べて外部ファイルでソートして出力するワンライナー

pandas pythonでデータをグループわけして記述統計を調べて外部ファイルでソートして出力するワンライナー 並び順の指定なし 入力 python -c "import pandas as pd;df2=pd.read_csv('a3.txt',names=['st','fee']);print df2.groupby('st').describe().unstac…

pythonのpandasでデータ解析、カテゴリーごとに和をとる. tapply

groupbyを使う. 2列目を4列目で場合ごとに平均 ll0=df2,4.groupby(4).mean()$ #そのほか ll1=df6,4.groupby(4).mean()$ ll1=df6,4.groupby(4).median()$ ll1=df6,4.groupby(4).describe()$ 参考: pandasにsqlでよくやる処理をやらせてみる http://www.mws…

pandasで複数ファイルの3列目の同じ値のものをカウントしてマージ

pandasで3列目の同じ値のものをカウントしてマージ $ cat count_station.py import pandas as pd import glob l1=glob.glob('./uniq_data*') (l1) #print l1 start=True for i in l1: i.strip() try: df=pd.read_csv(i,header=None) q1=df[4].value_counts(…

pythonのpandasで離散化、ビニング、ビンに区切り集計

離散化、ビンに切って、ビニングして、カテゴリごとに集計 xはデータフレーム x[0]で1列目をとりだしている. qcutはデータ数をあわせる分割, cutは均等割り. x[0]として、pd.Seres化することに注意 x0だと、DataFrame。 cats=pd.qcut(x[0],30) print cats…

pandasでInfとnanをで埋める.

pandasでInfとnanを平均で埋める. In [416]: b Out[416]: a c 0 1.000000 3 1 2.000000 4 2 3.000000 NaN 3 inf 5 In [415]: b.replace(np.inf,np.nan).fillna(b.replace(np.inf,np.nan).mean()) Out[415]: a c 0 1 3 1 2 4 2 3 4 3 2 5