PythonのライブラリーであるPandasを使って，「グループ毎に括って最大の値を含む列を抜き出す」方法のメモです．対象とするのはこんなデータ Sensor Time Value 0 T-A 10:00:00 25 1 T-B 10:00:01 30 2 T-C 10:00:02 104 3 T-B 10:00:03 52 4 T-C 10:00:04 …

Anacondaをアップデートしたらおかしくなったので再インストールした．そしたら「Failed to create Anaconda menus」と言われてインストールできない．shirabeta.netアンインストールしてもフォルダが残っていたので削除したらインストールできたっぽい

Pandasでデータフレームに格納するときに，時間にナノ秒まで含まれている時のパースのやり方についてのメモ．対象とするのはこんなデータ． //file.csv 17:22:59.703371360,10 17:22:59.788956621,20 17:22:59.790719017,30 17:22:59.813919277,20 17:22:59.…

numpyランダム関数を色々使ってみました．まずはインポート In [1]: import numpy as np random()は0から1までの値が得られる In [10]: np.random.random() Out[10]: 0.45226808024834264 引数を入れると，入れた数字分の乱数が得られる In [12]: np.random.…

表題のような現象が見られたので，次のように書き換えてみた import matplotlib import matplotlib.pyplot as plt plt.style.use('ggplot') # ggplotを使う matplotlib.rc('font', family='sans-serif')

FutureWarning: pd.rolling_mean is deprecated for Series and will be removed in a future version, replace with ・・・ stackoverflow.com

Pandasで条件を指定して行・列を抜き出すやつが有ると思います．正式名称は分かりませんが，df[val>0]みたいなやつです．Numpyのarrayでおんなじことが出来るか試したので，メモ書きしておきます．まずはこんな感じで配列を作ります．そして1個飛ばしで列を…

argmaxとargminについて書いてあるようなタイトルですが，本記事ではargmaxのみです．argminも使い方は同じなので書いてません． まずは配列を用意します． In [8]: import numpy as np In [9]: a = np.array([[1,2,3],[4,5,6],[7,8,9],[2,8,2]]) あとはご覧…

全部足すか列ごとに足すかの違いでした～ In [46]: import numpy as np In [47]: A=np.array([[ 2,4,6.], ...: [ 4,8,12.], ...: [ 6,12,18.]]) In [48]: A.sum() Out[48]: 72.0 In [49]: A.sum(1) Out[49]: array([ 12., 24., 36.])

Pythonのscikit-learnのカーネル関数を使ってみたので，メモ書きしておきます．いやぁ，今までJavaで一生懸命書いてましたが，やっぱりPythonだと楽でいいですねー． もくじ 最初に注意する点 線形カーネル まずは簡単な例から データが多次元だったら ガウ…

問題点 PyCharmをインストールしようとしたら32Bitのlauncherしか出ない． 解決方法 stackoverflow.com ここにも書いてあるように64BitのJDKをインストールする

これまでPandasとmatplotlibを一緒に使う機会がなかったんですが，Pandasにも描画機能があります．しかもこれが結構便利！とうことで早速使ってみたので，ログとして残しておきます． import pandas as pd import pylab import matplotlib import matplotlib…

機械学習のライブラリなどを使おうとすると，データフレーム型からnumpyのarray型にしないと引数として渡せない場合があります．このデータフレームからarrayに変換する方法は色々あるんですが，一番簡単なのはas_matrix()を使うことでしょうか． In [102]: …

teratailのフォーマットが見やすいので，真似して書いてみます． 前提・実現したいこと Pythonの3系を使っているのですが，どうやら開発環境のワークスペースを変えるとファイルを読むときにはワークスペースからパスを通さなくてはならないらしいです．なの…

PythonといえばSpyderを使ったりJupyter Notebookをしてますが，Jupyter Notebookの方はフォントが気に入らなかったりします．そこでnbextensionsをつかって色々いじってみたんですが，忘れそうなのでこのブログにメモしておきます．ちなみにAnacondaはAnaco…

症状 Spyderを使っていてCSVファイルが読み込めなくなる File b'ファイル名.csv' does not exist 原因 Spyderの設定でワークスペースを変えるとこうなる 対処 パスを通せば良い path = '++++\名前\' df = pd.read_csv(path + "dataset.csv",header = None) …

PythonのPandasを使っていると，例えば同じ名前の者同士を一括りにして，平均なり最大値を出したり，という処理を迫られることがあります．私自身，この間それを迫られた訳で，オライリーの本を読んで，どういう挙動を示すか色々試してみました．せっかくな…

Jupyter Notebookって何かとトラブる気がします． この記事を最初に書いたのは17年の冬ですが，その後違う原因のトラブルに見舞われたので，その時の対処方法をメモしておきます． １．リンク先に「%HOME%」のような変な値が入る 原因は何か？ 解決方法 Ⅰ変…

In [11]: import pandas as pd In [12]: import numpy as np In [13]: df = pd.DataFrame(np.array([[1,1,1,1],[1,'A',1,'B'],[1,'A',1,'B'],[1,1,1,'B']]), columns=['C1','C2','C3','C4']) In [14]: df[df['C2']=='A'][['C2','C4']] Out[14]: C2 C4 1 A B …

日本語の入ったCSVファイルの読み込み方を試行錯誤したので，結果を記しておきましたこんな日本語の入ったCSVファイルを用意します # testJP.csv "福岡",1,2 "博多",3,4 "長崎",5,6 結論から先にいうと・・ こうすれば出来ました import codecs as cd import…

久しぶりにPythonで機械学習的なことをやってみました．今回は教師なし学習としてクラスター分析のソースコードを書いてみて色々試しました． ソースコード こんな感じで書いてみました． 上のソースコードはファイル出力とか省いていますが，省かないで実際…

Pandasを用いたCSVファイルの入出力について色々試してみました．下の英語ドキュメントに詳しく書いてあるんですが，自分がよく使うものだけピックアップしてメモしておきます． pandas.read_csv — pandas 0.19.2 documentation テスト用にこんなCSVファイル…

Pandasのデータフレームに格納されたデータの検索方法についていろいろ調べたり，試行錯誤したり，結局わからなかったので教えてもらいました．忘れないようにこの記事にメモしておきます．この記事内では，共通して下記のデータフレームを用います In [1]: …