年末年始にかけてPyCharmをインストールし直したら，エラーが出まくりました・・・ 自分が勉強不足のところもあるわけですが，直すのに時間が掛かりました． 色々試行錯誤したのでメモっておきます． ちなみにインストールしているバージョンは「Anaconda3-5…
PythonのライブラリーであるPandasを使って，「グループ毎に括って最大の値を含む列を抜き出す」方法のメモです．対象とするのはこんなデータ Sensor Time Value 0 T-A 10:00:00 25 1 T-B 10:00:01 30 2 T-C 10:00:02 104 3 T-B 10:00:03 52 4 T-C 10:00:04 …
Anacondaをアップデートしたらおかしくなったので再インストールした．そしたら「Failed to create Anaconda menus」と言われてインストールできない．shirabeta.netアンインストールしてもフォルダが残っていたので削除したらインストールできたっぽい
Pandasでデータフレームに格納するときに，時間にナノ秒まで含まれている時のパースのやり方についてのメモ．対象とするのはこんなデータ． //file.csv 17:22:59.703371360,10 17:22:59.788956621,20 17:22:59.790719017,30 17:22:59.813919277,20 17:22:59.…
numpyランダム関数を色々使ってみました．まずはインポート In [1]: import numpy as np random()は0から1までの値が得られる In [10]: np.random.random() Out[10]: 0.45226808024834264 引数を入れると，入れた数字分の乱数が得られる In [12]: np.random.…
表題のような現象が見られたので，次のように書き換えてみた import matplotlib import matplotlib.pyplot as plt plt.style.use('ggplot') # ggplotを使う matplotlib.rc('font', family='sans-serif')
FutureWarning: pd.rolling_mean is deprecated for Series and will be removed in a future version, replace with ・・・ stackoverflow.com
Pandasで条件を指定して行・列を抜き出すやつが有ると思います．正式名称は分かりませんが，df[val>0]みたいなやつです．Numpyのarrayでおんなじことが出来るか試したので，メモ書きしておきます．まずはこんな感じで配列を作ります．そして1個飛ばしで列を…
argmaxとargminについて書いてあるようなタイトルですが，本記事ではargmaxのみです．argminも使い方は同じなので書いてません． まずは配列を用意します． In [8]: import numpy as np In [9]: a = np.array([[1,2,3],[4,5,6],[7,8,9],[2,8,2]]) あとはご覧…
全部足すか列ごとに足すかの違いでした～ In [46]: import numpy as np In [47]: A=np.array([[ 2,4,6.], ...: [ 4,8,12.], ...: [ 6,12,18.]]) In [48]: A.sum() Out[48]: 72.0 In [49]: A.sum(1) Out[49]: array([ 12., 24., 36.])
Pythonのscikit-learnのカーネル関数を使ってみたので，メモ書きしておきます．いやぁ，今までJavaで一生懸命書いてましたが，やっぱりPythonだと楽でいいですねー． もくじ 最初に注意する点 線形カーネル まずは簡単な例から データが多次元だったら ガウ…
問題点 PyCharmをインストールしようとしたら32Bitのlauncherしか出ない． 解決方法 stackoverflow.com ここにも書いてあるように64BitのJDKをインストールする
これまでPandasとmatplotlibを一緒に使う機会がなかったんですが，Pandasにも描画機能があります．しかもこれが結構便利！とうことで早速使ってみたので，ログとして残しておきます． import pandas as pd import pylab import matplotlib import matplotlib…
機械学習のライブラリなどを使おうとすると，データフレーム型からnumpyのarray型にしないと引数として渡せない場合があります．このデータフレームからarrayに変換する方法は色々あるんですが，一番簡単なのはas_matrix()を使うことでしょうか． In [102]: …
teratailのフォーマットが見やすいので，真似して書いてみます． 前提・実現したいこと Pythonの3系を使っているのですが，どうやら開発環境のワークスペースを変えるとファイルを読むときにはワークスペースからパスを通さなくてはならないらしいです．なの…
PythonといえばSpyderを使ったりJupyter Notebookをしてますが，Jupyter Notebookの方はフォントが気に入らなかったりします．そこでnbextensionsをつかって色々いじってみたんですが，忘れそうなのでこのブログにメモしておきます．ちなみにAnacondaはAnaco…
症状 Spyderを使っていてCSVファイルが読み込めなくなる File b'ファイル名.csv' does not exist 原因 Spyderの設定でワークスペースを変えるとこうなる 対処 パスを通せば良い path = '++++\名前\' df = pd.read_csv(path + "dataset.csv",header = None) …
PythonのPandasを使っていると，例えば同じ名前の者同士を一括りにして，平均なり最大値を出したり，という処理を迫られることがあります．私自身，この間それを迫られた訳で，オライリーの本を読んで，どういう挙動を示すか色々試してみました．せっかくな…
Jupyter Notebookって何かとトラブる気がします． この記事を最初に書いたのは17年の冬ですが，その後違う原因のトラブルに見舞われたので，その時の対処方法をメモしておきます． １．リンク先に「%HOME%」のような変な値が入る 原因は何か？ 解決方法 Ⅰ変…
In [11]: import pandas as pd In [12]: import numpy as np In [13]: df = pd.DataFrame(np.array([[1,1,1,1],[1,'A',1,'B'],[1,'A',1,'B'],[1,1,1,'B']]), columns=['C1','C2','C3','C4']) In [14]: df[df['C2']=='A'][['C2','C4']] Out[14]: C2 C4 1 A B …
日本語の入ったCSVファイルの読み込み方を試行錯誤したので，結果を記しておきましたこんな日本語の入ったCSVファイルを用意します # testJP.csv "福岡",1,2 "博多",3,4 "長崎",5,6 結論から先にいうと・・ こうすれば出来ました import codecs as cd import…
久しぶりにPythonで機械学習的なことをやってみました．今回は教師なし学習としてクラスター分析のソースコードを書いてみて色々試しました． ソースコード こんな感じで書いてみました． 上のソースコードはファイル出力とか省いていますが，省かないで実際…
Pandasを用いたCSVファイルの入出力について色々試してみました．下の英語ドキュメントに詳しく書いてあるんですが，自分がよく使うものだけピックアップしてメモしておきます． pandas.read_csv — pandas 0.19.2 documentation テスト用にこんなCSVファイル…
Pandasのデータフレームに格納されたデータの検索方法についていろいろ調べたり，試行錯誤したり，結局わからなかったので教えてもらいました．忘れないようにこの記事にメモしておきます．この記事内では，共通して下記のデータフレームを用います In [1]: …
SourceTree （Ver 1.9.9.20）を使っていたら色々エラーが出たので，メモしておきます． 症状 こんな感じのエラーが出る git -c diff.mnemonicprefix=false -c core.quotepath=false push -v --tags origin master:masterremote: Invalid username or passwor…
すごい初歩的なんですが，行を指定して代入できるか試してみました． In [22]: import numpy as np In [26]: m = np.empty((4,3)) In [27]: m Out[27]: array([[ 0., 0., 0.], [ 1., 2., 3.], [ 0., 0., 0.], [ 0., 0., 0.]]) In [28]: m[1,:] = np.array([3…
matplotlibをしばらく使わないとかなり忘れてしまいます．なので使い方についてメモしておきます．【もくじ】 まずは基本的な使い方 散布図を描く 「+」の形にプロット 破線でプロット 画像ファイルに出力する まずは基本的な使い方 まずは最小構成でプロッ…
この記事に書いてあること Pandasを使ってCSVファイルを連続で読み込んで結合する． to_csvで出力すれば，ファイルをくっつけたりすることが出来る． １.簡単な例 最も単純な例．CSVファイルが２つを読み込んで結合する import pandas as pd # データの読み…
ix,loc,ilocは何が違うのか？こいつらを使ってスクリプトを書いたのですが，やや気づきにくい不具合があり，苦戦しました．そんなときに下記のブログに参考にして直しましたが，自分でも試行錯誤したので，その一部を記録しておきます． Python pandas デー…
その１ 数字だけ入れると勝手にHeaderとIndexが追加される In [17]: import pandas as pd In [18]: df = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) In [19]: df Out[19]: 0 1 2 0 1 2 3 1 4 5 6 2 7 8 9 その２ HeaderとIndexを自分で指定する In [2…
