DockerにNumPyroをインストールする

先日までCmdStanPyを使っていました。が、Anaconda をアンインストールしてPipやconda forgeから再インストールしたら、何故かうまく動作しませんでした。。。やっぱりStan系はインストールが大変です、、。 「諦めてPyStanを使うか、PyCM3に戻ろうかなぁ」…

CmdStanPyの試運転

先日CmdStanPyをインストールしてみました。(詳細は下記参照) publicjournal.hatenablog.com RのStanやPyStanと結構違うので、どういうものかと一通り使ってみました。ひとまず“Hello, World”を参照にしながら動作確認をしました。 “Hello, World” — CmdSt…

CmdStanPyのインストール

昔はPyMC3を使っていましたが、仕様がコロコロ変わったり、TensorFlowベースになる予定だったPyMC4を開発中止したりと、何かと悪い印象がありました。そんなわけで、半年前くらいからStanに切り替えました。RのStanかcolaboratory上からPyStanを使っています…

Pythonでよく使うコード:その2 描画編

何度も引き直すのでメモ記事を作成しました。下記の続きです。 publicjournal.hatenablog.com 描画系 描画まとめ 時間の表記 斜め表記 テクニック 描画の保存 その他の描画ライブラリ 描画系 基礎 qiita.com 描画まとめ qiita.com own-search-and-study.xyz …

(後日修正)VScodeでSSH接続

qiita.comqiita.comqumeru.com

Gitのアクセストークン

Git

結構面倒で,ちょっとハマってしまいました... 【git】パスワードを受け付けなくなりアクセストークンを取得後に行った設定 docs.github.com

Google ColaboratoryでNotebookをHTMLに変換する

Google Colaboratoryはどこでも同じ環境で作業ができるので便利ですが,jupyter labにあるようなHTMLダウンロードの機能がないようです. そこで下記を参考にしました. qiita.comただ,ファイルの場所を聞かれたりとそのまま使うことが出来なかったので,す…

テクニック色々

DB AWS その他 qiita.com qiita.comqiita.comqiita.com qiita.com DB qiita.comqiita.com AWS qiita.com その他 qiita.comqiita.comqiita.com

Pythonでよく使うコード:その1

忘れて何度も引き直すのでメモ.都度更新予定. Pythonの基礎的な操作 リスト内包表記 コマンドライン引数 Pandasの基礎 全般 抽出 連結 イテレータ Jsonファイルの取り扱い 時間 その他テクニック 下記に描画編を作りました。 publicjournal.hatenablog.com…

PYMC3を実行してみるとエラーが出る

いつもはJupyterからPyMC3を呼び出していましたが,今回はスクリプトを実行してみたところ,次のようなエラーが出たという. In Windows OS, this usually means that the child process raised an exception while it was being spawned, before it was set…

間違えてフォルダを指定すると『PermissionError: [Errno 13] Permission denied』になる

かなり初歩的ですが,1時間位ハマったのでメモ. teratail.com たとえば、windowsではフォルダをopenしようとするとそのエラーになります。そういったトラブルがあるのかもしれません。 globの癖とかでフォルダを指定しちゃ駄目なんですよねー

ポアソン分布とガンマ分布から事後分布を導出して,事後期待値や予測分布などを求める

この前までとある所で一般化線形モデルから始まるベイズモデリングの勉強に参加していました.一般化線形モデルを通して勉強したのは初めてかもしれません.ということでベイズモデリングについて体系的に勉強するために記事を書いてみようと思います. この…

PyMC3をインストールする際に起きたトラブル色々(’19年9月秋の陣)

普段はPyMCを使っているんですが,とある勉強会でPyStanを推奨しているのでインストールしようとしたらバージョンの違いか何かでC++のコンパイラが動かず.もう諦めてPyMC3で頑張ろうと思ったら今度はPyMCも謎のエラー.Anacondaを再インストールしてPyMC3を…

エラーメッセージ;visual studio code '$ file ' cannot be resolved. please open an editor

トラブル Visual studio codeでjupyterを動かしたあとDebugを走らせようとすると, visual studio code '$ file ' cannot be resolved. please open an editor というダイアログが立ち上がった. 対処法 ダイアログにある「Opne launch.json」を開けたてから…

エラーメッセージ「OverflowError: Exceeded cell block limit (set 'agg.path.chunksize' rcparam)」の対処

久々の更新matplotlibを使ってみたらこんなメッセージが出た OverflowError: Exceeded cell block limit (set 'agg.path.chunksize' rcparam)該当するところは描画のところ plt.plot([3万行くらいのリスト],[3万行くらいのリスト]) サイズのところが悪さをし…

標準化と中心化

Pythonで標準化とか中心化はどうやってやるんだろうという話です.結論だけ書きます.(そのうち合間を見て加筆します)このページではこういうデータを使います 標準化 from scipy import stats x = df.iloc[:, 2:6].apply(stats.zscore, axis=0) x.head() …

バイアス-バリアンス分解の導出を真面目にやる

どうもです.只今,下記の書籍にを用いて勉強中です.応用をめざす 数理統計学 (統計解析スタンダード)作者: 国友直人出版社/メーカー: 朝倉書店発売日: 2015/08/25メディア: 単行本(ソフトカバー)この商品を含むブログを見るP118のあたりに推定の偏りの話…

Windows環境下でPython版のglmnetを使うとどうなるか?

夏のある日のこと, 私はLasso回帰を用いてあるデータを分析しようとしていた.glmnetを呼び出して実行したところ, x input must be a scipy float64 ndarray とエラーメッセージが帰ってきた.あれ?っと思ったけど,その日に扱っていたのは整数値だったこ…

StatsModelsとscikit-learnのElastic Net(Lasso回帰)を比較してみた

最近スパース推定の勉強会に参加しております.使っているテキストはこちら.スパース推定法による統計モデリング (統計学One Point)作者: 川野秀一,松井秀俊,廣瀬慧出版社/メーカー: 共立出版発売日: 2018/03/08メディア: 単行本この商品を含むブログを見る…

データフレームの各行の差を計算してグラフ化する:Pandas

やりたいことしては,タイトル通り『データフレームの各行の差を計算してグラフ化する』ことです.Pandasのデータフレームを用いて各列の時間差を計算してグラフに出力するということをやります.今回はTimedelta型を使っているのですが,データフレームの差…

Pandasデータフレーム内の複数の文字を「.str.split」を使って区切る

Pandas(@Python)のデータフレーム内のstringを複数の文字で区切りたい場合があります. 「.str.split」を使うのですが少し工夫が必要です. まぁ,簡単に言うと縦棒「|」で区切るわけですよ. import pandas as pd df = pd.DataFrame( {'Time': ['jt=10:00:…

ベイズ更新をやってみた!

3月の末にベイズ推定の勉強会に参加してきました! math-unknown.connpass.com この勉強会では単に講師の話を聞くだけではなく,みんなでワイワイディスカッションしながら進めるような形式で,グループ内の誰かが疑問に思ったことを後で調べることでより理…

ATOMをCドライブ以外にインストールする方法

ATOMってエディタがあって,これはでは「こいつはCドライブ以外にインストールできないのか?」と思っていましたが,ひょんなことからDドライブとかにもインストールできました. ある時ATOMを再インストールしようとすると「Installation has failed」と表…

PandasとStatsModelsを使って重回帰分析をしてみた

Pythonで重回帰分析をやってみました多変量解析法入門 (ライブラリ新数学大系)作者: 永田靖,棟近雅彦出版社/メーカー: サイエンス社発売日: 2001/04/01メディア: 単行本購入: 2人 クリック: 9回この商品を含むブログ (1件) を見るこの文献のP43~86を参考を…

PyCharm:interpolaterの設定にまつわるエラー

年末年始にかけてPyCharmをインストールし直したら,エラーが出まくりました・・・ 自分が勉強不足のところもあるわけですが,直すのに時間が掛かりました. 色々試行錯誤したのでメモっておきます. ちなみにインストールしているバージョンは「Anaconda3-5…

Pandas:グループ毎に括って最大の値を含む列を抜き出す

PythonのライブラリーであるPandasを使って,「グループ毎に括って最大の値を含む列を抜き出す」方法のメモです.対象とするのはこんなデータ Sensor Time Value 0 T-A 10:00:00 25 1 T-B 10:00:01 30 2 T-C 10:00:02 104 3 T-B 10:00:03 52 4 T-C 10:00:04 …

Anacondaをインストールしようとすると「Failed to create Anaconda menus」と言われる

Anacondaをアップデートしたらおかしくなったので再インストールした.そしたら「Failed to create Anaconda menus」と言われてインストールできない.shirabeta.netアンインストールしてもフォルダが残っていたので削除したらインストールできたっぽい

Python:秒数が小数点以下のパース

Pandasでデータフレームに格納するときに,時間にナノ秒まで含まれている時のパースのやり方についてのメモ.対象とするのはこんなデータ. //file.csv 17:22:59.703371360,10 17:22:59.788956621,20 17:22:59.790719017,30 17:22:59.813919277,20 17:22:59.…

ランダム関数について

numpyランダム関数を色々使ってみました.まずはインポート In [1]: import numpy as np random()は0から1までの値が得られる In [10]: np.random.random() Out[10]: 0.45226808024834264 引数を入れると,入れた数字分の乱数が得られる In [12]: np.random.…

Jupyterでmatplotlibのメイリオを使うとしたらエラーが出た

表題のような現象が見られたので,次のように書き換えてみた import matplotlib import matplotlib.pyplot as plt plt.style.use('ggplot') # ggplotを使う matplotlib.rc('font', family='sans-serif')