pandasインストール時のエラー

表題の通り、Pandasを再インストール指定たら、下記のようなエラーが出ました。 AttributeError: partially initialized module 'pandas' has no attribute '_pandas_parser_CAPI' (most likely due to a circular import)多少難儀したので、解決方法をメモ…

Pythonでよく使うコード:その3 Pandas編

publicjournal.hatenablog.com publicjournal.hatenablog.com Pandasの基礎 全般 qiita.com qiita.com qiita.com mryksy.hatenablog.com 抽出 pythondatascience.plavox.info 列の抽出はdf.loc[:,['A','B']]でもいけるし,df[['A','B']]でもいける deepage.n…

チートシート集

qiita.comqiita.com qiita.com

Dockerによる環境構築

先日、図書館に行ったら良さげな本が置いてあったので借りてきました。最低限の機能を使いこなすために必要な知識を丁寧に解説している良書でした。図解! Dockerのツボとコツがゼッタイにわかる本作者:角間実秀和システムAmazonそういえば、これまでDocker…

WSL2にDockerをインストールする

去年の夏くらいに条件付きでDocker Desktop有償になりました。誤って有償の条件に当てはまっていたら面倒なので、無償の方法を模索して環境構築をしました。 あの時はネットの記事を調べて断片的に実施していったものの、まとまっている記事がなかった気がし…

Pythonライブラリに関するチートシート

以前からプログラミング作業効率化のために、Pythonでよく使うライブラリについてまとめていました。 publicjournal.hatenablog.com publicjournal.hatenablog.com最近、チートシートがTwitterで流れてきたので、リンクを貼っておきます。 チートシートリン…

DockerにNumPyroをインストールする

CmdStanPyを使っていましたけど、パッケージのバージョン問題とか謎のエラーが多すぎますね、、。これを機に、NumPyroを使ってみようか、、、。— shuichi-o (@SHU10038) 2022年4月23日 先日までCmdStanPyを使っていました。が、Anaconda をアンインストール…

CmdStanPyの試運転

先日CmdStanPyをインストールしてみました。(詳細は下記参照) publicjournal.hatenablog.com RのStanやPyStanと結構違うので、どういうものかと一通り使ってみました。ひとまず“Hello, World”を参照にしながら動作確認をしました。 “Hello, World” — CmdSt…

CmdStanPyのインストール

MCMCのライブラリとして昔はPyMC3を使っていましたが、仕様がコロコロ変わったり、TensorFlowベースになる予定だったPyMC4を開発中止したりと、何かと悪い印象がありました。そんなわけで、半年前くらいからStanに切り替えました。RのStanかcolaboratory上か…

Pythonでよく使うコード:その2 描画編

何度も引き直すのでメモ記事を作成しました。下記の続きです。 publicjournal.hatenablog.com publicjournal.hatenablog.com 描画系 描画まとめ 複数のグラフ 時間の表記 斜め表記 テクニック 描画の保存 その他の描画ライブラリ 描画系 基礎 qiita.com 描画…

(後日修正)VScodeでSSH接続

qiita.comqiita.comqumeru.com

Gitのアクセストークン

Git

結構面倒で,ちょっとハマってしまいました... 【git】パスワードを受け付けなくなりアクセストークンを取得後に行った設定 docs.github.com

Google ColaboratoryでNotebookをHTMLに変換する

Google Colaboratoryはどこでも同じ環境で作業ができるので便利ですが,jupyter labにあるようなHTMLダウンロードの機能がないようです. そこで下記を参考にしました. qiita.comただ,ファイルの場所を聞かれたりとそのまま使うことが出来なかったので,す…

テクニック色々

DB AWS その他 qiita.com qiita.comqiita.comqiita.com qiita.com DB qiita.comqiita.com AWS qiita.com その他 qiita.comqiita.comqiita.com

Pythonでよく使うコード:その1

忘れて何度も引き直すのでメモ.都度更新予定. Pythonの基礎的な操作 リスト内包表記 コマンドライン引数 ファイル獲得(glob) print文関係 その他テクニック 下記に描画編を作りました。 publicjournal.hatenablog.com publicjournal.hatenablog.com Pyth…

PYMC3を実行してみるとエラーが出る

いつもはJupyterからPyMC3を呼び出していましたが,今回はスクリプトを実行してみたところ,次のようなエラーが出たという. In Windows OS, this usually means that the child process raised an exception while it was being spawned, before it was set…

間違えてフォルダを指定すると『PermissionError: [Errno 13] Permission denied』になる

かなり初歩的ですが,1時間位ハマったのでメモ. teratail.com たとえば、windowsではフォルダをopenしようとするとそのエラーになります。そういったトラブルがあるのかもしれません。 globの癖とかでフォルダを指定しちゃ駄目なんですよねー

ポアソン分布とガンマ分布から事後分布を導出して,事後期待値や予測分布などを求める

この前までとある所で一般化線形モデルから始まるベイズモデリングの勉強に参加していました.一般化線形モデルを通して勉強したのは初めてかもしれません.ということでベイズモデリングについて体系的に勉強するために記事を書いてみようと思います. この…

PyMC3をインストールする際に起きたトラブル色々(’19年9月秋の陣)

普段はPyMCを使っているんですが,とある勉強会でPyStanを推奨しているのでインストールしようとしたらバージョンの違いか何かでC++のコンパイラが動かず.もう諦めてPyMC3で頑張ろうと思ったら今度はPyMCも謎のエラー.Anacondaを再インストールしてPyMC3を…

エラーメッセージ;visual studio code '$ file ' cannot be resolved. please open an editor

トラブル Visual studio codeでjupyterを動かしたあとDebugを走らせようとすると, visual studio code '$ file ' cannot be resolved. please open an editor というダイアログが立ち上がった. 対処法 ダイアログにある「Opne launch.json」を開けたてから…

エラーメッセージ「OverflowError: Exceeded cell block limit (set 'agg.path.chunksize' rcparam)」の対処

久々の更新matplotlibを使ってみたらこんなメッセージが出た OverflowError: Exceeded cell block limit (set 'agg.path.chunksize' rcparam)該当するところは描画のところ plt.plot([3万行くらいのリスト],[3万行くらいのリスト]) サイズのところが悪さをし…

標準化と中心化

Pythonで標準化とか中心化はどうやってやるんだろうという話です.結論だけ書きます.(そのうち合間を見て加筆します)このページではこういうデータを使います 標準化 from scipy import stats x = df.iloc[:, 2:6].apply(stats.zscore, axis=0) x.head() …

バイアス-バリアンス分解の導出を真面目にやる

どうもです.只今,下記の書籍にを用いて勉強中です.応用をめざす 数理統計学 (統計解析スタンダード)作者: 国友直人出版社/メーカー: 朝倉書店発売日: 2015/08/25メディア: 単行本(ソフトカバー)この商品を含むブログを見るP118のあたりに推定の偏りの話…

Windows環境下でPython版のglmnetを使うとどうなるか?

夏のある日のこと, 私はLasso回帰を用いてあるデータを分析しようとしていた.glmnetを呼び出して実行したところ, x input must be a scipy float64 ndarray とエラーメッセージが帰ってきた.あれ?っと思ったけど,その日に扱っていたのは整数値だったこ…

StatsModelsとscikit-learnのElastic Net(Lasso回帰)を比較してみた

最近スパース推定の勉強会に参加しております.使っているテキストはこちら.スパース推定法による統計モデリング (統計学One Point)作者: 川野秀一,松井秀俊,廣瀬慧出版社/メーカー: 共立出版発売日: 2018/03/08メディア: 単行本この商品を含むブログを見る…

データフレームの各行の差を計算してグラフ化する:Pandas

やりたいことしては,タイトル通り『データフレームの各行の差を計算してグラフ化する』ことです.Pandasのデータフレームを用いて各列の時間差を計算してグラフに出力するということをやります.今回はTimedelta型を使っているのですが,データフレームの差…

Pandasデータフレーム内の複数の文字を「.str.split」を使って区切る

Pandas(@Python)のデータフレーム内のstringを複数の文字で区切りたい場合があります. 「.str.split」を使うのですが少し工夫が必要です. まぁ,簡単に言うと縦棒「|」で区切るわけですよ. import pandas as pd df = pd.DataFrame( {'Time': ['jt=10:00:…

ベイズ更新をやってみた!

3月の末にベイズ推定の勉強会に参加してきました! math-unknown.connpass.com この勉強会では単に講師の話を聞くだけではなく,みんなでワイワイディスカッションしながら進めるような形式で,グループ内の誰かが疑問に思ったことを後で調べることでより理…

ATOMをCドライブ以外にインストールする方法

ATOMってエディタがあって,これはでは「こいつはCドライブ以外にインストールできないのか?」と思っていましたが,ひょんなことからDドライブとかにもインストールできました. ある時ATOMを再インストールしようとすると「Installation has failed」と表…

PandasとStatsModelsを使って重回帰分析をしてみた

Pythonで重回帰分析をやってみました多変量解析法入門 (ライブラリ新数学大系)作者: 永田靖,棟近雅彦出版社/メーカー: サイエンス社発売日: 2001/04/01メディア: 単行本購入: 2人 クリック: 9回この商品を含むブログ (1件) を見るこの文献のP43~86を参考を…