この記事を読む

pandasで線形回帰をする

pandasで線形回帰をするにはols関数を使えばいけますが、statsmodelsという特殊なパッケージをインストールしていないといけません statsmodelsをインストールしていないと [crayon-5a35ebafa228677…

この記事を読む

python pandasのDataFrameをいい感じにmultiprocessingで並列処理する

pandasのDataFrameに文字列データとかを入れてるとなんとなく並列処理したくなります。そんな時のTips とりあえずデータを作る

データを等分割して並列化する 各行…

この記事を読む

pandasで不均衡データをアンダーサンプリング、オーバーサンプリングする

何やらよさげな記事を見つけたんですが pandasを使った不均衡データの整形 – drilldripper’s blog imblearnというパッケージを使えばもっと簡単にアンダー(オーバー)サンプリング可能なのでgistにあ…

この記事を読む

LUISをPythonから使う

MicrosoftのCognitiveServiceの一つであるLUISはPythonのSDKが用意されているのでそれを利用すればかんたんにLUISの構築済みモデルにPythonからアクセスできます。 ここでは構築済みLUISモデルをPyt…

この記事を読む

apache pysparkでUnicodeEncodeError: ‘ascii’ codec can’t encode characterとか出たら

localeの設定が間違っていると思われます。 pysparkの実行環境で

を表示してみましょう。ANSIとか出てきたら駄目です。ここがUTF-8でないといけません。 spa…