Firestore で吐き出された秒単位のタイムスタンプを日付に変換するSQLクエリ
下記の記事で扱ったように、Export Collections to BigQuery の拡張機能でデータを Firestore から吐き出すと、BigQuery には “data” というフィー…
データ基盤
データ基盤
データ基盤
データ基盤
Export Collections to BigQuery で Firestore のデータを BigQuery へ自動エクスポート
Firestore のデータを BigQuery へ吐き出す際には ”Export Collections to BigQuery” という大変便利な拡張機能があります。 https://firebase.google….
データ基盤
M1 Mac で gcloud コマンドを使えるようにする & 認証を通す
Google Cloud Platform を使用するにあたり、gcloud コマンドを使用する機会が出てきたのですが、ローカル PC から叩くには設定が必要です。 次の記事の通りでいけました。ありがとうございます。 h…
機械学習・ディープラーニング
【tensorflow2.x 入門】@tf.function で学習速度が上がるか試してみる
tf2,x 系に最近入門してみて、subclassing API まわりの書き方を勉強しています。 学習ループの中で、逆伝播を行う tf.GradientTape() 以下の箇所が計算負荷が大きいが、@tf.functi…
スクレイピング・ウェブアプリ
【AI アプリ開発 Day4】Google App Engine に flask アプリをデプロイする ~準備編~
▼前回 【AIアプリ開発 Day3-2】見栄えの修正に際しての Flask の注意点 せっかくなので、GCPを利用してアプリをデプロイしようと思いました。 チュートリアルを通して、一度かんたんな Hello…
機械学習・ディープラーニング
【受講メモ】Natural Language Processing with Classification and Vector Spaces Week2
前回に引き続き、2週目のメモです。 【受講メモ】Natural Language Processing with Classification and Vector Spaces Week1 Week2 :…
機械学習・ディープラーニング
【受講メモ】Natural Language Processing with Classification and Vector Spaces Week1
自然言語処理領域も理解を深めようと思い、Coursera の Natural Language Specialization コースに登録しました。 これまで、いくつかのコースを Coursera で受講してきましたが、…
機械学習・ディープラーニング
【pandas 小ネタ】 gropby で for ループ回すとデータフレーム小分けにするときに便利
pandas で groupby をして for ループを回すと便利そう、という小ネタです。 特定のカラムの要素ごとにデータフレームを切り分けて持っておきたい、という時に、カラムの要素をキーにして、グルーピングしたデータ…
機械学習・ディープラーニング
複数出力・ラベルの回帰モデルを PyTorch で作成する方法（編集中…）
回帰モデルは、基本的には1つの連続値を予測しますが、複数の値を同時に予測したいようなケースもあると思います。 その際に、古典的な機械学習手法は、scikit-learn の MultiOutputRegressor を使…
機械学習・ディープラーニング
Optuna で PyTorch のハイパーパラメータチューニングを試みる（テーブルデータ回帰）
数ヶ月前の話ですが、Optuna が PyTorch のエコシステムに加わったとのことで前から試したいと思っていました。 https://note.com/aixtech/n/n5082ea1e2f47 MNIST での…
