[マウムジギ 開発日誌 #5] 10万件の感情データ精製とアプリケーションプログラミングインターフェース(API)コストの重圧

4月3日、ディープラーニングモデル（Llama 3.1）に学習させるための対話データを精製する作業に本格的に着手した日の記録です。 単にデータを統合するだけでなく、人工知能(AI)にテキストを読ませて自ら感情を判別させる巨大なパイプラインを稼働させた日でもあります。

データ感情の再分類 (v3 -> v4)

• 問題: 既存のデータセットの感情ラベリングが、私たちの目指すきめ細かい心理カウンセリングの目的に正確に合致していませんでした。合計100万件のデータの中から意味のあるデータのみをフィルタリングし、正確な感情をマッピングする必要がありました。
• 過程:

  「範囲は全体の100万件です... Claudeが心理カウンセリングの専門家として会話を読み、直接感情をマッピングするためです。感情分類に含まれないものは除外し、含まれるものだけをフィルタリングします。」

• 結果: v4_plan.mdを作成し、作業を開始しました。一次的に10万行のデータを対象にClaude APIを連動させ、対話の文脈を把握し感情を再分類するスクリプトを作成・稼働させました。

大規模言語モデル(LLM) API課金の恐怖

• 問題: 膨大なテキストデータをLLM（Claude）に投げて判別させるため、API使用量（トークン数）が幾何級数的に増加する問題が発生しました。
• 過程:

  「すでにPro購読でClaudeを使用中ですが、APIが別途必要ですか？」 「Anthropic APIではなくClaude Codeを使用する方法はありませんか？ 課金が負担です。」 「実際の費用は10.27ドルでした。」

• 結果: Claude Pro購読（月額20ドル）とは別に、Pythonスクリプトで自動化して大量のデータを処理するために呼び出すAnthropic APIは、使用量に応じた従量課金制であるという痛烈な事実を体感しました。わずか10万行をテスト処理するだけで、瞬く間に約10.27ドルが課金されました。100万件すべてを処理するには莫大な費用がかかることを悟り、モデルの最適化とデータサンプリングの重要性を肌で学んだ一日でした。

今日は、ディープラーニングのデータ前処理過程で必然的に直面する「コンピューティングコスト」という現実的な壁にぶつかった日でした。 結果的に精製された良質なデータを得ることには成功しましたが、今後どのようにこのコストと効率性のバランスを取りながらファインチューニングを進めていくか、深い悩みを抱かせる貴重な経験となりました！