進捗ログ(開発メモ)¶
設計・実装・評価の変更点を、日付ごとに記録します。
2025-11-12¶
- パフォーマンス懸念を整理し、UI最適化より先に「計測→ボトルネック特定」を優先する方針を合意。
- 重点観測ポイントを定義(Azure Functionsのリクエスト処理、検索クエリ、LLM呼び出し、参照取得ループ、フロントの submit→response / スライドオーバー表示)。
- バックエンドの段階別タイムスタンプ、Application Insights向けメトリクス、フロントの
performance.markを組み合わせた計測方針を整理。 app/api/routes/summarize.pyにタイミング計測(validation/config load/OpenAI/total)を追加し、構造化ログとして出力。- フロントに
performance.mark/measureを仕込み(チャット送信→応答、/search・/answer・/summarizeフェーズ、参照ロード)ベースライン把握を可能に。 /api/metricsとインメモリ集計を追加し、VITE_ENABLE_METRICS=1時にフロントからイベントを送れるようにして一貫したボトルネック追跡を可能に。
2025-11-14¶
app/api/routes/summarize.pyにチャンクベースの並列要約を実装(チャンクサイズ・ワーカー数を設定可能)。- メトリクスに
parallel_chunks/parallel_avg_latency_ms/ バッチ内最大OpenAIレイテンシを追加し、スループット改善が追えるように。 - ユニットテスト
app/api/tests/test_summarize_parallel.pyを追加し、チャンク分割とpayload構築の安定性を確保。
2025-11-15¶
- 複数参照をまとめて解決する
/api/reference/batch(Azure Functionreference_batch)を追加。 fetchReference/引用エンリッチのパイプラインをバッチAPI+共有正規化ヘルパ(normalizeReferencePayload/fetchReferenceDocumentByRequest)へリファクタ。- フロント
App.tsxはバッチAPIで参照を事前取得(必要に応じて逐次フォールバック)し、表示体感を改善。 app/api/routes/reference.pyのテレメトリ出力経路を整理し、すべての経路でrecord_backend_metric('reference', …)が出るように統一。
2025-11-16¶
app/web/src/lib/api.tsを再整備し、環境定数・参照payload型・テキスト正規化ヘルパを復元。createPerfMarks/markPerf/measurePerfを組み込み、fetchReference*とenrichCitationsWithReferencesのクライアントメトリクスを強化。- 参照ハイドレーション時の重複チャンクをバッチングし、フォールバック成功/失敗数を
detailに記録。 npm run lintを実行し、クライアントの型/ESLintをクリーンに。VITE_ENABLE_METRICS(_PANEL)で切り替え可能なMetricsPanelを追加(Ctrl/⌘ + Shift + Mで切替、5秒自動更新)。
2025-11-19¶
- フロント
app/web/src/App.tsxに一時的なハードコード対応を追加し、タイトルに「就業規則」を含むドキュメントの「Open Original」を特定SharePoint URLへ誘導。 resolveOriginalSourceUrlがsourceUri(または一時override)を優先することを確認。
2025-12-01¶
- 改善ロードマップを更新(完了項目を整理): Key Vault統合 / 本番用
JWT_SECRET生成 / 評価テストケース作成 / クエリ拡張改善 / エラーハンドリング統一 / CORS設定。 - 評価テストを初回実行(基本21件=100%、包括109件=97.2%)し、結果と失敗要因(期待キーワード・一時的なHTTPエラー)を記録。
2025-12-03¶
- プロジェクト報告書(2025-12-03)を作成し、システム概要・安全性方針(ナレッジベース限定回答)・精度課題・運用コスト観点を整理。
2025-12-16¶
- マルチフォーマット対応のインジェスト v5 を設計・手順化(
data/additional20251216/を対象に、PDF/Word/Excelの抽出とバイナリ除外、重複検出方針を明確化)。 ingest/prepare_data_v5.py(取り込み)とingest/check_duplicates.py(重複差分チェック)を整備し、初回インジェストを開始。
2025-12-18¶
- デモ環境の検索テストを実施(対象インデックス:
company-knowledge)。クエリ拡張を GPT-4.1 へ変更(2025-12-18より)。 - ナレッジデータの重複整理を実施し、617→463チャンクへ削減(154チャンク削除)を記録。
2025-12-19¶
- 評価テストケースを拡充(21件→87件)。コンプライアンス/内部通報/稟議/取締役会/重大インシデント/経理/人事委員会/ISO9001など、対象ドキュメントを拡大。
2025-12-20¶
- クエリ拡張・同義語マップを強化(プロンプトパス修正、
app/api/prompts/query_expansion.txtの追記、SYNONYM_MAPの追加)し、87件→100%合格を達成。 - 評価テストケースを145件へ拡充し、合格率100%を確認。
- 自動テストケース生成のドキュメントを作成(作成日: 2025-12-20)。
2025-12-21¶
- 大規模自動生成テスト(990件)を実施し、再テストで100%合格を達成(同義語マッピング/柔軟マッチングを
tests/run_eval.pyに追加)。 - 2025-12の状況サマリを整理(テスト総数1,580件・正答率98%以上、12月時点のコスト実績、無料プラン容量制限と追加投資案など)。