ベンチマークの基本

最終的に、大規模言語モデル（LLM、ChatGPTの技術の背後にあるもの）は、統合する必要がある他のコンポーネントと同様に扱われるべきです。

期待される出力

• 何を提供するのか？: 具体的な成果物を明確にしましょう。

スピード

• どれだけ迅速に応答するのか？: 応答速度を評価します。

コスト

• 投資額はどれくらいか？: コストパフォーマンスを確認します。

信頼性

• 品質と一貫性に依存できるか？: 信頼性のチェックが重要です。

データセキュリティ

• データガバナンス基準に準拠しているか？: セキュリティコンプライアンスを確認します。

成功は細部に宿る

• 厳密なテストを行うこと。

• 利用規約を慎重に確認すること。

• 「パラメーター」（数十億、数兆など）に惑わされないこと。重要なのは実際の応用と徹底した評価です。

クライアントの反応を引き出す質問

プロジェクトにおいて、クライアントの反応は通常以下の2つの質問に集約されます：

1. 時間を節約できるか？

2. 自分ではできなかった作業が可能になるか？

これらの基本を押さえることで、LLMを効果的にベンチマークし、成功へと導くことができます。