開始する前に
まずオペレーティング境界を設定する。
- 少なくとも3人の代表的なユーザーまたは現実的なタスクの例へのアクセス。
- 全入力から出力に至るパスを完了できる1人の責任ある開発者。
- 7セッションの実験における固定時間と費用の制限です。
- 非センシティブなテストデータと、受け入れられない障害モードの書面によるリスト。
ステップバイステップ
範囲からチェック済みアーティファクトに移動します。
セッション1 — 1つのユーザーの意思決定を選択
1人のユーザー、1つの繰り返しタスク、現在のワークアラウンド、および製品がより簡単にできる決定または行動を名前付けます。最小限の観測可能な成功信号と、そのアイデアが構築する価値がないと判断される条件を記述してください。
- チェックポイント
- この問題は実際の例でテストでき、すべての人を扱う必要はありません。
- アーティファクト
- 1ページの問題と停止ルールの概要
セッション2 — 1つの完全なフローを定義
入力から有用な出力への最小パスをマッピングし、空、ロード、エラー、拒否、再試行の状態を含めます。必要なワークフローと待つことができる機能を分離します。誰が結果をレビューまたは承認する必要があるかを特定します。
- チェックポイント
- 最初のリリースには1つのエンドツーエンドの結果があり、オーファン機能リストはありません。
- アーティファクト
- フローマップと受け入れチェックリスト
セッション3 — タスクパケットを準備
代表的な入力、期待される出力構造、証拠のニーズ、プライバシーの制約、および失敗例を収集します。プロンプト、モデル識別子、パラメータ、ツール、および文脈ファイルをバージョン管理して、後で観測された動作を説明できるようにします。
- チェックポイント
- ビルダーは、モデルの失敗と曖昧なタスクや不足したコンテキストを区別できます。
- アーティファクト
- バージョン付きタスクおよび評価パケット
セッション4 — 最小限のオペレーティングスタックを選択
フローの制約に応じてツール、モデルアクセス、ストレージ、ホスティング、アナリティクスを選択してください。逆転可能な選択と既存のインフラストラクチャを優先してください。各コンポーネントが存在する理由、コスト、受け取るデータ、交換するタイミングを記録してください。
- チェックポイント
- すべてのコンポーネントは、仮想の未来のプラットフォームではなく、最初のフローをサポートします。
- アーティファクト
- スタックの決定記録
セッション5 — 使いやすいパスを構築し、検証
完全なフローを実装し、タスクパケットでテストしてください。リリースリスクに応じて、コンテンツの安全性、認証、データ処理、タイムアウト、モデルの障害、レートリミット、アクセシビリティ、モバイル動作を確認してください。
- チェックポイント
- このパスは、代表的なすべての例に対して有用な結果または明確な安全な失敗を生成します。
- アーティファクト
- テストされたリリース候補と欠陥リスト
セッション6 — 範囲が限定されたオーディエンスにリリース
トレーサブルなバージョンをデプロイし、パブリックパスを検証し、最小限で役立つグループを招待してください。製品が何をするのか、何をしないのか、データがどのように処理されるのか、そして人間の判断が必要な場所をユーザーに伝えてください。
- チェックポイント
- このリリースは、推測することなく識別、モニタリング、ロールバックが可能です。
- アーティファクト
- リリース記録とユーザーテストスクリプト
セッション7 — 観察された作業から決定する
完了したタスク、失敗パターン、放棄、サポート質問、コスト、定性フィードバックをレビューします。改善するか、繰り返し使用できるようにパッケージ化するか、新しい実験を実行するか、または中止するかを決定します。証拠と決定の理由を保持します。
- チェックポイント
- 次のアクションは、発売日の熱意ではなく、観察された行動と事前に定義された制約に従います。
- アーティファクト
- 決定記録と次の実験
出力物
作業を再利用可能で検査可能に保ちます。
- 問題の明確な停止ルール
- エンドツーエンドのフローと受け入れチェックリスト
- バージョン付きタスクおよび評価パケット
- スタックの決定記録
- 検証済みリリース候補
- プロダクションリリースとユーザーテスト記録
- 証拠に基づく次の決定
決定境界
このチュートリアルが証明しないこと
- 7つのセッションは実験を制限しますが、製品市場適合性、収益、またはプロダクショングレードのシステムを保証するものではありません。
- 高影響の決定には、資格のあるレビュー、より強力な評価、およびこのリリースサイクルの外でのガバナンスが必要です。
- プロトタイプが現実的であるようにするために、個人的または機密データを収集しないでください。
- 初期のユーザーの関心は、より大きな市場や繰り返し可能なビジネスがあるという証拠ではなく、方向性の証拠です。
出典台帳
現在の主要なガイドラインを確認する
- NIST AI 600-1: ジェネレーティブAIプロファイル
文脈に応じて範囲、制御、所有権、評価を定義するためのリスク管理の参考資料。
- RichBay：AIの答えをどう判断するか
タスクの適合性、証拠、不確実性、および使いやすさを分離するために使用されたレビュー方法です。
- RichBay：レビュー済み出力比較
バージョニングタスク、出力のキャプチャ、限られた決定記録の公開の繰り返し可能な方法です。