【23 Daily】saastr.com の報道によると、SaaStr チームは最近、「10K」と呼ばれる AI エージェントを利用し、3社のメールサービスプロバイダにおける配信率テストを完全自動化し、50万通を超える大規模な検証を行った。この AI 駆動の競技は従来の人的負担の大きいテスト工程を加速し、メール配信パフォーマンスを多角的かつ正確に評価することで、企業がメールサービス選択に際してより客観的な判断基準を得る結果となった。

大規模メール配信テストで人的限界を突破

従来のベンダー比較（vendor bake-offs）は数百通のテストメールで評価し、ダッシュボードやレポート結果をもとに判断していたが、SaaStr は AI エージェント 10K を用い、50万通以上のメールを対象に配信テストを実施した。これは人力では不可能な規模である。10K は検知可能な問題をすべて把握し、多変量診断を行い、即日対応可能な推奨事項まで提示した。

今回のテストは、3社のメールサービスを比較検証し、AI Day キャンペーンで約2300名ずつのマッチドグループを2組作成。同じ内容・同時刻で配信した。結果は、チャレンジャーのメールが既存プロバイダの2.4倍の開封率、2.9倍のクリック率を記録し、配信の質が鍵となっていることが示された。

詳細な診断がベンダーシステムの問題点を浮き彫りに

10K はあるベンダーの配信フローが「完了」と表示されているのに、8万回以上の試行がすべて失敗していることを発見。ベンダーのステータスページは常に正常と表示されていた。10K は単一変数を変更し4回の診断送信を実施、内容・設定・リストの問題を排除し、障害はベンダーの輸送層にあると特定した。

従来の2週間トライアルであれば、「完了」のダッシュボード表示だけで問題に気づかずに終えていた可能性が高い。

編集部の視点：AI エージェントが企業のメールベンダー選定を変革

今回の AI ドリブンな大規模テストは、企業が自動化・標準化された手法でメールベンダーのパフォーマンスを詳細に把握可能であることを示した。専門の配信チームを持たない組織にとって、10K のような AI エージェントは、従来は数週間かかっていた複雑な評価を瞬時に実施できる手段となる。

検証方法と起業機会

この技術の実効性を検証するために、起業家や企業は同条件のマッチンググループを設定し、AI エージェントを使って多変量データやステップレベルの結果を持続的に監視し、実際の配信状況を確認。ベンダーの自己申告レポートに依存しない評価が可能になる。

こうした AI 駆動の配信率テストサービスは、メールマーケティングや SaaS 事業者など関連分野の大きなビジネスチャンスとなり、ユーザーは最適なベンダー選択と運用効率の向上を実現できるほか、市場競争における差別化要素にもなり得る。