お問い合わせ番号：644247　最終確認日：2026年04月13日

【JAPAN AI】AI Quality Scientist / Japanese

JAPAN AI株式会社

お問い合わせ番号：644247　最終確認日：2026年04月13日

求人の特徴

無料この求人を紹介してもらう

募集内容
勤務条件
企業情報
応募の流れ

募集内容

業務内容	### 業務内容 - 評価メトリクスの研究開発 * LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) * 評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) * 報酬モデリング / preference learning の評価への応用研究 * 評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) * 評価セット (合成データ + 実ログ) の設計・構築・メンテナンス - 自動評価パイプラインの設計・構築 * スケーラブルな自動評価パイプラインの設計・実装 * CI/CD への評価パイプライン組込みと品質ゲートの構築 * エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) * 評価パイプラインの再現性・信頼性の担保 - 安全性・品質検証 * 自動レッドチーミング (automated adversarial testing) の研究・実装 * 安全性 / ポリシー準拠の検証フレームワーク構築 * ハルシネーション検出・校正手法の研究・実装 * プロンプト / ツール回帰テストの設計・実行 - 統計分析・実験設計 * 統計的実験計画 (A/B テスト、有意差検定) の設計・分析 * 品質トレンドの可視化・回帰検出の自動化 * 品質レポート作成と改善提案 * 評価シグナルの研究・開発チームへのフィードバック ### 業務内容 - 評価メトリクスの研究開発 * LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) * 評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) * 報酬モデリング / preference learning の評価への応用研究 * 評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) * 評価セット (合成データ + 実ログ) の設計・構築・メンテナンス - 自動評価パイプラインの設計・構築 * スケーラブルな自動評価パイプラインの設計・実装 * CI/CD への評価パイプライン組込みと品質ゲートの構築 * エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) * 評価パイプラインの再現性・信頼性の担保 - 安全性・品質検証 * 自動レッドチーミング (automated adversarial testing) の研究・実装 * 安全性 / ポリシー準拠の検証フレームワーク構築 * ハルシネーション検出・校正手法の研究・実装 * プロンプト / ツール回帰テストの設計・実行 - 統計分析・実験設計 * 統計的実験計画 (A/B テスト、有意差検定) の設計・分析 * 品質トレンドの可視化・回帰検出の自動化 * 品質レポート作成と改善提案 * 評価シグナルの研究・開発チームへのフィードバック変更の範囲：有会社の定める業務
必要な経験	- コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験 - MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上 - LLM / 生成AIの評価手法に関する深い知識 - 統計学・実験計画法の実践的知識 - Pythonでの ML / 評価パイプライン構築経験 - 機械学習フレームワーク（PyTorch, JAX, TensorFlow等）の実務経験 - 評価メトリクスの設計・実装経験 - 言語レベル : いずれか必須 - 日本語 : Fluent (プロダクト開発において齟齬なく議論を行えるレベル) - 英語 : ビジネスレベル	- コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験 - MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上 - LLM / 生成AIの評価手法に関する深い知識 - 統計学・実験計画法の実践的知識 - Pythonでの ML / 評価パイプライン構築経験 - 機械学習フレームワーク（PyTorch, JAX, TensorFlow等）の実務経験 - 評価メトリクスの設計・実装経験 - 言語レベル : いずれか必須 - 日本語 : Fluent (プロダクト開発において齟齬なく議論を行えるレベル) - 英語 : ビジネスレベル
必要な免許・資格	特になし
学歴	大学　大学院

雇用形態	正社員試用期間：有/1ヶ月
勤務地	勤務地1 東京都新宿区西新宿住友不動産新宿オークタワー５/６階 [変更の範囲] 有会社の定める場所受動喫煙対策敷地内禁煙(屋外喫煙可能場所有)
給与	想定年収 800 ～ 1600 万円月給 57.1 ～ 114.3万円給与形態固定給制(月給制)
勤務時間	[勤務時間] 10:00 ～ 19:00（実働：8時間00分）フレックス有休憩時間：60分 [平均残業時間] 確認中 [みなし残業] 確認中 [フレックスタイム] 有（コアタイム：10:00～19:00）
休日・休暇	[年間休日] 120日 [年次有給休暇] 10～20日土曜日日曜日祝日年末年始夏季特別産休育児完全週休二日制(土日祝)、年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日〜1月3日）、慶弔休暇完全週休二日制(土日祝)、年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日〜1月3日）、慶弔休暇
手当・福利厚生	住宅補助定期健康診断残業手当
昇給・賞与	[昇給]年2回 [賞与]年2回
保険	健康厚生年金雇用労災

勤務条件

雇用形態	正社員試用期間：有/1ヶ月
勤務地	勤務地1 東京都新宿区西新宿住友不動産新宿オークタワー５/６階 [変更の範囲] 有会社の定める場所受動喫煙対策敷地内禁煙(屋外喫煙可能場所有)
給与	想定年収 800 ～ 1600 万円月給 57.1 ～ 114.3万円給与形態固定給制(月給制)
勤務時間	[勤務時間] 10:00 ～ 19:00（実働：8時間00分）フレックス有休憩時間：60分 [平均残業時間] 確認中 [みなし残業] 確認中 [フレックスタイム] 有（コアタイム：10:00～19:00）
休日・休暇	[年間休日] 120日 [年次有給休暇] 10～20日土曜日日曜日祝日年末年始夏季特別産休育児完全週休二日制(土日祝)、年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日〜1月3日）、慶弔休暇完全週休二日制(土日祝)、年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日〜1月3日）、慶弔休暇
手当・福利厚生	住宅補助定期健康診断残業手当
昇給・賞与	[昇給]年2回 [賞与]年2回
保険	健康厚生年金雇用労災

企業情報

企業名	JAPAN AI株式会社
企業HP	https://japan-ai.co.jp/about/
本社所在地	〒1600023 東京都新宿区西新宿 6-8-1 住友不動産新宿オークタワー5/6階
事業内容	◆人工知能の研究開発・人工知能に関するコンサルティングサービス └全社で使える汎用型AI AGENTプラットフォーム（JAPAN AI AGRENT／JAPAN AI CHAT／JAPAN AI SPEECH） └部署ごとの課題を解決する特化型AI AGRENT プラットフォーム（JAPAN AI SALES／JAPAN AI MARKETING／JAPAN AI HR／JAPAN AI CALL／JAPAN AI 行政） └AIで業務を変革するエンタープライズワークスペース（JAPAN AI STUDIO） └AIトランスフォーメーション（AX）に伴走するAI開発・コンサルティング（JAPAN AI CONSULTING）	◆人工知能の研究開発・人工知能に関するコンサルティングサービス └全社で使える汎用型AI AGENTプラットフォーム（ JAPAN AI AGRENT ／JAPAN AI CHAT ／JAPAN AI SPEECH ） └部署ごとの課題を解決する特化型AI AGRENT プラットフォーム（ JAPAN AI SALES ／JAPAN AI MARKETING ／JAPAN AI HR ／JAPAN AI CALL ／JAPAN AI 行政） └AIで業務を変革するエンタープライズワークスペース（JAPAN AI STUDIO） └AIトランスフォーメーション（AX）に伴走するAI開発・コンサルティング（JAPAN AI CONSULTING）
代表者	工藤智昭