勉強会に参加した感想をまとめます。
イベントの概要
Product Engineering Nightは、プロダクト志向のエンジニア達が集まり、知見を共有し、議論を深めることを目的とした場です。セッションを通じて体系的にまとまったプロダクト開発の知見を学ぶだけでなく、Unconferenceでは参加者のプロダクトエンジニア同士の議論からの学びも大切にするコミュニティイベントとなります。
今回の「10月号」では、AIを活用したプロダクト機能とプロダクトエンジニアリングの実例の２種類のセッションを依頼しました。AI機能によりユーザーへの提供価値を高めたプロダクトが出始める中で多くのプロダクトエンジニアも関心が高まっていると感じており、今回はLLM初期から取り組まれてきたIVRy・Helpfeelの２社に登壇いただきます。また、プロダクトエンジニアリングの具体例を深めるために、実際に直接顧客インタビューを行い課題をものづくりに反映していった事例をタイミーより登壇いただきます。
前回より Product Engineering Nightという名称に変更し、特定の職種によらず、プロダクト価値を高めるために幅広い技術・知見を交わす場として再設計しています。（旧 Product Engineer Night）プロダクトエンジニアに関する note はこちら
引用：
イベント参加の背景
- プロダクトエンジニアという概念にここ１年ぐらい魅了され続けている。
- 今回は#10ということもあってLT枠応募…！！…不採択！！
- 学びと刺激を貰いに今回も現地参加してきました。
会場
タイミーさん！
セッション
Session1 LLMをプロダクトになじませる
メモ
Helpfeel = 疑問解決エンジン
どんな言葉でも検索できる。本文にない表現でも検索できる。
・意図表現
全文検索での課題：思いついた言葉と記事のギャップ。
意図表現で検索を可能としている。
意図表現でどうやって導入させるかがHelpfeelの勝負。
・ベクトル検索
意図表現を人間が書かずAIが書く。
それを人間がレビューして取り入れる。
課題：検索対象が増えると、検索のための意図表現が複雑になる。
・RAG
LLMが持っていない知識を外部から与えて回答の精度を向上させる。
Helpfeelでは検索機能で利用している。原典参照までを実現。
RAGで引用ベースの回答を事前生成し、即興生成を避ける運用。
そのために事実抽出を実現し、重要な情報を保持している。
参考：
要約回答はハイコンテキストな意図表現。
事前生成型RAGも文章拡張として捉えられる。
現在、速度を犠牲にしても柔軟な回答を実現する
エージェンティク検索の実現を目指している。
感想
もともと情報が固いところに対するLLMの適用の仕方について学びになりました。
ユーザーが呼び出す前に情報を整理しておく。
ある意味自分がデータに対して一面的な捉え方をしていたことに気が付きました。
裏でバッチを走らせて情報を整えるような捉え方をすれば分かりやすいのかも。
Session2 LLMを含むAI系APIを本番環境で2年運用してきていろんな罠に遭遇した話（仮）
メモ
落とせないLLMシステム。2年間運用して苦労してきた話。
IVRyの電話システム=さまざまな問い合わせを認識して対応するLLMベースのシステム。
・運用初期問題なかった。大規模Azure OpenAI障害発生。
当時はOpenAIが一番の選択肢だったため、影響は大きかった。
ただ、日本リージョンだけはなぜか大丈夫だった。該当システムも無事。
そのことによって、LLMが落ちることを学んだ。
そこから監視体制の実現。フォールバック（LLMが落ちたら別のLLMに）の導入（LiteLLM）。
それでも問題が。
・フォールバックで解決できる問題は一部でしかない。
APIが完全に落ちないとフォールバックされない。
障害パターン１：レイテンシーの悪化
普段1sが10sに。タイムアウトしないのでフォールバックしない。
特定の入力モダリティのみで発生。
→対策：レイテンシーに対する監視を細かくやる
障害パターン２：突然の精度劣化
明示的なエラーではない。
→対策：障害パターンごとのplaybookを作成。障害訓練を実施。
・LiteLLM問題
LiteLLMアップデートで問題発生。外部ライブラリを使うとよくある問題。
→対策：別ライブラリへの移行。自前実装の方がコントロールできて吉。
感想
システムエラーに達しなくてもそれは障害になるという学びと共に、
それが生成AIに対しても同じように捉えられることがとても面白かったです。
そして、それを検知するためにはユーザーとの距離感であったり、
異変を検知するためのアンテナが重要と学びました。
Session3 アウトカムにコミットする プロダクトエンジニアリング
メモ
アウトカム＝相手に与えるプラスの意味での行動変容。
今まで：タスクの遂行、デリバリーへの意識でのアウトカムへのアプローチできていた。
職能横断型のチームでやっていること。
・LeanUXキャンバス
・FigmaMakeでのソリューションの可視化
・ユーザーインタビュー。メンバーは１回は体験する。
・開発。デリバリーを早めるための工夫をする。
・検証。リリースした機能の影響確認。結果に応じて機能拡張、または撤退もある。
チームでアウトカムの実現のために探索を取り組んでいる。
感想
アウトカムに向けて動いていくためのプラクティスやツールについて学びました。
また、チームでアウトカムに向けた探索に動けることは強い。
Lean UX Canvas学ぼう。
Session4 Biz/Dev二刀流からの実践知 - 重厚長大な企業で挑むプロダクト開発における思考と判断
メモ
伝えたいこと：役割の変化
今年の４月から開発者とプロダクトオーナーの兼務。
三菱重工業：デジタルの内製組織が横串で全社の支援している。
ECサイト、カスタマーポータルなど作っている。
兼務メリット：コミュニケーション、全体最適な判断
課題１：
開発をしながらプロダクトの中長期的な視点を持つことが難しい。
時間や思考負荷に対する自分のリソースの使い方に悩む。
短期的な課題に追われるとうまくいかず、青写真を追っていってもうまくいかない。
課題２：
優先順位付けにおいて開発側の都合を優先してしまいがち。
解決策１：
意識的な帽子のかぶり分け。ノンテックな環境での思考。
機能ベースではなく体験ベースでの整理。
解決策２：
OKR設定。価値の言語化の徹底。
ユーザーの行動を測定するための開発の優先度を上げる。
優先順位付けにおいて迷いが減った。
大切にしているマインド
・自分が手を動かすことができるメリットを最大限に活用
・越境から融合へ進むことを見据える。短期的な越境だけでなく恒久的な融合に。
感想
刺さりました。
４月からエンジニアとしての役割に戻り、プロジェクトマネージャーとの兼務に悩んでいた時期が大きかったため、同調する部分が大きかったです。
そして、大変さとそれを乗り越えるための試行錯誤に刺激を受けました。
越境ではなく融合という言葉もそれを当然にしていきたいと感じました。
Unconference! (交流会)
学びの多い時間をありがとうございました。
最初の席では生成AIの話を多く聞くことができました。
普段聞くことのできない話に多く学びを得ました。
そのうえで、作る目的が無いと結局はうまくいかないということが、
AIの世の中になっても不変であると改めて感じることができました。
そして、RYOさんからお話聞くことができ、多くの刺激をいただきました。
エンジニアコミュニティに対する熱量の重要性を改めて感じることができました。
丹羽さんにXP祭りの登壇でブログを引用させて頂いたことをお伝え忘れたことをすこし後悔です。
感想
毎回、Product Engineering Nightに多くの刺激を頂いています。
丹羽さんや運営の方たちに大きな感謝です。
次は２周年とのことです。
product-engineer.connpass.com
Developers CAREER Boost 2024で丹羽さんのお話を聞いてから１年が経つんだ…！！
今度こそ青い炎のともったプロポーザルを出したい。
