アルバート・フェルプスは2021年10月にアクセンチュアにプロンプトエンジニアとして入社しました。
GPT-4が2023年3月に発表されて以来、プロンプトエンジニアリングへの関心が非常に高まっています。AIおよび機械学習の専門家は、世界で最も急成長している職種であり、その根拠は世界経済フォーラムの報告書である『Future of Jobs Report 2023』。
本稿では、フェルプスがプロンプトエンジニアであることの意味を説明し、スキルアップを目指す従業員や組織へのアドバイスを紹介します。
アルバート・フェルプスは、いつの日か私たちの誰もが彼の仕事の一部を担うようになるかもしれないと考えています。
「おそらく、いずれ誰もが少なくとも一度はプロンプトエンジニアになるでしょう。プロンプトエンジニアリングは、私たちのあらゆる業務フローに組み込まれるはずだからです。」
2023年3月にGenerative Pre-trained Transformer 4（通称GPT-4）が発表されて以来、プロンプトエンジニアリング（基本的にはAIツールを訓練するためのタスクを書くこと）は、最もホットな新技術職の一つとして注目されており、年収が6桁に上るという給与に焦点を当てた見出しが並んでいます。
1月には、世界経済フォーラムの年次総会（ダボス会議）のセッションで、AIが雇用に与える影響が取り上げられ、プロンプトエンジニアリングが今後成長する職種として強調されました。
現在、AIおよび機械学習の専門家は、フォーラムが発表した最も急成長している10職種のリストでトップに立っており、『Future of Jobs Report 2023』、同報告書では、調査対象企業の75%が今後5年間にAIを導入する可能性が高い、または非常に高いことも分かりました。
AIおよびビッグデータのスキルは、企業のリスキリングの優先事項で3位にランクインしており（中核スキルの評価より12位上昇）、リスキリングの取り組みのうち9%をこの分野に投資する予定です。
フェルプスは2021年10月以降、アクセンチュアで専任のプロンプトエンジニアとして勤務しています。
アクセンチュアの3月の調査では、全業界にわたって、全労働時間の40%が大規模言語モデル（GPT-4などのLLM）の影響を受ける可能性があることが分かりました。言語関連のタスクは従業員の労働時間全体の62%を占めており、そのうち65%の時間は、拡張および自動化によって生産性を高めることができるとしています。
この編集済みインタビューでは、フェルプスが職務の内容を具体的に説明し、人間を関与させ続けることがなぜ重要なのか、そして未来のプロンプトエンジニアを目指す人々へのアドバイスを紹介します。
プロンプトエンジニアとは何ですか。また、日々の業務にはどのようなことが含まれますか。
私は、クライアントが抱えるビジネス上の課題や問題について考え、それをLLMに取り組ませるタスクとしてどのように設定できるかを検討することに時間を費やしています。
日々の業務は、たとえばアナリストと同じように、LLMに決算報告書の解説を作成させる方法を考えることかもしれません。金融サービスの規制遵守をサポートするツールの構築方法を考えることもあります。
重要なのは、タスクと目的を理解し、その後、モデルが正しくそれを行えることを検証するための条件を設定し、プロンプトを作成して繰り返し改善することです。
ある意味で、これはソフトウェアエンジニアリングに似ています。動作することを証明し、最適化できる段階に到達することを目指すからです。私たちが最適化を図る主な要素の一つはトークン長です。トークンは推論時のコストに直結するためです。できるだけ少ない量で、できるだけ多くの有用な意味と指示をモデルに伝えることを目指しています。そのため私は、クライアントが抱える課題や関心を理解し、それらの問題や事業目標に対応するためのプロンプトと、そのプロンプトで構築したアプリケーションを設計しています。
世界経済フォーラムは、テクノロジーの責任ある利用をどのように確保していますか。
AIは、あなたの業務をどのように拡張していますか。
これは、人間を関与させる設計が基本です。モデルをテストし、提案を行う過程で、自分とLLMとの間で行う対話のようなものです。
プロンプトにはさまざまな手法がありますが、私はまず「ゼロショットプロンプト」から始めます。これは、基本的には、タスクを一連の指示に落とし込み、例なしでモデルがそれに従うことを想定するものです。その後、「このタスクの一部はうまくできたが、別の部分はうまくできなかった」と確認します。そのうえで、そのタスクを実行する例をモデルに与えることもあります。私の多くのユースケースは、私の経歴から金融サービスや銀行業務に関するものです。
私は、トピックについてLLMより詳しいか、少なくとも同等の知識を持っていることが重要だと考えています。モデルが正しく答えている箇所と誤っている箇所を見極められる必要があるからです。プロンプトを作成してアプリケーションに組み込み、モデルがそれに一貫して従うようになった後でも、これは新しい技術であり、関連するリスクがあるため、本番運用に移す際には人間を関与させたいと考えています。
また、仕事を楽しむという観点からは、一般的に拡張型のユースケースの方が、仕事をしている人々にとってより良いと考えています。一部のタスクは面倒だったり難しかったりします。たとえば、私のスケジュール管理をしてくれるボットがあれば本当に助かります。私が取り組むこうした事例の95%では、高品質なプロンプトを開発した段階でも、新しい技術であるため、本番運用の際には人間を関与させることを想定しています。
「トークン」とは正確には何ですか。
トークンは単語の一部であり、基本的にはOpenAIのGPT-4やAnthropicのClaudeといったクローズドソースのLLMの課金モデルです。課金体系は通常、そのモデルでアプリケーションを構築する際に消費するトークン数に基づいています。LLMのいわゆるコンテキストウィンドウに入れられる量には制限があります。そのため、コストの観点だけでなく、構築したものを利用する人々がメモリを使い果たす前に、より深くやり取りできる機会を与えるという観点からも、効率的に問い合わせる必要があります。こうした点に対する技術的な緩和策もあります。
現在、私が特に取り組んでいることの多くは、複数のプロンプト化されたLLMをどのように組み合わせるかということです。新しいユースケースや実証の材料を探すためにプロンプトを試している段階よりも、本番アプリケーションとしてこれを検討することが通常です。
良いプロンプトとは何ですか。
LLMごとに、最適なプロンプトの方法は微妙に異なります。ゼロショットやフューショットプロンプトのような一般的な手法もあります。しかし典型的なプロンプトでは、まず、人格ではないにせよ、モデルに担ってほしい役割を、システムプロンプト内に記述しておくことを試みます。
たとえば、コンプライアンス調査アシスタントを検討しているなら、「あなたが得意とすること、限界として認識すべきこと、学習データのカットオフ日はXであること」といった形で書くでしょう。必要に応じて、そのシステムプロンプトの中で、さらに複雑な設定を加えていきます。
私は選択・推論フレームワークを多用しています。これは、モデルが回答を出す前に、私が与えたコンテキストから選択するよう指示することを意味します。その選択は、プロンプト内で行われることもあれば、外部データベースを呼び出して、私が尋ねた質問に基づく関連情報を選ばせることもあります。そして、回答を示す際には、その情報から推論を行わせます。つまり、モデルが回答を返す過程を分割するのです。これは診断に役立ちます。「モデルが誤った回答をした。それは誤った情報を選んだからか、それとも情報から誤った推論をしたからか」と判断できるからです。
この種のプロンプトエンジニアリングは、私にとって非常に刺激的です。2022年に、DeepMindとアントニア・クレスウェルによる論文が発表されました。その利点は、モデルが回答をどのように導き出しているかを検査できることであり、誰もが認識しているであろう、これらのモデルの多くが抱えるブラックボックス性という課題を緩和できることです。モデルが回答をどのように導き出しているかを示させ、「自然言語による因果推論の痕跡」と呼ばれるものを得る方法を目指しています。つまり、「ユーザーがこの質問をした、モデルがこのデータを選んだ、モデルがこの推論をした、これが回答だ」と確認できるようにするのです。
プロンプトエンジニアになるまでの経歴はどのようなものでしたか。
私のキャリアは、常に金融サービスにおける言葉に関わるものでした。私は小売銀行の最前線でキャリアを始めました。苦情対応、コンプライアンスの品質チェック、銀行の是正措置（リメディエーション）に携わりました。これにはデータも関わっていました。銀行で何か問題が起きた際の顧客への影響を考え、それに金銭的な価値をどう割り当て、顧客に謝罪する方法を考える必要があったからです。
その後、リスクベースのコンプライアンスに移り、データプライバシーとサイバーセキュリティに携わりました。規制の内容を確認し、技術者が規制に準拠できるよう支援する仕事です。次第に技術分野に移り、統制を自動化し、より信頼性の高いものにすることに取り組むようになりました。
私は2020年末から2021年初めにかけて、GPT-3について読んだばかりでした。
「プレイグラウンド」で、私は自身の専門分野である規制とサイバーセキュリティについて質問やプロンプトを入力し始めました。このモデルは、話しかけ方を変えると、それと同じ調子で返答するという、模倣が非常に得意でした。これは印象的でした。従来の自然言語処理のように私の意図を直接対応づけるのではなく、私の話し方を自然に捉えて、それを返してくれたからです。とても機械的だった以前の仕組みとは異なり、これは私の話し方を自然に拾い上げ、それに応答してくれていました。ただし、今日よりもはるかにプロンプトを書くのが難しいものでした。
その時、これは非常にエキサイティングだと思い、フルタイムでこれに取り組みたいと考えました。幸運にもアクセンチュアと出会うことができました。それ以来、この歩みの結果として、クライアントのためのプロンプトや、さらにはプロダクトの構築に取り組んでいます。
プロンプトエンジニアになるには、どのようなスキルが必要ですか。
文章を書く際に、明確かつ簡潔であることが重要です。英語、歴史、哲学を学んだ人は喜ぶべきです。非常に高度なモデルとも、言葉だけでやり取りできるからです。これは素晴らしいことです。
言葉だけでプロンプトを作成することと並行して、私はそれらのプロンプトを技術的にアプリケーションへ組み込む方法を学んできました。たとえば、GPTシリーズのモデルとGitHub Copilotによって、私のコーディング能力は大幅に向上しました。今ではOpenAIのプレイグラウンドや、クライアントが利用したいと考えている他のLLMプロバイダーの中でプロンプトを使用・作成するだけでなく、その技術のおかげでコマンドラインインターフェースに移行し、アプリケーションを構築できるようになっています。
つまり、コンピュータサイエンスの経歴は必要ないということですか。
私が一緒に働いている優秀なデータサイエンティストの中にも、素晴らしいプロンプトエンジニアとして活躍している人がいます。この分野の特徴は、どちらの側からもアプローチでき、中間で出会えることです。プロンプトエンジニアリングにおいても、ソフトウェア開発の基本的な実践は依然として重要です。しかし、言葉で自分を表現できるならば、アンドレイ・カルパシーの言葉があります。「最もホットな新しいプログラミング言語は英語である」。
クライアントとのプロダクト開発において、それが実証されていると感じます。私はテクニカルな側面にも常に関心を持ってきましたが、今では完全に技術的なバックグラウンドがなくても、参入の障壁はそれほど高くありません。
他のプロンプトエンジニアの中にも、人文学的なバックグラウンドを持つ人が多くいると思いますが、それは素晴らしいことです。多様な視点や多様な経験は、あなたが構築するプロダクトや取り組むソリューションを、より良いものにするはずです。
生成AIに関連するリスクにどのように対処していますか。
オープンソースモデルとクローズドソースモデルの間には、常にバランスが存在すると思います。組織は、LLMのファインチューニングに関するスキルを身につけたいと考えるでしょう。ここで私が言うのは、モデルに示すことのできるより多くの例のことです。
クライアントに私が伝えているのは、オープンソースモデルとクローズドソースモデルの両方を検討するべきであり、どちらにも価値があるので、両方のスキルを身につける必要があるということです。ただし、現時点では、テキストに関してはクローズドソースモデルとオープンソースモデルの性能差は依然としてかなり大きいと思います。
それは単純に、OpenAI、Cohere、Anthropicのような企業が作成できるモデルのパラメータ数と規模に起因します。さらに、人間のフィードバックによる強化学習を行うための研究所内の専門知識にも関係しています。それによってモデルはより有用になり、指示にもよく従えるようになります。
そのため、入力する内容には注意してください。各モデルプロバイダーの多様な側面や、提供している利用規約についても、いずれ話し合うことができます。
プロンプトエンジニアリングが注目を集めて以降、何が変わりましたか。
私は6か月間、誰にも邪魔されず、ただプロンプトを書くことに没頭していました。ChatGPTが話題になってからの過去6か月は、大きく違ってきました。今では、多くの人にこれを教え、どのように語るかが中心になっているからです。
しかし、私の知見から学んでいる優秀で質の高いプロンプトエンジニアや、アクセンチュア内でこの知見を持つすべての人がいます。たとえば、アクセンチュア・クラウド・ファースト部門のData & AIグループでグローバルAIソリューションリードを務めるノエル・ラッセルは、これを理解したいアクセンチュアの全社員向けに研修を実施しています。
私が予想していた以上に大きな話題となっています。以前、GPT-3を使っていた頃でさえ、それが変革をもたらすと分かっていましたが、普及には時間がかかりました。OpenAIのプレイグラウンドが100万人のユーザーに近づくまでには、数年かかりました。GPT-4では、非常に短期間でそれが実現しました。しかし、それはすべて良いことです。新しい試みやモデルのテスト、そして新しいものを構築する機会が増えるからです。
AIが雇用に与える影響は何だと思いますか。
私は雇用に関して、まったく悲観論者ではありません。それは前向きなものになると思います。市場で最も成熟したLLM製品はおそらくGitHub Copilotで、約2年間存在しています。
それを使っている開発者に話を聞くと、GitHubや他の研究によれば、仕事が格段に楽になるため、皆それを気に入っています。コパイロットがコードを書き、開発者はその内容に問題がないことを確認し、その後で実行できるのです。
今日、スタンフォード大学の研究を見ました。それは、比較的経験の浅いコールハンドラーが、顧客と話す際に生成AIの支援を受けられるという内容でした。たとえば、「これは顧客の気分です。次に言うべきことはこれかもしれません」という具合です。必ず従う必要はありませんが、従うこともできます。その結果、彼らのパフォーマンスは大きく向上し、6か月か1年勤務している人のような働きぶりになったと考えています。
新しい役割に就いた人にとっては、自己実現を果たし、生産的になるまでの時間を短縮できるようになるでしょう。誰もが良い仕事をしていると感じたいものです。そこで生成AIが役立つのです。
私のパートナーであるリッキ・ターナーはアーティストで、生成AIに大きな影響を受けています。彼女は自分の描いた絵をimage-to-textモデルに通し、AIがその絵をどう解釈したかに基づいて、作品のタイトルを生成してもらっています。
すべてが自動化されると考える人々は、人間の心の力と柔軟性を過小評価していると思います。
私たちは新しいものを愛しますが、それにもすぐ適応します。
アルバート・フェルプス、アクセンチュア
プロンプトエンジニアリングの分野に入りたい人に、どのようなアドバイスをしますか。
まずは周辺知識を読むことです。論文はいくつかあり、2022年の名著もあります。たとえば思考連鎖（Chain-of-Thought）推論、ゼロショット思考連鎖推論、そして選択・推論フレームワークなどです。これらは、プロンプトエンジニアリングとその効果について、技術的に最適な入門書です。古いモデルでは、算数のような単純な計算問題を尋ねると、間違えることがありました。しかし「ステップごとに考えてみましょう」というフレーズを付け加えるだけで、モデルは問題を一段階ずつ解き、正しい答えを出せるようになりました。
これがプロンプトエンジニアリングの力であり、適切な言葉を選ぶことで、モデル内にそれまで気づいていなかった創発的な能力を見いだせるのです。そのため、学術論文を読むことも大切ですが、モデルを実際に触ってみることも重要です。
最新の基盤モデルをテストできるAPIやアプリケーションは数多くあり、OpenAI、Anthropic、Cohereなどの企業が提供しています。OpenAI Playground、ChatGPT、Cohere Playground、AnthropicのClaudeなどです。
まずはプロンプトを書いてみることです。それが最良の学び方です。試行錯誤を通じて、自分の書き方の特徴を理解し、自分に合った、やりたいことに合うプロンプトの書き方を知ることができるからです。
アルバート・フェルプス、アクセンチュア
この職務にレジリエンス（回復力）をどのように組み込めますか。
興味深い問いです。先日、LLMを用いてLLM向けの自動プロンプト作成を行う論文を見ました。あなたも、『Auto-GPT』に関する誇大な話題を目にしたことがあるかもしれません。指示を与えると、それ自体で作業を実行していくというものです。
私は偏った見方をしているかもしれませんが、生成AIは比較的リスクの高いAIであり、私たちがクライアントに伝えているように、少なくとも設計段階とテスト段階では、正しく機能するかを検証するために、常に人間を関与させたいと考えるので、この職務は残り続けると思います。
モデルを切り替えるたびに、プロンプトの書き方はほぼ必ず変わります。そのため、適応力を持ち、基盤技術についての核となる理解を持つことが重要です。数学を知る必要はありませんが、どのように機能するのか、私が望む振る舞いを引き出す最善の方法は何か、などを理解しておく必要があります。専門的な意味では、LLMに課題を効果的、安全かつ責任を持って実行させる方法として、この職務は今後も残ると考えています。
しかし、いずれ誰もが少なくとも一度はプロンプトエンジニアになると思います。プロンプトエンジニアリングは、私たちのすべてのワークフローに組み込まれるはずで、マイクロソフトの方向性を見れば、そう予想できます。
しかし、適切な質問を知っておく必要がありますよね。だから、いずれ誰もが、少なくともある時点で、この役割の一部を担うことになると思います。
