SHIBUYA SYNAPSE

先端AI技術を活用した
新たな価値ある
サービスを共創するイベント

本イベントは終了しました

KEYNOTE

現在の強化学習に何が足りないのか?

by 荒井幸代・太田宏之・小宮山純平・高橋
達二・鶴岡慶雅・
三宅陽一郎・森本淳・
山川宏 (50音順) (司会:甲野佑)
詳細はこちら

ABOUT SHIBUYA SYNAPSE

深層学習に代表されるAI技術の成熟により、ビジネスと
研究開発の距離が縮まっており、
それらを両輪で
進めなければ真に価値あるサービスを適切なスピードで
提供することが難しくなっています。
SHIBUYA SYNAPSEは、このような環境において、
企業×大学や、プランナー×エンジニアといった異なる
バックグラウンドを持つ参加者の有機的なつながりにより、
先端AI技術を活用した新たな価値あるサービスの
共創の場を提供することを目的に設立されました。

SCHEDULE

  1. 受付

  2. オープニング

  3. 多様な強化学習の概念と課題認識
    by 甲野佑(株式会社ディー・エヌ・エー)・中田勇介(千葉大学)・河村圭悟(東京大学)

  4. 10分休憩
  5. 認知科学からの視点:満足化によるエミュレーションと、判定問題としての強化学習
    by 高橋達二(東京電機大学)

  6. 大脳基底核研究の新展開と強化学習
    by 太田宏之(防衛医科大学校)

  7. デジタルゲームの調整・デバッグ・品質管理における人工知能技術の応用
    by 三宅陽一郎(株式会社スクウェア・エニックス)

  8. ゲーム業界における強化学習の実応用の課題認識
    by 奥村エルネスト純(株式会社ディー・エヌ・エー)

  9. ロボットの運動学習とその困難さ
    by 森本淳(国際電気通信基礎技術研究所 (ATR) )

  10. 10分休憩
  11. 現在の強化学習に何が足りないのか?
    by 荒井幸代(千葉大学)・太田宏之(防衛医科大学校)・小宮山純平(東京大学)・
    高橋達二(東京電機大学)・鶴岡慶雅(東京大学)・三宅陽一郎(株式会社スクウェア・エニックス)・
    森本淳(国際電気通信基礎技術研究所 (ATR) )・
    山川宏(NPO法人全脳アーキテクチャ・イニシアティブ)(50音順)(司会:甲野佑)

  12. 10分休憩・会場準備
  13. 懇親会

TOPICS

多様な強化学習の概念と課題

強化学習は自律的に試行錯誤してデータを収集し、課題環境内で得られる報酬を最大化する行動系列(手順)を獲得する学習手法である。強化学習分野としては最も基本的なTD学習や方策勾配法が有名ではあるが、より高度な問題を扱う以下のような発展分野も存在する。
・学習された将来の状態遷移の予測モデルを併用するプランニング
・意思決定過程を階層的にすることで課題への汎用性・転移を容易にする階層型強化学習
・エキスパートの振る舞いから主観的な報酬等を逆推定して強化学習を加速させる逆強化学習
・不完全な観測情報や環境のマルチエージェント性を補う高度なゲーム AI の知見との融合
本講演ではこれら分野の主要な概念・アルゴリズムの紹介や、これら高度な技術を導入してまで対処すべき強化学習・自律的なエージェントAIの抱える問題認識を紹介する。


SPEAKER

甲野佑

株式会社ディー・エヌ・エー AIシステム部AI研究開発第二グループ AI研究開発エンジニア

博士 (情報学)。2017年4月に中途入社。前職では大学でヒトの意思決定傾向や脳における行動の習慣/階層化過程を組み合わせた強化学習モデルの基礎研究を行っていた。入社以来ゲームAI開発に携わっており、学習アーキテクチャ全体の設計と強化学習アルゴリズムの開発などに従事している。


SPEAKER

中田勇介

千葉大学大学院 融合理工学府 地球環境科学専攻 都市環境システムコース 荒井研究室 修士2年

2015年明石工業高等専門学校建築学科卒業。2017年千葉大学工学部都市環境システム学科卒業。現在、同大学院融合理工学府博士前期課程在学。機械学習、特に強化学習・逆強化学習の研究に従事。学外では、強化学習の勉強会(強化学習アーキテクチャ勉強会)に運営幹事として参加し、2018年2~3月には株式会社ディー・エヌ・エーの強化学習研究開発グループでインターン。逆強化学習・強化学習の実問題への適用に関心を持つ。


SPEAKER

河村圭悟

東京大学大学院工学系研究科電気系工学専攻 鶴岡研究室 修士2年

東京大学工学部卒業、2017年より同大学大学院工学系研究科に在籍。学部時代より強化学習と教師あり学習を組み合わせて多人数不完全情報ゲームのナッシュ均衡解を求める研究を行っている。修士ではより大規模なマルチエージェント環境について強化学習を適用するタスクに取り組んでいる。第21回ゲームプログラミングワークショップ研究奨励賞受賞。

認知科学からの視点:
満足化によるエミュレーションと、判定問題としての強化学習

限定合理性・満足化の新しいモデルを与え、その優れた性質を分析する。当モデルは動物の摂餌行動に広汎に見られる巧みなリスク感受性の切り替えを表現し、プロスペクト理論やフレーミング効果に似た効果も実装している。さらに、社会的学習の重要な一種であるエミュレーションのモデルとしても有効であり、かつ強化学習を最適化問題でなく決定問題として解く可能性を開くことを議論する。


SPEAKER

高橋達二

東京電機大学 理工学部 情報システムデザイン学系 准教授

1978年秋田県生まれ。東京電機大学理工学部情報システムデザイン学系(知能情報デザインコース)准教授。ドワンゴ人工知能研究所協力研究員。東京大学教養学部基礎科学科科学史・科学哲学科卒業。神戸大学自然科学研究科修了。博士(理学)。ロンドン大学バークベック校 訪問研究員、パリ高等研究実習院 (EPHE) 訪問研究員、東北大学電気通信研究所 共同研究員、日本女子大学 総合研究所 研究員、学習院大学 計算機センター 研究員を歴任。内部観測研究室を主宰し、認識の外部を捉まえる認知の柔軟さと創造性を可能な限り計算論的・経験的に研究したく、認知モデリングとその機械学習への応用、また心理実験を行う。Cognitive Science Society、人工知能学会、日本認知科学会などの会員。

大脳基底核研究の新展開と強化学習

ドーパミンニューロンが強化学習のTD誤差信号に似た挙動を示すことが報告されたことによって、ドーパミン-大脳基底核系と強化学習の関係が検討されてきました。近年、神経系に対する遺伝子改変技術の進歩によって高度な計測制御が可能となってきています。それに伴い、大脳基底核に関する様々な知見が報告されています。それらの中には、強化学習アルゴリズムをグレードアップさせるアイデアの元となるな情報も含まれています。本講演では、最近の大脳基底核研究の進展を元に今後の強化学習アルゴリズムの発展の可能性を探ります。


SPEAKER

太田宏之

防衛医科大学校 医学教育部 生理学講座 助教

慶應義塾大学理工学計測工学科卒。神戸大学自然科学研究科後期博士課程修了。博士(理学)。2007年より現職。パッチクランプ計測・多電極計測・動物行動学習実験などを通じて大脳基底核の機能の解明を目指している。

デジタルゲームの調整・デバッグ・品質管理における人工知能技術の応用

デジタルゲームAIはこの20年、ゲーム全体の制御やキャラクターの知能等の「ゲーム内のAI」で発展してきた。ところがゲーム規模の拡大に従い、バランス調整・デバッグ・仕様充足テスト等の「ゲーム外のAI」が求められ、各企業で開発が始まっている。しかしまだ若い分野であり、強化学習、遺伝的アルゴリズムの発展等で企業と大学・研究機関の連携が必要となる。本講演ではまず「ゲーム内・外のAI」の全体像を解説する。


SPEAKER

三宅陽一郎

株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー

京都大学で数学を専攻、大阪大学(物理学修士)、東京大学工学系研究科博士課程を経てデジタルゲームにおける人工知能の開発・研究に従事。IGDA日本ゲームAI専門部会設立(チェア)、DiGRA JAPAN 理事、芸術科学会理事、人工知能学会編集委員。
共著『デジタルゲームの教科書』『デジタルゲームの技術』『絵でわかる人工知能』(SBCr)、著書『人工知能のための哲学塾』(BNN新社)、『なぜ人工知能は人間と会話ができるのか』(マイナビ出版)『人工知能の作り方』(技術評論社)『はじめてのゲームAI』(WEB+DB PRESS Vol.68、技術評論社)。翻訳監修『ゲームプログラマのためのC++』『C++のためのAPIデザイン』(SBCr)、監修『最強囲碁AI アルファ碁 解体新書』(翔泳社)。


ゲーム業界における強化学習の実応用の課題認識

強化学習は教師データを与えなくても自律的にデータを収集して複雑な行動系列を学習することができる特徴から、ロボティクスや制御問題、ゲーム、ライフサイエンスといった幅広いドメインでの活用が期待されている。一方で、強化学習の実応用に至るまでには様々な問題があるという現状もある。
本講演では、ゲーム事業にフォーカスし、強化学習活用の取り組みを概観する。特に近年、高度な意思決定の自律獲得がゲームAIの観点で成果を出しつつある状況を、Game Developers Conference 2018のレポートとともに紹介する他、『逆転オセロニア』において実際に強化学習AI開発を行っている観点から、実応用の問題感と解決ための模索を解説する。


SPEAKER

奥村エルネスト純

株式会社ディー・エヌ・エー AIシステム部AI研究開発第二グループ AI研究開発エンジニア

国内外の研究機関で観測的宇宙論の研究に従事し、京都大学理学研究科宇宙物理学専攻にて博士号取得。2014年4月にDeNAでデータアナリストとしてのキャリアをスタート。ユーザー体験や事業推進をデータからサポートすることを目指し、主にゲーム領域のデータ分析・パラメータ設計の経験を積む。2017年1月より機械学習エンジニアに転身し、強化学習技術を中心としたゲームAIの研究開発を推進。機械学習の実ビジネス適用や、UXデザインに興味を持っている。

ロボットの運動学習とその困難さ

ロボットの制御方策を学習する問題においては、データ取得に環境との物理的なインタラクションを必要とするため、大量のデータを集めるという前提が成り立たず、近年のビッグデータを背景にした方法論が必ずしも有効ではない。本講演では、ロボットがヒトのような身のこなしや器用さを経験から身に付けることの困難さとそれに対して取り得るアプローチについて議論する。


SPEAKER

森本淳

(株) 国際電気通信基礎技術研究所(ATR)脳情報通信総合研究所 ブレインロボットインタフェース研究室 室長

奈良先端科学技術大学院(NAIST)情報科学研究科博士後期課程修了、Carnegie Mellon University (CMU) 博士研究員、(株)国際電気通信基礎技術研究所(ATR) 研究員、JST-ICORP 計算脳プロジェクトグループリーダー(併任)を経て、現在、ATR脳情報通信総合研究所 ブレインロボットインタフェース研究室 室長。強化学習/最適制御手法をロボットの運動生成に応用する研究に従事。

現在の強化学習に何が足りないのか?

強化学習は近年の深層学習の目覚ましい発展に伴い、かつて困難であった複雑な状態での複雑な行動手順の獲得が可能になった。根底には分散型エンジニアリングと計算リソースの拡充が存在し、理論そのものは古典的な強化学習から大きな発展がない。また実応用時に頻出するマルチエージェント性や環境観測の不完全性などの本質的な課題への言及についても大きく進んでいない。
現在の強化学習技術では、いざ応用しようとしても複雑な課題に対する適切な難易度推定、諸々のサブ課題への分解や、適応すべき高度なアルゴリズムの必要意図を読み解くことが困難であることが多い。また、そのような実課題を扱う際の急激な複雑性の増大は、取り組める分野対象の水準と期待される成果のギャップを生み忌避されがちだが、複雑な課題にこそ上記の本質的な理論的発展のための重要な視点が隠れている。それらに取り組むためには基礎研究から実応用までの適切な階段の形成が重要である。しかし現在それが可能なのは、トップリサーチャーからエンジニアを全て囲い込み、自前で一連のステップを推進可能な一部の世界的な研究機関・企業のみである。業界全体として複雑な課題への強化学習の実応用を目指すためには、理論として何が取り組まれていて何が足りないのか、また、現在の制約の中で実応用のために何が求められているのかを理論研究側、応用側が相互に理解する必要があると思われる。本パネルディスカッションでは以下のテーマで登壇者の課題観と解決に向けた知見の共有と議論を行う。
テーマ 1 : 実応用を行う上での課題観
テーマ 2 : 理論的に優先して解決すべき課題
テーマ 3 : 強化学習における産学連携


SPEAKER

荒井幸代

千葉大学 大学院工学研究院/融合理工学府都市環境システムコース 教授

慶應義塾大学理工学部/デジタル回路 卒業後、ソニー(株)/ニューメディア開発、
東京工業大学院理工学研究科制御工学/Fuzzy推論、Dempster-Shafer理論、
:博士(工学)U.C Berkely Computer Science, Professor Stuart Russellの下でBayesian Belief Network、POMDP, Carnegie Mellon University. Professor Katia Sycaraの下でMultiagent 、ドイツFraunhofer AIS、senior researcher, RoboCup soccer.
京都大学大学院情報学研究科 客員助教授:セマンティックWeb。
2006~現在、千葉大学大学院教授 強化学習、意思決定、多目的計画問題に従事。人工知能学会、計測自動制御学会、電気学会、日本OR学会、電子情報通信学会他、建築学会、AAAI、ACM各会員。


SPEAKER

太田宏之

防衛医科大学校 医学教育部 生理学講座 助教

慶應義塾大学理工学計測工学科卒。神戸大学自然科学研究科後期博士課程修了。博士(理学)。2007年より現職。パッチクランプ計測・多電極計測・動物行動学習実験などを通じて大脳基底核の機能の解明を目指している。


SPEAKER

小宮山純平

東京大学生産技術研究所 助教

2009年4月から2012年6月まで (株)ドワンゴにソフトウェア・エンジニアとして勤務。2012年10月より東京大学大学院情報理工学研究科 数理情報学専攻に入学、2016年3月に博士(情報理工学)を取得。2016年4月より東京大学生産技術研究所助教。機械学習・データマイニング分野の研究が専門で、ICML, NIPSなどの機械学習の国際会議に論文を多く発表している。ウェブ広告の最適化などの強化学習モデルである多腕バンディット問題、アルゴリズムの公平性、学習モデルの検定などに詳しい。2015年IBISML研究会賞 (IEICE TC-IBISML Research Award)を受賞。


SPEAKER

高橋達二

東京電機大学 理工学部 情報システムデザイン学系 准教授

1978年秋田県生まれ。東京電機大学理工学部情報システムデザイン学系(知能情報デザインコース)准教授。ドワンゴ人工知能研究所協力研究員。東京大学教養学部基礎科学科科学史・科学哲学科卒業。神戸大学自然科学研究科修了。博士(理学)。ロンドン大学バークベック校 訪問研究員、パリ高等研究実習院 (EPHE) 訪問研究員、東北大学電気通信研究所 共同研究員、日本女子大学 総合研究所 研究員、学習院大学 計算機センター 研究員を歴任。内部観測研究室を主宰し、認識の外部を捉まえる認知の柔軟さと創造性を可能な限り計算論的・経験的に研究したく、認知モデリングとその機械学習への応用、また心理実験を行う。Cognitive Science Society、人工知能学会、日本認知科学会などの会員。


SPEAKER

鶴岡慶雅

東京大学大学院 情報理工学系研究科 准教授

1974年生まれ。
1997年、東京大学工学部電気工学科卒業。
2002年、東京大学大学院工学系研究科電子工学専攻博士課程修了。博士(工学)。
同年、科学技術振興事業団研究員。2006年、英国マンチェスター大学研究員。
2009年、北陸先端科学技術大学院大学准教授。
2011年、東京大学大学院工学系研究科准教授。
2017年より東京大学大学院情報理工学系研究科准教授。機械学習に基づく自然言語処理、ゲームAI 等に関する研究に従事。将棋プログラム「激指」開発者。


SPEAKER

三宅陽一郎

株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー

京都大学で数学を専攻、大阪大学(物理学修士)、東京大学工学系研究科博士課程を経てデジタルゲームにおける人工知能の開発・研究に従事。IGDA日本ゲームAI専門部会設立(チェア)、DiGRA JAPAN 理事、芸術科学会理事、人工知能学会編集委員。
共著『デジタルゲームの教科書』『デジタルゲームの技術』『絵でわかる人工知能』(SBCr)、著書『人工知能のための哲学塾』(BNN新社)、『なぜ人工知能は人間と会話ができるのか』(マイナビ出版)『人工知能の作り方』(技術評論社)『はじめてのゲームAI』(WEB+DB PRESS Vol.68、技術評論社)。翻訳監修『ゲームプログラマのためのC++』『C++のためのAPIデザイン』(SBCr)、監修『最強囲碁AI アルファ碁 解体新書』(翔泳社)。
大規模マルチメディアデータ処理、物体認識・機械学習、最適化、3次元映像処理などの研究を行っている。


SPEAKER

森本淳

(株)国際電気通信基礎技術研究所(ATR)脳情報通信総合研究所 ブレインロボットインタフェース研究室 室長

奈良先端科学技術大学院(NAIST)情報科学研究科博士後期課程修了、Carnegie Mellon University (CMU) 博士研究員、(株)国際電気通信基礎技術研究所(ATR) 研究員、JST-ICORP 計算脳プロジェクトグループリーダー(併任)を経て、現在、ATR脳情報通信総合研究所 ブレインロボットインタフェース研究室 室長。強化学習/最適制御手法をロボットの運動生成に応用する研究に従事。


SPEAKER

山川宏

NPO法人全脳アーキテクチャ・イニシアティブ代表、人工知能学会 編集委員長、電気通信大学大学院
情報システム学研究科客員教授、玉川大学脳科学研究所 特別研究員、人工知能学会汎用人工知能研究会主査、産総研人工知能研究センター客員研究員、革新知能統合研究センター 社会における人工知能研究グループ

1965年2月8日 埼玉県生まれ。
工学博士。専門は人工知能、特に認知アーキテクチャ、概念獲得、ニューロコンピューティング、意見集約技術など1987年、東京理科大学理学部物理学科卒業。
1989年、東京大学大学院 理学系研究科 物理学専攻 修士課程修了。
1992年、東京大学大学院 工学系研究科 電子工学専攻 博士課程修了。
1992年、(株)富士通研究所入社。
1994年、同社から通産省リアル・ワールド・コンピューティング・プロジェクトに参加 。
2014年、(株)ドワンゴ 人工知能研究所 所長。
2015年、産総研人工知能研究センター客員研究員就任。
2015年、特定非営利活動法人 全脳アーキテクチャ・イニシアティブ 代表就任。
2015年、電気通信大学大学院 情報システム学研究科客員教授就任。
2018年、革新知能統合研究センター 社会における人工知能研究グループに参加。
現在に至る。

ACCESS

株式会社ディー・エヌ・エー

〒150-8510 東京都渋谷区渋谷2-21-1 渋谷ヒカリエ

東急東横線・田園都市線、東京メトロ半蔵門線・副都心線
「渋谷駅」15番出口と直結。
JR線、東京メトロ銀座線、京王井の頭線
「渋谷駅」と2F連絡通路で直結。
※ヒカリエ11Fの受付でイベントの旨を伝え、
21Fセミナールームまでお越しください。

ENTRY