「NeurIPS2018読み会@PFN」に参加した

はじめに

• 2019/01/26に「NeurIPS2018読み会@PFN」を聴講した

connpass.com

• ので、発表スライド等をまとめながらメモ書きをする

全体感想

NeurIPS2018読み会@PFNを聴講してきました。
約6時間と長丁場で、頭が疲れたのよく眠れそう。近年のトレンドとそれに対して自分の不勉強な部分が如実に分かってとてもよかった。 #neurips18yomi

— まうん (@myaunraitau) 2019年1月26日

• 正直、全体的にちゃんと理論の詳細まで理解できました！みたいなものは少なくて、抽象的な内容や論文のコンセプトがなるほど～と思える程度のものが多かったが、それでも学びは大きかった。
• 中でも、特に「GAN」「強化学習」「GNN (Graph Neural Network)」周りは分からなかったけど、興味を持ったので色々調べて使ってみたい。

テーマ発表1 濱田晃一(DeNA)

• 発表タイトル: "Generative Adversarial Networks and Disentangled Representations @ NeurIPS2018"
• 資料: https://www.slideshare.net/hamadakoichi/gans-disentangled-representations
  • メモ
  • NeurIPS2018では、「GAN」を主テーマとして含む論文の本数が60本超どんどん増えている(2014:1 -> 2015:1 -> 2016:6 -> 2017->34)
  • NeurIPS2018では、生成品質を向上するだけが貢献だけの論文は1本も無く、他の複雑性を説くような課題へ進んでいる

論文紹介1 竹中誠(首都大)

• "On the Dimensionality of Word Embedding"
• 資料: https://www.slideshare.net/MacotoTachenaca/neurips2018pfn-on-the-dimensionality-of-word-embedding
  • メモ
  • 分散表現の次元数に最適値が存在することを示したらしい
  • LSA, Skip-gram, Gloveで実験した

論文紹介2 木村優志(Convergence Lab.)

• "Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base"
• 資料: https://speakerdeck.com/mssmkmr/neurips2018du-mihui-at-pfn-dialog-to-action-conversational-question-answering-over-a-large-scale-knowledge-base

論文紹介3 大野健太(PFN)

• "Minimax statistical learning with Wasserstein distances"
• 資料: ?

論文紹介4 岡本大和(オムロン)

• "A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation"
• 資料: https://www.slideshare.net/yamatookamoto5/neurips2018pfn-a-unified-feature-disentangler-for-multi-domain-image-translation-and-manipulation

テーマ発表2 佐野正太郎(PFN)

• "Automatic Machine Learning @ NeurIPS2018"
• 資料: https://www.slideshare.net/shotarosano5/automl-in-neurips-2018
  • メモ
  • テーマ的によくわからないかな、と思っていたが非同期SHAの説明が分かりやすくて面白かった
  • Optunaにも導入されたらしい

テーマ発表3 亀澤諒亮(DeNA)

• "Neural Networks for Graph Data @ NeurIPS2018"
• 資料: https://www.slideshare.net/emakryo/neural-networks-for-graph-data-neurips2018pfn
  • メモ
  • CNNにおけるプーリングを、GNNにおいてグラフのソフトクラスタリングとして定義する研究(DIFFPOOL)
  • GNNの応用が次の焦点になる
  • グラフ生成の応用例として、分子生成(化合物のグラフ構造)があってなるほどとなった

論文紹介6 大元司(ドワンゴ)

• "CatBoost: unbiased boosting with categorical features"
• 資料: https://niconare.nicovideo.jp/watch/kn3831
  • メモ
  • 新規点がとても分かりやすかった。
  • Ordered TSによるカテゴリカルデータの前処理の改善
  • Ordered boostingによるブースティングアルゴリズムの改善

論文紹介7 田中潤(ShannonLab)

• "Neural Ordinary Differential Equations"
• 資料: ?

論文紹介8 上月正貴(crcrpar)

• "Sanity Checks for Saliency Maps"
• 資料: https://speakerdeck.com/crcrpar/sanity-checks-for-saliency-maps-explained-in-japanese-language

論文紹介5 白川達也(ABEJA)

• "Hyperbolic Neural Network"
• 資料: https://www.slideshare.net/daynap1204/hyperbolic-neural-networks

論文紹介9 三原千尋 (発表キャンセルでしたがスライドあり)

• "Deep State Space Models for Time Series Forecasting"
• 資料: https://www.slideshare.net/ChihiroKusunoki/deep-state-space-models-for-time-series-forecasting-129296435
  • メモ
  • モデルの判断根拠推定手法のうちSaliency Methodsにおける課題の検証
  • 課題: 手法の正当性を評価する方法が未確立、見た目での検証は確証バイアスに影響される

テーマ発表4 甲野佑(DeNA)

• Reinforcement Learning @ NeurIPS2018
• 資料: https://www.slideshare.net/yukono1/reinforcement-learning-neurips2018

テーマ発表5 比戸将平(PFN)

• Modeling the Physical World @ NeurIPS2018
• 資料: ?