(強いAI)技術的特異点 ..
[2ch|▼Menu]
40:yamaguti
18/05/04 07:09:53.85 95dRDKRE.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>48 オryー 0430 0952 XSN3QBiE
:
> 教師なし学習は機械翻訳に魔法をかけるか
> URLリンク(deeplearning.hatenablog.com)
>「つい先週,機械翻訳で驚くべき進展 ry
>「 ry 教師なし学習でもひと昔前の教師あり学習の機械翻訳に匹敵
:
 2018-04-28
つい先週,機械翻訳で驚くべき進展
:
教師あり学習の限界
:
翻訳モデルの学習には通常2言語間の対訳コーパス ry .例えば日英 ry

翻訳モデルはソース文を入力 ry とターゲット文 (教師信号) との差異が小 ry パラメー ry
ry 大量の対訳文が必要 ry ,多くのマイナー言語間ではほとんど対訳文が集まりませ ry
英語やインターリングア (人工的な中間言語) を経由して翻訳するピボット翻訳 ry
.しかしこの場合でも英語 (もしくはインター ry ) とマイナー言語間には大量の対訳文が必要 ry
.もし対訳コーパスを作成する必要がなくなればマイナー言語間の翻訳が可能になるばかりか
共通の構造を持つ世界間ならば容易に変換 ry
.マイナー言語でも ry 文章を集めるのは容易なので,対訳関係のない2言語コーパスなら簡単 ry
対訳文 (教師信号) が存在しないので教師なし学習に分類 ry
.教師なし学習によるニューラル機械翻訳は昨年10月末に論文 ry 新 ry *1*2.
この論文 ry 興味深 ry が, ry 実験の域 ry .

仏英翻訳の例 ry ,実用とはほど遠 ry 教師なし機械翻 ry あと数年 ry
つい先週 ry た著者らが新しい論文 ry *3.

仏英翻訳の例 ry .以前に比べかなりターゲット文に似 ry.自動評価のスコアも 15 から 25 に劇的 ry

41:yamaguti
18/05/04 07:11:45.84 95dRDKRE.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
魔法の正体
対訳関係のない2言語コーパスからどう ry ?
ry .教師なし学習ではターゲット文 (教師信号) が与えられないので別の教師信 ry .
ry 1つ目のトリックが逆翻訳

逆翻訳はソース文をターゲット文に翻訳し,ターゲット文を元のソース文に再翻 ry *4
. ry 逆翻訳後のソース文にとって元のソース文は教師信号だと解釈 ry
.ソース文を擬似的なターゲット文に翻訳し, ry ース文に再翻 ry ,ソー ry と逆翻訳後のソース文との誤差 ry が小 ry
.これは ry 対訳コーパスを作成し ry 教師あり学習 ry と解釈できます ( ry )
.しかし ry .学習初期の擬似的なターゲット文はノイズ ry .これを翻訳モデルに入力しても更に支離滅 ry
.これは翻訳モデルがノイズ ry 能力を持っていないため

2つ目のトリックはノイズ除去 ry
.ノイズ除去は入力文に語順の入れ替えや語句の欠損を施し ry 元の入力文への変換を学習します.
この場合も ry 元の入力文は教師信号だと解釈 ry
.ノイズ除去を事前に学習することで ry ーゲット文はノイズを除去されながら逆翻 ry


ここまでの話は10月末の論文で提案 ry ,これだけではノイズ除去から逆翻訳への移行に失敗 ry
.なぜ ry ? ヒントは潜在表現 ry
.潜在表現はニューラ ry ークが理解できる言葉 (数値の羅列) ry
翻訳で使用される ry モデルでは,
エンコーダがソース文 (もしくはターゲット文) を潜在表現に変換し,デコーダが ry ーゲット文 (もしくはソース文) に ry

今のところモデルには一切制約が与えられていないので
ノイズ除去で獲得される潜在表現と翻訳で獲得される潜在表現は異なるエリア (=部分空間) ry
.したがって日本語デコーダは日本語エンコーダ由来の潜在表現に対してノイズ除去だけを,
英語エンコーダ由来の潜在表現に対して翻訳だけを実施すれば十分損失を最小化できました.
理想的には日本語デコーダはノイズ除去と翻訳を同時 ry 実際には片方しか ry
. 10 月末の論文でも ry 制約が必要なことはわかっていました.
2種類の異なる制約が提案 がry 潜在表現の分離を解消できませ ry *5

42:yamaguti
18/05/04 07:13:40.99 95dRDKRE.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
たったひとつの冴えたやりかた
潜在表現を共有 ry どんな制約が必要 ry ?
10 月末の論文では日本語エンコーダと英語エンコーダのパラメータを共有することで, ry 同じ空間 ry 制約 ry
.この方法はデコーダが入力言語に関わらず同様に動作 ry が ry 不十分 ry
日本語デコーダと英語デコーダは別れたままなので,日本語のノイズ除去と英語のノイズ除去は異なる部分空間 ry

新しい論文 ry すべてのパラメータを共有 ry
.つまり日本語エンコーダと英語エンコーダを共有し,日本語デコーダと英語デコーダも共有 ry
.また,サブワードの埋め込み表現をもつエンコーダの埋め込み層やデコーダのソフトマックス層も共有 ry *6
ry ,ようやく日本語由来と英語由来の潜在表現は一体化 ry .教師なし学習でも流暢な翻 ry
.この ry アプローチは Google ニューラル機械翻訳の zero-shot 翻訳の影響 ry *7
zero-shot 翻訳では多言語間で翻訳モデルを共有し,デコーダが ry 共有のサブワードを ry
.注目すべきは翻訳モデルとサブワードの共有によって潜在表現が共有さ ry 可視化

英日韓 ry 潜在表現をクラスタリングした例 ry
.(a) は74種類の,英日韓で同一の意味を表す文を74色のクラスタ ry
.(b) は英日韓ともに「 ry 」 ry を表す文のクラスタであり,
(c) は英日韓で色分け ry .同一の意味を表す文の潜在表現が共有 ry
.教師なし日英 ry 日英間で共有できるサブワードがあまり存在しないという問題 ry
.とはいえ zero-shot 翻訳では数字・日付・名前・ウェブサイト・句読点などが共通の ASCII ry
予想よりも多くのサブワードを共有でき,それほど厄介な問題にならな

逆翻訳は教師なし画風変換の CycleGAN に似た学習方法 ry *8
. CycleGAN は ry ,各画像間にペア関係がないデータセット間から同じ構図の画風変換 ry
.例えば馬画像 ry データセットとシマウマ画 ry ットから馬→シマウマの変換やシマウマ→馬 ry
. CycleGAN でも馬をシマウマに変換してシマウマを馬に再変換し, ry 馬と元の馬との誤差を最小化 ry
逆翻訳とまったく同じ思想 ry ,画像とテキスト間の教師なし変換が可能になるか ry
.機械翻訳はディープラーニングに出会うことで急速な技術革

43:yamaguti
18/05/04 07:22:17.93 95dRDKRE.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>41
スレリンク(future板:579番)-590#(579,590)# HTM P21 Bunmyaku

>>41-42
>774 yamaguti~貸 171020 1534 0nNF/MoU?
:
>>粒度さえ充分に細かければ ( + データと計算機パワー 資金力 ( + >333>574 おこづかい総動員 + 肝о売却 ) )
>>接地 必ずしも不要
:
>>+ データと
> ↑ 学習済高低レイヤモジュール : 充実 ( 不足致命的ならず ) ?
>
> → 自然言語解釈動記憶システム ( 接地 ( 効果 ) 論理物理スロット シミュ ( 準 ) エミュ ) ≒ 人格システム ( 学習済モジュールベース )
:
> 但し 敢て追加学習 → 極論 : 転移学習だけで良い ( 下記文脈 )
:
>>>> >56 URLリンク(mobile.twitter.com)
>>>>DNNにMeta-Learning + ゲーム理論と転移学習( ry )と強化学習(人間の目的指向の再現)を組み合 ry AGIっぽ ry
>>>>>>>>> >482 自然言語解釈
:
> ( → 整備済 )
:
>>>> この国だけに配慮致します立場でなくなってしまいましたので申上げます

44:yamaguti
18/05/06 05:21:00.65 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>43
>12 yamaguti 0426 1215 EGJyRbCX?
> >12 名前:YAMAGUTIseisei E-mail:素人ぶり自覚は高貴(自戒)sage 投稿日:2018/04/17(火) 17:10:05.32 ID:TuDGhcTB?2BP(0)
> :
>>>>>> この国だけに配慮致します立場でなくなってしまいましたので申上げます
>>>>>>
>>>>>> >100 yamaguti 180226 13:53 BYErlMIm?
>>>>>>スレリンク(future板:152番)## HPKY gata Hannyou AI/AL

45:yamaguti
18/05/06 18:14:53.96 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>56 オryー 0313 1257 IYwPzgkq
:
> 深層学習の最前線とこれから(Preferred Networks 岡野原 大輔)
>URLリンク(slideshare.net)
:
> 引用「言語能力の予想:言語能力も教師なし学習で獲得できるだろう。
> 言語生成の能力と運動制御の能力はおそらく共通
:
>307 オryー 2018/03/15(木) 14:42:42.34 ID:Mnrvqekt.
:
> MicrosoftのAI翻訳は中→英ニュース翻訳を人間の翻訳者と同じ精度でこなせるレベルに到達
URLリンク(gigazine.net)
>「中国語を英語に翻訳する技術のレベルが、人間の翻訳者と同等のレベルに達
:
>「機械翻訳のレベルを人間と同じにまで高める取り組みは過去何十年 ry 、その実現はまだまだ先のことと思われていました」
> Microsoftで音声・自然言語および機械翻訳関連の研究を率いるテクニカル・フェローのXuedong Huang氏
>「機械翻訳で人間と同じ品質に達することは私たちが夢見てきたことでした。こんなに早く実現
289 オryー 0327 1106 UXgfTlwH
875 オryー 0327 1107 UXgfTlwH
:
> NLP2018で発表した、日本語版の言語指示によるロボット操作の動画を公開 ry 、「実世界における自然言語処理」 ry
:
> 実世界におけるインタラクティブな物体指示
URLリンク(m.youtube.com)
URLリンク(mobile.twitter.com)
URLリンク(mobile.twitter.com)
> 凄い
:

46:yamaguti
18/05/06 18:16:22.81 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>163 オryー 0226 0841 Kghozr2M
:
> 異言語間で画像を基に会話で翻訳モデルを構築する論文を読む
> URLリンク(mabonki0725.hatenablog.com)
> 「本来の異言語間の会話は、最初は同じ物を指して互いの言葉を言い合ったのが始まりで、互いの交流の中で細かいニュアンスまで理解する様になったのは想像に難くない」
> 「上記の過程を深層学習でモデル化したもの」
>「このモデルの本当に面白いのは2対モデルから多数モデルに簡単に拡張 ry 。以下は英語・独語・仏語の3対モデルと実験結果 ry 2対モデルより学習精度が良
> 「ヨーロッパやブラジルの様に近親者が複数の異言語を話す場合、幼児が簡単に多言語 ry 。これは言語間を翻訳しているのではなく、イメージを媒介とした多言語の習得が
>
> 深層学習で将来予測して最適行動する強化学習の論文を読む
> URLリンク(mabonki0725.hatenablog.com)
>「この論文で重要な知見として、このモデルは課題に依存するモデルベースではなく、DQNと同じモデルフリーとして汎用性
>199 オryー 0226 2319 BSKPNxqQ
:
> これは松尾豊が言っていた、
> イメージ → 画像、画像 → イメージ を使った自動翻訳技術に影響 ry ?

47:yamaguti
18/05/06 18:18:10.17 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>251 オryー 0212 1150 w032pjRI
:
> Kazuo Ishiguro: Soon, We Will Be Able to Create Humans Who Are Superior to Other Humans
>URLリンク(futurism.com)
> カズオ・イシグロが、いずれ現在の人類よりも能力が上回る人類を生み出
>
> (東京大学 学術俯瞰講義) 
> 第9回 人工知能の未解決問題とディープラーニング 松尾豊
> URLリンク(ocw.u-tokyo.ac.jp)
>
> (東京大学 学術俯瞰講義)
> 第10回 記号とパターンのはざまに 松尾豊
> URLリンク(ocw.u-tokyo.ac.jp)
> (2016年)松尾豊先生「(2014年9月の予測に対して)技術の進展としてはほぼ予想通 ry
>。ただ、予想通りじゃないのはスピード ry 、2年前に論文で出ていた技術 ry 画像認識ぐらいしかなかったときに ry と予想 ry
>、1年経つと ry 、2年 ry 、横軸の目盛りが全然あっていな ry 、もう相当速いです」
>(2016年) 松尾豊先生「やっぱり画像認識のところが一番難関 ry 、そのあとの技術展開は非常に速い。言葉の意味理解に徐々
:

48:yamaguti
18/05/06 18:19:08.18 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>464 オryー 0209 2036 Rqe/RAuf
> ASI提唱者のボストロム氏が20年前に書いた論文
> 人口超知能まで、あとどのくらいか?
>URLリンク(nickbostrom.com)
>
> 論文の最後の追記に予想の見方が悲観的になっている。2033年までに50%以下 ry
> →コンピュータスペックは順調に上がっているが、脳の解析が進んでいな
>
> 後の2008年に彼は、何フロップス相当でAGIに相当する脳のシミュレーションができるか見解
>
> From Sandberg and Bostrom, table 9: Processing demands (emulation only, human brain)(p80):
>
> spiking neural network: 10^18 FLOPS (Earliest year, $1 million: commodity computer estimate: 2042, supercomputer estimate: 2019)
> →3世代目に相当する人口モデルのシミュレーション
>
> electrophysiology: 10^22 FLOPS (Earliest year, $1 million: commodity computer estimate: 2068, supercomputer estimate: 2033)
> →電気生理学的シミュレーション
>
> metabolome: 10^25 FLOPS (Earliest year, $1 million: commodity computer estimate: 2087, supercomputer estimate: 2044)
> →メタボロミクス(分子レベルの全代謝物質の網羅的)シミュレーション
>
> カーツワイルの予想(シンギュラリティは近い 2005)では、10^16flops。
>
> ボストロムは2014年の著書superintelligenceの中で、AGIの実現は数年先か、はたまた数世紀先になるかは分からな
>
> これらの見解に、脳のメカニズムの解析なしにflopsでは知能を測れないとの指摘がある。

49:yamaguti
18/05/06 18:20:10.94 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>553 オryー 0309 2241 stCsGZVNt
> 深層学習を超えた手法とは何か─ポストDeeplearning
> URLリンク(blog.livedoor.jp)
>
> DeepMindのSonnetを触ったので、TensorFlowやKerasと比較しながら解説してみた
>URLリンク(qiita.com)
>
> AIのプロジェクトを始めるとぶち当たる5つのハードル
>URLリンク(qiita.com)
>556 オryー 0309 2253 stCsGZVN
> NIPS2017─まとめ
>URLリンク(qiita.com)
>
> 畳み込みニューラルネットワークの最新研究動向 (〜2017)
>URLリンク(qiita.com)
>
> マッキンゼーが語るAI最新動向2018
>URLリンク(qiita.com)

50:yamaguti
18/05/06 18:23:25.74 KNVtyv4+.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>45
>>43-44
スレリンク(future板:971番)# Bunpou SintaiSei
>552 yamaguti~貸 161111 1335 TfAJHR6G
:
> >102 YAMAGUTIseisei 160917 1839 3E1tr0Z7
>> 文法 = 一種の身体性 →

>>46
スレリンク(future板:574番)#384#484# ImeejiGengo Souhatu
スレリンク(future板:127番)# ImeejiGengo JisyouSousa

51:オーバーテクナナシー
18/05/17 12:16:20.83 6koctVbj.net
いろいろと役に立つPCさえあれば幸せ小金持ちになれるノウハウ
暇な人は見てみるといいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』
02D7E

52:オーバーテクナナシー
18/05/25 02:53:14.61 8RqXBIop.net
fastai見てたらさ、
講師がsurface pro使ってんのよ、
macじゃなくて。
スペック低いのにさ。
AIはもうクラウドだし
GPUもgoogle colabで使えるし
余裕なんだろね。

53:オーバーテクナナシー
18/05/25 09:31:42.68 xnYRMPa7.net
日本人だけだろMacにこだわってんのは

54:オーバーテクナナシー
18/05/25 09:33:26.35 xnYRMPa7.net
ありとあらゆる事が世界から解離してるよこの国は
終わってんね

55:yamaguti
18/06/02 16:05:00.33 5+vbS3Cj.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
三木義一青山学院大学学長
URLリンク(mobile.twitter.com) Nikkei
>の性能が全人類の知性の総和を越える時点

56:yamaguti
18/06/10 04:16:21.66 OGJRAL12.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
[憲法]PEZY齊藤先生潰しのヤラカシ実行部隊一翼は[違反]
スレリンク(future板)

57:ブサ川高志(葛飾区青戸6−23−21ハイツニュー青戸103号室)
18/06/10 21:59:46.14 Rms1puNj.net
宇野壽倫(葛飾区青戸6)の告発
宇野壽倫「文句があったらいつでも俺にサリンをかけに来やがれっ!! そんな野郎は俺様がぶちのめしてやるぜっ!!
賞金をやるからいつでもかかって来いっ!! 待ってるぜっ!!」 (挑戦状)
■ 地下鉄サリン事件
     オウム真理教は当時「サリン」を作ることはできなかった。
     正確に言えば 「作る設備」を持っていなかった。
     神区一色村の設備で作れば 全員死んでいる。「ガラクタな設備」である。
     神区一色の設備を捜査したのが「警視庁」であるが さっさと「解体撤去」している。
     サリンは天皇権力から与えられた。
     正確に言えば オウム真理教に潜入した工作員が 「サリン」をオウムに与えた。
     オウム真理教には 多数の創価学会信者と公安警察が入り込んでいた。
     地下鉄サリン事件を起こせば オウムへの強制捜査が「遅れる」という策を授け「地下鉄サリン事件」を誘導したのは
     天皇公安警察と創価学会である。
     天皇は その体質上 大きな「事件」を欲している。
     オウム科学省のトップは 日本刀で殺された「村井」という人物だ。
     村井は「サリン」授受の経緯を知る人物なので 「日本刀」で殺された。
      URLリンク(d.hatena.ne.jp)

58:オーバーテクナナシー
18/06/24 06:53:52.07 V889Gf7w.net
お疲れさま

59:オーバーテクナナシー
18/07/09 21:16:11.00 7/myhXm3.net
分子を三次元に配置していく意味では、
建築もロボットも細胞も同じ何だろうけど
スレリンク(future板:996番)
スレリンク(future板:998番)
は気持ち悪い。

60:yamaguti
18/08/11 18:06:46.74 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
「健康医療分野のデータベースを用いた戦略研究」

合同フォーラムパネル2ディスカッション用資料

AI・スパコン駆動科学」の、健康医療分野応用に向けた可能性
〜スパコン、AIエンジン、量子ニューラルネットワークの活用〜
2017年2月8日
齊藤元章

(株式会社PEZY Computing/ 株式会社ExaScaler/UltraMemory 株式会社
株式会社Deep Insights/ 株式会社Infinite Curation)

61:yamaguti
18/08/11 18:07:47.32 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
グループ構成

プロセッサ開発

創業:2010年1月 社員数:26名
株式会社PEZY Computing (ペジーコンピューティング)
・独自メニーコア・プロセッサ開発
・同汎用PCIeボード開発
・同独自システムボード開発
・同アプリケーション開発
・半導体2.5次元実装技術開発
・ウェハ極薄化応用技術開発

液浸冷却開発

創業:2014年4月 社員数:12名
株式会社ExaScaler (エクサスケーラー)
・液浸冷却技術開発
・HPC液浸システム開発
・液浸スパコンシステム開発
・液浸冷却水槽販売
・液浸冷却システム販売
・液浸冷却用ボード類販売

62:yamaguti
18/08/11 18:08:33.01 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
積層メモリ開発

創業:2013年11月 社員数:50名
UltraMemory株式会社 (ウルトラメモリ)
・超広帯域独自DRAM開発
・DRAM積層技術開発
・磁界結合メモリIF開発
・ウェハ極薄化応用技術開発
・広帯域、高速DRAM開発
・最先端汎用DRAM受託開発

新医療創出

創業:2016年7月
株式会社Infinite Curation
(インフィニットキュレーション)
・人工知能と次世代スパコンを全面活用し、
日本独自のキュレーションシステム開発

新人工知能エンジン開発
創業:2016年6月 社員数:6名
株式会社Deep Insights (ディープインサイツ)
・高効率人工知能ハード
・超広帯域大容量メモリ混載
・精度可変密行列演算, etc.

63:yamaguti
18/08/11 18:09:19.39 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
現在稼働中の6台の液浸冷却スパコン

Suiren(睡蓮) ZettaScaler-1.5
2014.10Install 2016.5 Upgrade (32node to 48node)
Shoubu(菖蒲) ZettaScaler-1.6
2015.6Install 2016.5 Upgrade
Suiren Blue(青睡蓮) ZettaScaler 1.5
2015.5 Install 2016.5 upgrade
Ajisai(紫陽花) ZettaScaler-1.6
2015.10Install 2016.5Upgrade
Satsuki(皐月) ZettaScaler-1.6
2016.5 Install
Sakura(さくら) ZettaScaler-1.6
2016.5 Install

64:yamaguti
18/08/11 18:10:18.54 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
現在試験中の試作機「ZettaScaler-1.8」

1 PetaFLOPS/m3を超える性能密度(世界初)

65:yamaguti
18/08/11 18:12:01.62 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
「次世代スパコン」とは

・日本では2022 年に「京」より100倍高速な「ポスト京」が開発される予定
(ExaFLOPS:エクサフロップス)
・「100年掛かる計算が、1年で出来る」ことの他にも、「100倍複雑な計算ができる」ことが重要
(ネズミの脳が100倍高速に動作しても、知性レベルが上がる訳ではない)
・熱核融合炉の全体をスパコン上に構築して、詳細なモデリングとシミュレーションを繰り返せる
・遺伝子解析に引き続き、タンパク質の解析が可能になり、代謝レベル解析も行え、生命科学が大きく進化
・ムーアの法則の終焉を控えて、次々世代のスパコン開発には、次世代スパコンの活用が不可欠

66:yamaguti
18/08/11 18:13:25.28 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
「次世代スパコン」とは

・熱核融合炉の全体をスパコン上に構築して、詳細なモデリングと、シミュレーションを繰り返せる

67:yamaguti
18/08/11 18:14:29.91 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
2020年、5nm世代の液浸冷却スパコン
・第5世代となる超メニーコアプロセッサ「PEZY-SC4」
(16,000コア, 50TFLOPS, 5nmプロセス, 25TB/s帯域, 64bit CPU内蔵)
・消費電力効率:100 GFLOPS/W(1Wで1秒間に1千億回)
・タワーサーバ性能:100 PetaFLOPS( 1台で「京」の10倍)
(冷却系を含めた体積効率・性能密度は「京」の1万倍以上)
タワーラック864台の京 × 10

・PCIeボード1枚で100 TeraFLOPS@1,000W
(PEZY-SC4を2個搭載、50TB/s帯域×、メモリ11T0B搭載)

68:yamaguti
18/08/11 18:15:06.57 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
小型液浸スパコンで性能向上を再加速

.ZettaScaler-3.5
.ZettaScaler-3.0
.日本ポスト「京」
.ZettaScaler-2.5
.ZettaScaler-2.0
.京速計算機「京」
.ZettaScaler-1.5
.ZettaScaler-1.4
.ZettaScaler-1.0
技術的には2017年に100 PetaFLOPS 、2018年中には1 ExaFLOPS 到達が可能

69:yamaguti
18/08/11 18:24:55.05 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
2017年中に稼働:ZettaScaler-2.0システム

文科省JST様NexTEP 事業で、JAMSTEC(海洋研究開発機構)横浜研究所内の「地球シミュレータ棟」に
実行性能20-30 PetaFLOPS 級のスパコンを設置予定
次世代スパコン開発の基盤を構築すると共に、各種生命科学分野の研究開発に貢献させて頂きたい

70:yamaguti
18/08/11 18:25:46.89 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
人工知能による革命は、まだ序章
ディープラーニングによる機械学習は、「抽象的概念」を既に獲得して、猛烈な勢いで進化中

71:yamaguti
18/08/11 18:27:17.48 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
最強の科学技術基盤の出現

「最強の科学技術基盤」
1,000倍高速な人工知能エンジン
(仮説の立案)
1,000倍高速な次世代スパコン
(仮説の検証)

人間には抽出できない複雑で無数の特徴点・特徴量から、
更に規則性・法則性が抽出されることで膨大な仮説が立案され、それらが検証されることで、
人間に構築できない次元の理論が、多数生まれてくることに
(ノーベル賞級ではなく、「新しいノーベル賞」が幾つも創設されるレベルの理論が次々と産み出される)

72:yamaguti
18/08/11 18:27:56.60 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
AIエンジンとスパコンの開発方向は真逆

次世代スパコン:
  少なくとも倍精度(DP: 64bit )浮動小数点演算が必要
  今後、4倍精度(128bit )、8倍精度(256bit )、16倍精度(512bit )といった多倍長演算が必要になることに
新AI エンジン:
  単精度(SP: 32bit )浮動小数点演算が基本
  半精度(HP: 16bit )、1/4 精度(8bit)で良い場合もあり、1/8 精度(4bit )、1/16 精度(2bit )、
  更にはビット演算でも十分な事例も報告が出て来ている
  一方で、メモリ帯域とメモリ容量への要望は際限がない
  1チップで100万コア、100TB/s 、DRAM一体、100Wの積層型半導体エンジンが必要
  ⇒ 1年半での製品化を予定

73:yamaguti
18/08/11 18:28:44.57 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
AIチップ開発が死活問題に


国内のAIチップ開発は僅か数社が行うのみ
その中で、最先端7nm 半導体プロセスで開発を行う計画は、富士通とDeep Insights 社のみ?
(日経コンピュータ誌より)
AIチップ開発のスタートアップ企業であるGraphcore 社(英国)が、
Samsung社とBosch 社から3,600 億円もの出資を受け入れて開発を加速しているなど、
世界では大型開発が目白押しであるが、日本は大きく遅れている現状に甘んじており、抜本的な対策が必要

74:yamaguti
18/08/11 18:29:16.99 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
今後の「医療革新」に関する予測

1)AI・スパコンが、人間の医師の診断能力を上回る
2)AI・スパコンが、既存薬の新しい効能を発見する
3)AI・スパコンが、新しい診断法を確立する
4)AI・スパコンが、新しい治療法・治療薬を開発する
5)AI・スパコンが、新しい病気を発見する
6)AI・スパコンが、病気の概念を再定義する
7)AI・スパコンが、生殖・成長・老化・進化の神秘を解明する
8)AI・スパコンが、医療と生命科学をゼロから再構築する
9)AI・スパコンが、生命体のリデザインを進める

75:yamaguti
18/08/11 18:30:08.09 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
量子ニューラルネットワーク分野で連携(ImPACTのNII山本先生グループと共同研究)

    Graphical User Interface  エントリー
      一般ユーザ
    Command-line Interface  エキスパート
      認証ユーザ
クラウドサービス公開用ウェブサーバ
  ドキュメント
  ユーザー認証
  ユーザデータ管理
  計算サービススケジュール管理
  計算ポストプロセス ( エントリー )
      計算リクエスト ↓  ↑ 計算結果
        NTT ( 厚木 ) 実験量子計算サービス
          ハードウェア管理
          計算スケジュール管理
            量子ニューラルネットワーク
    ↑ 計算結果
    ↓ 計算リクエスト
      NII / 東大 / ExaScaler / PezyComputing
      量子シミュレーションサービス / アプリケーション開発支援
        シミュレーター管理
        計算スケジュール管理
          ExaScaler / PezyComputing
          スパコン : 既存システムと、JST「NexTEP」で開発するシステム

76:yamaguti
18/08/11 18:30:44.83 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
最強の新科学技術基盤の出現

1,000倍高速な人工知能エンジン
(仮説の立案)
1,000倍高速な次世代スパコン
(仮説の検証)
量子ニュラールネットワーク
(組合せ最適化)
「最強の新科学技術基盤」

人間には抽出できない複雑で無数の特徴点・特徴量から、更に規則性・法則性が抽出されることで、膨大な仮説が立案され、
それらが高速に検証され、最適化されることで、人間には決して構築できない次元の理論が、多数生まれることに

77:yamaguti
18/08/11 18:32:57.46 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>60-76
URLリンク(media.wix.com)

78:yamaguti
18/08/11 19:31:44.74 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>557 オryー 171223 1754 no+ll9l4
>PEZY-SCは地味なのか、実用性は無いのか
>URLリンク(www.weblog-tech.nagoya)
>
>この記事良かったな。PEZYの中の人も批判する事なくRTだけで済ませてた

>63 yamaguti 180807 1319 fnJy2YHd?
> >18 オryー 180807 1036 Hj9UY+by
> :
>> テスラが「AIチップ」を自社開発すると、ここまで型破りなものになる
>>URLリンク(wired.jp)
>
>>チップを開発する際に「まっさらな状態」にまで立ち戻った。ry GPUを増やすのではない。 ry 、演算処理部とメモリーを隣り合わせに配置 ry
>>。これによって、 ry ボトルネックが解消され、データを高速伝送 ry
> :
>>「これは賢いやり方ですね」と、南カリフォルニア大学 ry 工学教授を務めるジェフ・ミラーは話す。
>>「汎用のGPUを使うのをやめたことで、 ry カスタマイズできます。どのようなデータが入ってきて、どう出力すればいいのかを正確に把握しているのですから」
>
> URLリンク(google.jp)
URLリンク(m.pc.watch.impress.co.jp)
>
>
> >259 YAMAGUTIseisei 180805 0946 pD5yZPUy?2BP(0)
> :
>> 自明 : 凄腕職人部隊の凄腕ぶり
>>
>> 但し 畏れ乍ら : 齊藤先生抜きではライバルを一二歩引離すのみ
>> ( 三四歩引離す : 齊藤先生発明ゲームチェンジハードウェア )

79:yamaguti
18/08/11 19:32:52.02 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
> 130 YAMAGUTIseisei 180728 0158 HWGORW/g
> >121-122 >10
>> 427 yamaguti 180722 2215 NkbQ0s9D?
> :
>>>> 職を奪わずともお賃金低下
>> :
>>> >270 オryー 180702 0107 bowcHuhp
>>>>何度でも言うけど、職が無くなるかどうかの問題じゃない
>>>>ry 寝てた方がマシの賃金しかもらえな
>>> :
>>>>、実際の未来は職は全然なくならないけど超低賃金な
>> :
> :
>> >537 山口青星 180603 2019 NWrDDaEE?
>> :
>>>>齊藤先生メソッド頓挫 ≒ 飢餓 ( 非 BI ルート )
>>>>スレリンク(future板:111-139番)##(111,138-139)# SaitouSenseiMesoddo NanoKeizai
>> :
>>>>なぜこうなる前に国は PEZY への積極投資をしなかった ( 失礼ながら怠った ) のか
> :
>
> >431 オryー 180722 2239 Q2eCMbLn
>>今回成立した働き方改革法案は
> :

> 131 名前:オーバーテクナナシー E-mail:sage 投稿日:2018/07/28(土) 04:28:07.26 ID:zFw/BDnS.net
>>>130
> ええ働かせ方改革です。

80:yamaguti
18/08/11 19:34:12.10 v5kZKb/x.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
> 229 オryー 180808 1858 61gcn5Aa
> 【入国管理庁】来年4月発足、労働者受け入れへ体制強化 日本政府
> 86 名前:YAMAGUTIseisei E-mail:sagezon.jp/dp/4569807488/okyuryo-22 投稿日:2018/06/25(月) 17:34:50.91 ID:wuqwxjPG?2BP(0)
>>366 オryー 171221 1525 EjxJz6M8
>> 【沖縄】人口増加率全国トップの沖縄、その4割が外国人 中国・ベトナム人が著しい伸び
:
> 161 オryー 180730 1917 ueSVcFVf
> 空室が目立っていた団地内に中国人が急増し始めたのは2年ほど前から。
> 団地の自治会によると、今では全世帯のほば3分の1の800戸近くが中国人世帯。
> 当然のように、日本人住民との間に摩擦を生んだ。
> 夜になっても子どもを外で遊ぱせる、高層階の人を地上から大声で呼ぶ、
> ゴミ出しの日を守らない、回覧板が回らない……。
> 自冶会にも入ってくれない。
> 自治会会長(76)が勘誘に回ると「どうして入らなければならないの」
> 「月300円払って、何かいいことがあるんですか」。
> それでいて餅つきや祭りのイベントには喜んで集まる。
> 自治会会長の心中にも、
> 「もし中国人住民全員が入会したら、自治会は一体どうなるんだろう」
> という不安がよぎることもある。
> 団地内の埼玉県川口市の小学校は、児童100人余りのうち約3分の1が中国籍。
> 勉強も遊びも日本語で、学力水準は国語でさえ日本人に引けをとらない。

81:オーバーテクナナシー
18/08/11 20:01:03.47 iHs0X4Rb.net
米中貿易戦争で中国はまた強くなってしまう
URLリンク(toyokeizai.net)

82:yamaguti
18/08/12 07:09:11.25 ltAhnLdz.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>78 >>60-80 >>32
>711 709 171208 2203 HRjapEV5
> >709
> URLリンク(qnncloud.com) 12-
> 14>ry には CPU より PEZY-SC の方が明らかに効率的
>15>N = 8〜100 ry で、 ry ・イジングマシンはより高い正答率
>18 YAMAGUTIseisei 180610 0223 OGJRAL12?
> >323 オryー 171114(火) 15:35:18.03 8eU+xEiq
:
>> スパコン「TOP500」、中国がランクイン数トップに--HPCG指標では「京」が1位
>>URLリンク(headlines.yahoo.co.jp)
:
>21 YAMAGUTIseisei 180610 0237 OGJRAL12?
>>127 オryー 171117 1548 RH2Rf5gn
:
>> 6期連続でスーパーコンピュータ「京」がGraph500で世界第1位を獲得
>> 〜ビッグデータの処理で重要となるグラフ解析で最高レベルの評価〜
>>URLリンク(www.jst.go.jp)

空海
URLリンク(www.businessinsider.jp)
URLリンク(news.mynavi.jp)
URLリンク(tech.nikkeibp.co.jp)

83:yamaguti
18/08/12 07:14:32.91 ltAhnLdz.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>82
>> URLリンク(qnncloud.com) 12-
>> 14>ry には CPU より PEZY-SC の方が明らかに効率的
>>15>N = 8〜100 ry で、 ry ・イジングマシンはより高い正答率

>443 名前:yamaguti~貸 E-mail:sage昨日降雨放о性金属臭極微 投稿日:2017/09/23(土) 12:49:53.46 ID:gJe8GJca?2BP(0) \>450 yamaguti~貸 170923 1351 gJe8GJca?
> >334 デジタル
>短期的最終形態 ( 一定期間 : シンギュラリティ直後位迄 ) の超知能への仕組としての親和性 ( = 予算等に物を言わせる場合等を除く ) :
>量子コンピュータ系 < 従来型スパコン
>>> ※ 但し 過渡期の AI には滅法強い ( 量子コンピュータ系 )
:

84:yamaguti
18/08/12 07:22:16.16 ltAhnLdz.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>78 >>60-83 >>79-80 >>32
>3 yamaguti~貸 170319 2034 cRK6Y+kv
:
> URLリンク(ja.catalyst.red)
>> エクサスケールのスパコンは2018年中 ry 中国は2019年から2020年にかけて異なるシステムを3台も ry
>> そこからプレシンギュラリティは10年かけてと言っていたのですが、たぶん5年かからない ry
>> いまの1000倍高速な人工知能エンジンを2018年中には完成させよう ry 2019年にはこのループをまわし始 ry
>> 2025年にはプレシンギュラリティ実現という可能性はかなり ry 2030年にはシンギュラ ry
>齊藤: ry 、AI専用のエンジン ry 、最近新しい会社 ry
>。AIとスパコンって、実は人智を超えた最強のタッグ ry 。いまAI ry 、特徴点・特徴量、つまりパターンの抽出 ry
>。次 ry 、いまの1000倍くらいAIのエンジンが速くなると、複雑な社会的事象も、自然科学的な事象も含めて、
>それらの膨大な事象の中からたくさんのパターンを抽出 ry 全部ならべてみて高い視点から俯瞰 ry
>新しい規則性、法則性 ry 、要するに新しい仮説を立案 ry
>仮説は、必ず検証しないと理論になりません。 ry 実際に実験系を作 ry
>。ただ仮説が高度化してくると、その実験設備が巨大かつ複雑になって、しかもものすごく高い精度 ry お金とひとと時間 ry
>。人工知能が仮説を立案 ry 、とんでもない数の仮説 ry 加えて、ものすごく複雑な仮説 ry
> 。たぶん、その多くは人間には理解できな ry
> 。仮説の大半は棄却されるので、100に1個、1万に1個 ry
>。その度に大型で複雑な実験系 ry 不可能です。ところがエクサ ry
> 、スパコンの中のバーチャルな物理空間に実験系を、現実空間よりも高い精度
:
> 、このループがまわっていくと、人智をはるかに超えた仮説が検証されて、やがては統一場理論も検証

85:オーバーテクナナシー
18/08/12 15:56:00.38 FC4RyTKY.net
獣のナンバー666=FOX=稲荷・INRI。
秋田の聖母マリアのメッセージで「最後に残された武器は、ロザリオと
御子の残された印」とあるように、御子の残された印とは、私が思うに
「INRI」のことと思われる。

聖体奉仕会には、
INRIと書かれたイエスの十字架の磔像があるらしい。
これも何かの発見の手掛かりになるかも。
URLリンク(stat.ameba.jp)
INRI
INRI は、ラテン語の「IESUS NAZARENUS REX IUDAEORUM」の頭字語であり、
日本語では「ユダヤ人の王、ナザレのイエス」と訳される。これは「キリストの磔刑」において
十字架の上に掲げられた罪状書き(イエスが自らを神の子でありユダヤ人の王であると称し、神を冒涜したとの罪状)であり、
磔刑図と呼ばれる磔刑を描いた絵画や、十字架の上のイエス・キリストを彫った磔刑像(crucifix)という彫刻においては、
イエスの頭の上に「INRI」という頭文字が記された札・銘板(titulus)が描かれるのが普通である。また絵画や彫刻によっては、
INRI の文字が直接十字架に彫られていたり、イエスの頭上にINRI の文字が現れているような場合もある。古代の磔刑では、
処刑場に引かれてゆく罪人の首には罪状を書いた銘板がぶら下げられ、その銘板は磔刑時に十字架上にかけられていた。
Wikipedia項目リンク

86:YAMAGUTIseisei
18/08/17 17:55:12.81 bgxMsCk9.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>72 yamaguti 180816 1303 1f4q6DrW?
> >557 ー 180811 1955 BiZ3naRm
>>> わずか5万円台で導入可能な3Dバイオプリンターが登場
>>>URLリンク(gigazine.net)
>>> 細胞などを作り出せる3Dバイオプリンターは安くても1万ドル(約110万円)、高いものだと20万ドル(約2200万円)もする上に、 ry 独自 ry
>>>、カーネギーメロン大学の研究チームがなんと500ドル(約5万5400円)で作れる3Dバイオプリンタ ry
>> :
>>> このLVEは一般的な卓上型3Dプリンターに対応 ry、すでに3Dプリンターを持っている人ならわずか50ドル(約5500円)で導入 ry
>>>。3Dプリンターを持っていなくても、トータルの導入費用は500ドル(約5万5400円) ry
>>>。パーツのデザインは論文に合わせて公開 ry 、3Dプリンターさえあれば自力で作り出
>>>
>>>ry アダム・フェインバーグ教授は2010年に研究室 ry 3Dプリンターで人工心臓のパーツを自重で崩壊させずに出力する手法
>
>
>>698 620 170827 2252 Hgsie5xg
>> >486 スレリンク(future板:454番)# KuukiHenkan
>
>
> >486 478 161007 1834 z/YWzV57
> :
>>>>>><71> ↓
>>>>>><71> 有機コンバータ 食物データ 原料 ※ → 食物
>>>>>><71> ( 三次元プリンタ 物体データ 原料 → 物体 )
>>>>>><71>
>>>>>><71> ※ 窒素酸素水素等限定時 : 空気 ( 効率問題 )
> :

87:YAMAGUTIseisei
18/08/17 17:56:01.07 bgxMsCk9.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>86 スレリンク(future板:72番)
>452 ー 170825 1704 N9wcuYpi
> 【科学】電気と空気から食料を生成することに成功、世界の飢餓問題を解決
>454 ー 170825 1721 yr+y+Pfi
:
> 画像
> URLリンク(livedoor.4.blogimg.jp)
>
> 科学者によって電気と空気から食料が作られた。( ry )この技術はいつの日か世界から飢餓
>
>この研究はフィンランド・アカデミーの資金提供を受け、VTTフィンランド技術研究センターとラッペーンランタ工科大
:
>、まず原料(空気から取り出された二酸化炭素、水、微生物)をコーヒーカップ大のタンパク質リアクターに入 ry 、これを電気分解>
> プロテインパウダー1グラムを生産するにはおよそ2週間かかる。パウダーの構成はタンパク質50パーセント、炭水化物25パーセント、残りは脂質と核酸である。
> 
> 多分、美味しくはない ry 。だが、再生可能エネルギーを用いて空気から作られるのは美点
:
> URLリンク(livedoor.4.blogimg.jp)
>URLリンク(news.biglobe.ne.jp)

>427 ー 171222 1751 COvgADLz
> 電気と空気から食料の作成に成功、食糧危機に備えて(フィンランド研究)
> URLリンク(karapaia.com)
> Protein produced with electricity to alleviate world hunger(元記事)
>URLリンク(www.sciencedaily.com)

88:オーバーテクナナシー
18/08/17 23:06:53.10 NTpyLiDq.net
微生物が繁殖しただけだったりしないんだろうか

89:yamaguti
18/08/17 23:51:37.46 bgxMsCk9.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
> スレリンク(future板:115番)-136##114
>129 ー 180817 0838 tT9s0x3W
> >118
>、新たなハードウェアの開発(量子コンピューター、高効率ASICなど)
:
>ry 新しいハードウェアの相乗効果を1000倍と過程し、
> その間のムーアの法則によるコストパフォ
:
> 、3.5-10年でこの急速なトレンドは終
:
>AIGを開発するための計算量にはいつ達するか?
> 残りの3.5-10年で計算量は10^7〜5×10^13 Petaflop/s-days(1秒を1日換算)になる。
>3つのAIGに関するマイルストーンを挙げて、これらを達成する見込みがあるか検証

>>68 >>77
> 小型液浸スパコンで性能向上を再加速
:
>.ZettaScaler-3.5
>
> 技術的には2017年に100 PetaFLOPS 、2018年中には1 ExaFLOPS 到達が可能

90:オーバーテクナナシー
18/08/18 01:04:28.99 vGGH0L/F.net
3Ⅾプリンタで作った飯なんて食いたくねえだろ
普通のラーメン屋で食べるラーメンとカップラーメンの品質みたいになるんじゃね?

91:オーバーテクナナシー
18/08/18 07:00:10.76 v6N/Ekbv.net
>>90
プリンタ麺なので、旨さは食う人の自己責任になる。

92:yamaguti
18/08/18 20:33:12.60 GAS5NlhT.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>87 良く読めば
× 空気変換
○ 微生物 ( + C O 等 ) 変換
役立つ事に変りはないが脱力

93:オーバーテクナナシー
18/10/09 01:43:41.35 wzjvjVV0.net
レス100個くらい
一人の人が書いてるっぽいけどスパム?

94:オーバーテクナナシー
18/10/09 02:08:39.46 wzjvjVV0.net
今更だけど、仮想通貨というかブロックチェーン技術が凄く便利な方法だと思い始めてるんだけど
ビットコインの決済アホみたいにコストがかかるよね
他のコインも試してみたけど人が多くなるとどうしても速度が遅くなる
ライトニングネットワークが出てくるけど、結局これって実用化できそうなの?
また、早くて安くなるの?
暗号通貨の未来に期待もしていたが、仕組み上大量のデータが裁けないし無理がないか?
克服可能?

95:オーバーテクナナシー
18/10/18 04:03:42.75 xPMnVBjb.net
シンギュラリティスレ

96:オーバーテクナナシー
18/11/28 15:25:26.12 adpVi7VH.net
シンギュラリティを起こすのは偉大なる中国だ
2045年は世界が我々に屈服する日
ジャップよ我々に支配され蹂躙されるのを楽しみに待ってろ‼

97:yamaguti
18/12/02 22:04:16.59 tIbGKV9M.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>850 ー 181130 2037 5FvhFiLp
> MITと共同でニューロン単位での脳解析を目指す東芝メモリ(Impress Watch) - Y!ニュース
>URLリンク(headlines.yahoo.co.jp)
> 目標としては、脳まるごとのニューロンの高速全解析だが、今はマウスの海馬の断片で5TBになり、マウスの脳全体で1EB(100万TB)のデータサイズとなる。人間の脳に至っては、3ZB(30億TB)という途方もな
>
>、両者は毎秒TB超の転送速度を持ったストレージ環境の構築を
>
> 石井氏は、ストレージ技術は、
:
>851 ー 1130 2041 dL6WbuVo
> >850
> Googleの脳解析プロジェクトは2016年の時点で1ZB
> たぶん鳥の脳だったかな
>914 ー 1201 0212 IK+Oi/eL
> >850
:
>石井氏は、人類未知の領域には、宇宙や深海 、人間の脳もその1つ 、
>同研究所のEd Boyden氏を、 だと紹介した。
>
>、同氏が考案した「Expansion Microscopy(膨張顕微鏡法)」 、
>脳細胞の体積を8,000倍 、 を可視化することに成功。
>
>、体積が8,000倍 解像度が8,000倍 、データ量も8,000倍
>、10GB/sクラスの高速ア 東芝メモリが協力
>3D顕微鏡画像 、NHKとも協力し、8Kサイズでのインタラクティブ3Dビジュ
>
>は神経細胞レベルでの脳の仕組 、 、
>Optogeneticsによる神経細胞の制御
:

98:yamaguti
18/12/03 12:29:28.73 pNjAqORA.net BE:138871639-2BP(0)
URLリンク(img.5ch.net)
>>40-50
>197 ー 181112 2127 6NczvRQt
>Google、言語表現事前トレーニング手法「BERT \>URLリンク(www.ossnews.jp)
>
> Google 自動翻訳精度を向上させるAIシステムBERTを開発
>URLリンク(aitimes.media)
:
>論文 、 最大の特徴は、事前に学習したモデルをチューニン

Universal Transformer 論文
>シーケンスの異なる部分からの情報を結合するために、それはすべての繰り返しステップで自己アテンショ
>、適応型計算時間(ACT)メカニズムを採用して、シーケンス内の各位置の表現が改訂される回数をモデルが動的に調整でき

>682 ー 181128 1341 L5zgI8e7
> あの論文を検証してみた! - シリーズ第1回 - BERT 論文(解説編)
>URLリンク(bci-tech.hatenablog.com)
:
> ブレインズコンサルティング・テックブログ \> はじめまして、 大下です
:
> まとめ
>  * MLM、NSPの2つの手法を使って pre-train を行っている
>   o MLM: 入力系列をランダムにマスクし、マスクした部分を推定さ
>   o NSP: 次の文を推定す
>  * 単語(sub_token)ベクトル、文ベクトル、位置ベクトルを加算したベクトルを埋め込みベクトルとしている
>  * Transformer 内の Self-Attention により、出力系列==入力系列を混ぜた新たな系列を生成している
>  * 単語のピース(sub_token) をうまく定義すれば、未知語よりも意味があるベクトルの系列に変換できる
>  * ry
>  * tokenizer と 辞書を同時に学習(更新)できるようなモデルをBERTをベースに作ったら、


次ページ
最新レス表示
スレッドの検索
類似スレ一覧
話題のニュース
おまかせリスト
▼オプションを表示
暇つぶし2ch

1287日前に更新/77 KB
担当:undef