「コンパイラ・スクリプトエンジン」相談室11

「コンパイラ・スクリ ..

396:デフォルトの名無しさん
07/03/28 12:12:32
商用ゲームで使うスクリプトのコンパイラ・エンジンを作ることになったんですが、
そういったプログラムに関してはわからないことが多いので悩んでいます。
組み込み系言語のLuaを使うという選択肢もあるんですが、とりあえず自作する方向で勉強してます。
flex&bisonあたりは使うつもりなのですが、他にも使って便利なツールってあるでしょうか？
初心者はnasmとかalinkみたいなものを使った方がいいんでしょうか。

397:デフォルトの名無しさん
07/03/28 13:20:54
ANTLR

398:デフォルトの名無しさん
07/03/28 14:13:22
なぜLuaを使わないかの理由が知りたい。

399:デフォルトの名無しさん
07/03/28 16:30:15
何故インタプリタ型のLuaとコンパイラ型の言語設計(nasmなどを挙げている事から
の類推)を並べているのか分からないのだけど、コンパイラ作るだけならパーサ
ジェネレータ以外に必要なものは無いし、それ以上の補助ツールも無いと思う。

nativeに落とすのであればWindowsならcoffなどのフォーマット参照、コンソール
なら各ベンダの資料とか、自前でニモニックを変換するのはかなり泥臭い話なんで
可能ならnasmとかを使う方が遥かにお手軽、最適化を自前実装するのでなければ、
期待できるコンパイラの性能にも拠るけどCとかにトランスレートする方が高速な
動作を期待できるかもしれない。

というかゲームの種類と環境でコンパイラなのかVM型のインタプリタとかで良い
のか、デザイナー向け簡易スクリプトなのか汎用言語タイプなのか良く分からない。
単純に上から言われたのならもう少し何が欲しいのか詰めた方が良いんじゃないかと
心配してしまったのだけど。

400:デフォルトの名無しさん
07/03/28 16:55:23
BNFのコンフリクトを解決しやすいツールって何かないですか？

401:デフォルトの名無しさん
07/03/28 20:08:47
つ-vオプション

402:デフォルトの名無しさん
07/03/28 21:28:51
つ熟練者の直感

403:デフォルトの名無しさん
07/03/28 22:08:45
>>399
具体的なことを言えば、
社内のスクリプトのシステムを作っていた前任者が大分前に辞めてしまい、
いい加減作り直さなきゃね、という状況で自分がやることになり、
前任者の作ったものを解析した結果、
yac&lexを使い、自前ツールでアセンブリ言語に変換し、そこから先はnasm+alinkのようなツール（実際は別物）
でマシン語にしたものを実際のゲーム側で読み込んで使っていました。
それで、そういう方向でいろいろ調べているという状況です。
>>398
Luaは存在は知っているのですが、具体的なことはまだ知りません。
上記のような状況なので調べるものとしてLuaの優先順位が今は低いだけで、
一度しっかり調べて検討するつもりです。

404:デフォルトの名無しさん
07/03/28 22:40:22
>>403
>yac&lexを使い、自前ツールでアセンブリ言語に変換し、そこから先はnasm+alinkのようなツール（実際は別物）　
>でマシン語にしたものを実際のゲーム側で読み込んで使っていました。

それは「スクリプトのシステム」ではなく、「コンパイラ」ではないかと・・・

405:デフォルトの名無しさん
07/03/28 22:59:46
難儀ですな、、、
自分がコンパイラ作った時はyaccで文単位で構文木を作ってそれをリストに格納、
ニモニック変換時は各文ごとに構文木を辿ってテンプレートに従ってコード出力、
言語に型システムがある場合はニモニック生成前に構文木を一旦辿って型の文脈
を決定、その後ニモニック生成ってカンジですた。

自分の場合スタック型VMだったんでレジスタ割付の最適化とかは知らない、アキュムレータ
とメモリ間接に限定すれば簡単だけど、アセンブラがシンボル対応ならアドレス解決
は不要かな。

後はリファレンスカウンタまでならNativeでも比較的安易に作れるけどFull GCだと
スタックや変数領域をどう扱うか、スレッドの管理までフレームワークを用意する
形なのである程度事前設計が要ると思う。

まぁ参考になるか分かりませんが、、、

406:デフォルトの名無しさん
07/03/29 00:08:48
もう前任者のはいったん捨てた方がいいかもシレン
ちゃんとしたドキュメントがあるなら別だが

407:デフォルトの名無しさん
07/03/29 01:00:32
>>406
レオもそう思う

408:デフォルトの名無しさん
07/03/29 01:40:53
>>403
>でマシン語にしたものを実際のゲーム側で読み込んで使っていました。

ここまでやってるってことは、普通にインタプリタじゃパフォーマンスが足りないってことかな？

なら、CやＣ＋＋言語へのトランスレータ作ったほうが簡単だし、
工数もかからないんじゃないかな。

俺は商業じゃないけど、EXCEL->C++へのトランスレータ作って使ってる。

場合によってはC++そのままの機能も埋め込めるし、既存言語に足りない機能足すだけだから、
それこそあっという間に完成するぞ。

409:デフォルトの名無しさん
07/03/29 06:38:39
ちなみにLuaのVMはJITを搭載しているから、他のスクリプト言語と比べてバフォーマンスはだいぶ高い。

410:デフォルトの名無しさん
07/03/29 12:01:35
>>404-409
返答ありがとうございます。参考になります。

>>408
最低限のレベルで要求されているのは、メモリや速度の面で問題ないということと、
前任者のスクリプトがCライクな仕様で、社内メンバーがそれに慣れているので
それに合わせなければなりません。

>>409
とりあえず、前任者のものをある程度理解できたのでこれからLuaを勉強しようと思ってます。

411:デフォルトの名無しさん
07/03/29 16:26:26
>>410
作りなおすってことは、前任者の作った言語に不満があるってこと？
どんな不満があるのか（機能が低い、言語使用が貧弱、とか）によっても
作り方が変わってくるんじゃないかと思う。
（トランスレータにするのか、インタープリタで間に合うのかとか…）

412:411
07/03/29 16:27:10
訂正：言語使用　→　言語仕様

413:デフォルトの名無しさん
07/03/29 18:04:54
>>411
いくつか解決しなければいけない問題というのはあります。
トランスレータというほどじゃないですが、それを解決する方向で拡張するという案も確かにあります。
ですが、作った人間がすでに会社にいないので、理想を言えば新しいものを用意することでしょう。
自分が辞めれば結局同じことのループなので、Luaのようなものを使うのが会社にとっては一番いいことなのかもしれません。

LuaはCライクな言語じゃないようなので今はSquirrelを見ています。

414:デフォルトの名無しさん
07/03/29 18:13:32
ちうか速度面で劣化があっちゃまずいのならインタープリタじゃアレなんじゃね？
前任者さん版のスクリプトのおぼろげな仕様聞く感じ

415:デフォルトの名無しさん
07/03/29 18:53:22
>>414
まあ、マシン速度も昔に比べれば比較にならないくらい向上してるし、
どうしても速度的に問題があるなら、、その部分だけゲームエンジン本体に
直接機能追加すればいいから、そんなに問題になることはないんじゃないかな？

自社ツールなら、そこらへんどうとでもなる。

今までＣライクなスクリプトだったなら、Ｃ言語へのトランスレータが簡単でパフォーマンスに
優れていると思うけど、フリーの汎用エンジンなら自社でメンテナンスしなくていいから
将来的な負担を考えると、悪くない選択かもね。

とはいえフリーのスクリプトエンジン使う場合、ライセンスをちゃんと確認しておかないと、
へたすりゃソースコード公開させられる羽目になるぞ。

416:デフォルトの名無しさん
07/03/30 14:36:03
>>409
LuaJITってLuaの大本にマージされたの？

417:デフォルトの名無しさん
07/03/30 14:59:01
>>410
>前任者のスクリプトがCライクな仕様で、社内メンバーがそれに慣れているので

メンバーにCを覚えさせたほうが速いんじゃね？

っていうか、そのスクリプトの「利点」って何なの？

418:デフォルトの名無しさん
07/03/30 15:07:55
>>413
>Squirrel
これ知らんかった。Luaもいいけど、これもよさげだね。さんくす。

419:デフォルトの名無しさん
07/03/30 15:13:21
> メンバーにCを覚えさせたほうが速いんじゃね？

んなこたーねえｗ

420:デフォルトの名無しさん
07/03/30 15:20:24
>>419
そのスクリプトの仕様を見てみないと
なんとも言えないと思うが？

話を聞く限りでは、汗を生成していたんだろ？

実はそれ、ただのCコンパイラ(多少の独自拡張あり)かもよ。

421:デフォルトの名無しさん
07/03/30 16:49:28
ていうか話聞いてるとSystem4.0が思い浮かんでしょうがない

422:デフォルトの名無しさん
07/03/30 18:52:06
自動でマルチスレッド化、グリッド化
できるコンパイラないの？

423:デフォルトの名無しさん
07/03/30 19:00:27
Intel C++ Comipilerは？

424:デフォルトの名無しさん
07/03/30 23:35:18
Cライクなスクリプトと言うと、smallというのもあったねぇ。今はPAWNか。
URLﾘﾝｸ(www.compuphase.com)
……どんなのか知らんけど……

425:デフォルトの名無しさん
07/03/31 13:49:03
>>424
ちょっと使ってみたことがあるが、スクリプトで動的メモリ割当てを使わない場合は
GCを切ることができたり、（再帰がなければ）スタックの最大長をコンパイル時に計算して、
スクリプトのロード時にVMに割当てるメモリを最小限に抑えたり、組込み機器向けにいい感じ。
スクリプトの文法としては、Cライクな手続き的記述に加え、状態遷移、イベント駆動的な
書き方が出来るのも面白い。

426:デフォルトの名無しさん
07/04/01 01:12:36
verilogのパーサがほしくて
cygwin + antlrをインストールした後

URLﾘﾝｸ(www.eecs.berkeley.edu)
からダウンロードしてみました。 flex とbisonは入れていません。

makeしてexeファイルが作れて、adder.vという例題ファイルをexeに食わしてみたのですが、

Parsing Verilog file...
... successful!

というメッセージが出たのですが、ファイルが生成されません。どこかにできているものでしょうか？
ご存知の方いたら教えてください。

427:デフォルトの名無しさん
07/04/01 03:40:32
>>426
君は何年生？（どこの大学？専門学校？）
それと与えられた宿題の内容も詳しく教えてくれた方が役に立つアドバイスができそう．

まずexample.cppをエディタで開いてみるところから始めよう．

428:デフォルトの名無しさん
07/04/01 08:01:20
社会人

一応全部見たが出力先がよく分からんから聞いた。煽りにレスしてしまった・・・

429:デフォルトの名無しさん
07/04/01 09:21:12
まぁ、あまりに青臭い煽りにはつい優しくしてあげたくなることもあるｗ

430:デフォルトの名無しさん
07/04/01 10:11:45
パーサはパースする物。
サンプルはパースするところまで。

VHDLを読んで解釈する、そして文法的には正しく読み込めたと表示。
その中身を変換して出力するのはパーサの仕事じゃない。

431:デフォルトの名無しさん
07/04/01 18:18:39
>>430
えーと、中身を解釈して構造はこうだったよ！と
吐き出してくれるものってないのでしょうか？

構造解析結果まで生成するものがパーサだと思っていたのに・・・

432:デフォルトの名無しさん
07/04/01 18:32:20
>>431
おいおい、今朝教えたパーサの知識を
早速こんな所で御開陳か？

>>430の話は、要するにサンプルコードはパースはするけど、
内部的に生成した構文解析データの出力ルーチンは記述されていない
ってだけの話だろ。

433:デフォルトの名無しさん
07/04/01 20:34:24
>>432
すみませんが、もう煽りにレスはしません

434:デフォルトの名無しさん
07/04/01 20:43:18
いや、煽ってなどいない。

そもそもキミは質問に回答をもらった後で、
回答者に感謝の意を表しているかね？

435:427
07/04/01 20:51:45
>>431
example.cpp（と，そこで使ってるverilogParser.yxx）は
* エラーがあったらyyerrorのassert(false)で異常終了
* なかったら返り値1で終了（←何考えてるんだ？）
ってだけのプログラムなのは読めば分かるだろ？
そもそも出力先を一つもfopenしてないしfstreamも使ってない

内部構造はyydesign->modulesにpush_backされてるから自分で文字列化しる
つまりverilogDesign.cpp内の各クラスにoperator string()を追加するんだよ

とりあえずverilogパーザなんて難しいものでなく逆ポーランド電卓から始めた方がｗ

436:デフォルトの名無しさん
07/04/01 20:52:02
フレームの最中申し訳ないが質問に答えてほしい。
今日、電車の中でふと疑問に思った。

様々なLispやOCamlみたいにevalを持つコンパイラの場合
実行コード中にインタプリタかコンパイラを持っているのですか ?

FAQかも知れませんが教えてください。

437:デフォルトの名無しさん
07/04/01 20:59:53
>>436
実行コード中にインタプリタかコンパイラを持っています

438:デフォルトの名無しさん
07/04/01 21:45:01
>>436
Lispコンパイラとか言うときってスタンドアロンなバイナリファイルを吐くものでないことが多い気がする

対話環境（←コンパイラを含む巨大なプログラム）において関数を定義すると
その関数に対応するネイティブコードをコンパイラがメモリ上に構築してそれを実行，とか
そういうのだと作ったソフトの配布には使いづらい（そうでないものもある）

OcamlのToploopモジュールも，あれocamloptじゃ使えないんじゃないのか？（未確認）

439:436
07/04/01 23:37:28
>>437 >>438
レスありがと。

やっぱ魔法みたいな方法はないんだね。

440:デフォルトの名無しさん
07/04/02 01:49:19
>>438
インクリメンタルなコンパイルのほうが将来性があると聞いて、そっち方面に
手をつけてるんだけど、↓の意味がわからない。コンパイラを含む分、サイズ
が多きくなるけど数メガ程度で、Windows でいったら DLL HELL を避けるため
に C ランタイムとかの DLL を添付程度のもんだとおもってるんだけど、
サイズ以外になにか問題ってある？ Java や Lua の JIT とかも該当しそうだけど

> 対話環境（←コンパイラを含む巨大なプログラム）において関数を定義すると
> その関数に対応するネイティブコードをコンパイラがメモリ上に構築してそれを実行，とか
> そういうのだと作ったソフトの配布には使いづらい（そうでないものもある）

441:デフォルトの名無しさん
07/04/02 02:18:08
LexerとParserが分離できるかの問題じゃね？

xml知ってるならDOMを実装するのにSAXが使われてたりするってのをイメージすると分かりやすいんだが。

字句解析が中のSAXパーサ、構文解析がDOMパーサ全体。
構文ツリーがDocumentノードって感じ。
分離するかしないかの問題でそれと同じだ。

442:デフォルトの名無しさん
07/04/02 02:39:20
サイズの問題さえ気しなけりゃ配布ソフトが字句解析器や構文解析器を備えてようが、
それが分離できるかできないかなんて関係なくない？

443:デフォルトの名無しさん
07/04/02 03:29:52
つーか対話環境ってそんな大きくなるもんかね？

444:デフォルトの名無しさん
07/04/02 07:42:23
REPLだけが対話環境とは限らんから、Visual Studioみたいな対話環境が
ついてくるのかも知れないじゃんw

445:デフォルトの名無しさん
07/04/02 22:37:36
商用利用（ゲームとか）を考えると、ソースや開発環境をまるごと載っけてると
勝手に改変版のプログラムを売られる/配られるのが嫌だ。とかいうのはあるかも。

446:438
07/04/03 00:07:09
>>440
とりあえずサイズの問題だけ考えてた
まぁ今時では気にしなくていいのかな？
こないだ見た例では，abenori氏のTeXインストーラがDLL版Rubyを同梱してたっけな

>>445
特にLispはリフレクション，イントロスペクション周りの機能が多いので
対話環境をそのままくっつけておくと
意図せずに内部を見られ，いじられてしまうことにつながりかねないよね
（それは強みの裏返しだが）

447:デフォルトの名無しさん
07/04/03 01:32:42
>>498
サイズの問題がメインなんだよね。まぁ、いじられたくないアプリなら対話環境の機能は殺したいよね。
JIT みたいなインクリメンタルなコンパイル機能に問題があるのかとガクブルしちまった。すまん。

Lisp 界隈では大抵コンパイラというのはソースをネイティブコードやバイトコードなどの実行形式に変換する
機能のことで、スタンドアロンなバイナリ作る機能とは独立してるみたいだね。うーむ、そーゆうのもアリなんだねぇ…。

448:デフォルトの名無しさん
07/04/03 03:24:05
＞スタンドアロンなバイナリ作る機能
それはリンカとかローダとか（名前は何でもいいんだけど）
別のプログラムの役割では

449:デフォルトの名無しさん
07/04/03 16:58:13
極力ランタイムをmsvcrt.dll直にしてnativeに落とせば2KBぐらいから作れる。
VM上で動くのなら10～20KBぐらいじゃないかな。
eval相当が必要かどうか。

450:デフォルトの名無しさん
07/04/04 00:23:27
ココで聞くべきことではないかもしれないけど
組み込み用(マイコンとかじゃなくLuaなどの方面)のCコンパイラ(スクリプトか？)があったような気がするんだけど
名前が思い出せない
知っている人はいますか？
たしか、機械語を吐けるものだった気がします

451:デフォルトの名無しさん
07/04/04 03:34:16
これかな？
LSI C 86

452:デフォルトの名無しさん
07/04/06 17:00:33
こっちかも
libtcc

453:デフォルトの名無しさん
07/04/06 18:58:21
tccか… あれはいいものだ。

454:デフォルトの名無しさん
07/04/17 16:47:20
訳あって、(メトリクス計算プログラムを作るため)字句解析まで行いたいと思っている者です。
Javaで調べてみたところ、java.io.StreamTokenizerというAPIが自動で構文解析をやってくれるそうなのですが、
このスレ的にはStreamTokenizerの評価はいかがなものでしょうか？
ちなみに、字句解析までのプログラムを（OS云々で面倒なので）Javaで作ろうと考えており、
扱う言語もとりあえずはJavaSE1.4あたりにする予定です。
できれば、StreamTokenizerを詳しく取り扱っている本とかを紹介していただけると助かります。

455:デフォルトの名無しさん
07/04/17 17:13:17
>>454
URLﾘﾝｸ(java.sun.com)

456:デフォルトの名無しさん
07/04/17 17:14:16
間違った
URLﾘﾝｸ(sdc.sun.co.jp)

457:デフォルトの名無しさん
07/04/17 17:18:34
>>454
字句解析・構文解析・意味解析のそれぞれの意味の違いを知っていますか？

458:デフォルトの名無しさん
07/04/17 17:30:49
StreamTokenizerで扱えるトークンは
　・数値
　・ワード (英数字のつらなり、文字列定数、その他の記号)
　・行末、ファイル末検出
　* コメント記号(#等)以降行末まで読み飛ばし
程度。任意のトークンを追加登録する機能はない。
簡単な設定ファイル程度ならともかく
Java言語の字句解析には機能不足だ。

Java言語の構文解析が目的ならば、
パーサ生成プログラムを使うって作るか、
ありもののパーサを探すのが良い。

459:454
07/04/17 18:35:28
>>455-456
流石にそこは真っ先にチェックしてます。

>>457
すみません。字句解析と構文解析を逆に書いてました。
意味解析は今回は必要ないです。

>>458
と、なるとjavaccあたりで行うのが無難でしょうか？

460:デフォルトの名無しさん
07/04/17 18:49:57
構文解析抜きじゃ、メトリックを計れないでしょ

461:デフォルトの名無しさん
07/04/17 18:52:57
意味解析という言葉を持ち出している時点でネタ決定

462:デフォルトの名無しさん
07/04/17 19:10:45
>>461
教科書的には意味解析という言葉はある。

463:デフォルトの名無しさん
07/04/17 19:15:11
意味解析抜きじゃ、コードの質を計れないでしょ

464:デフォルトの名無しさん
07/04/17 21:14:04
すげーな
俺は字句解析と構文解析をわける意味も必要も境目も全く理解できんかった
どう考えても構文解析までやらないとわからんトークンってある気がするっつうか
そうでなくとも構文解析しながらのが略

465:デフォルトの名無しさん
07/04/17 21:22:02
字句解析した方がプログラムとしてまとまりがあってよい。

466:デフォルトの名無しさん
07/04/17 21:24:20
いや、構文解析までやんねーと字句に分けらんねーって話なんだけど

467:デフォルトの名無しさん
07/04/17 21:30:06
cモドキでプリプロセッサとcパートとインラインアセンブラを同時に解釈するような
アホコンパイラを作ったときは字句解析と構文解析が交じり合って酷い目にあったな。

468:デフォルトの名無しさん
07/04/17 21:33:39
こんなん分けていいことないよね

469:デフォルトの名無しさん
07/04/17 21:43:52
>>466
言ってる意味わかんない＾＾；

470:デフォルトの名無しさん
07/04/17 21:50:26
いやだからさー
字句解析って構文になってない
つまり前後をみないで文字単体で判断することになるわけじゃん
これやりにくいぜー

471:デフォルトの名無しさん
07/04/17 21:53:04
という文法を作るとコンパイルが糞遅い言語が出来上がるわけですな。

472:デフォルトの名無しさん
07/04/17 21:57:40
文字っつうかトークン？

473:デフォルトの名無しさん
07/04/17 21:58:15
>>470
どんな文法でもトークンに分けられますよ。
だから、大丈夫です。

474:デフォルトの名無しさん
07/04/17 22:01:56
いやそれがさ
構文解析までしてみないとトークンとしてわけずらいもんがあるわけよ
できるできないの話じゃなくてな

475:デフォルトの名無しさん
07/04/17 22:03:47
>>474
どの程度までを構文解析って言ってるのか曖昧

476:デフォルトの名無しさん
07/04/17 22:08:30
あいまいも糞も一回でもやってみりゃわかるでしょ
わからない人とはお話ししませんｗ

477:デフォルトの名無しさん
07/04/17 22:10:30
いや、字句解析・構文解析ぐらいやったことあるけど、普通に棲み分けできるぞ？

478:デフォルトの名無しさん
07/04/17 22:38:34
>>474
> 構文解析までしてみないとトークンとしてわけずらいもんがあるわけよ
> できるできないの話じゃなくてな

それは多分、言語の文法の問題。
CやJavaレベルなら、構文解析までしなくても字句解析は普通に
出来ると思う。

どんな文法の言語の話？
例文希望。

479:デフォルトの名無しさん
07/04/17 22:50:14
こういう曖昧なのとかか？
決め打ちだと思うけど。

#include <stdio.h>
int main() {
int a = 3;
printf("%d", a---3);
}

480:デフォルトの名無しさん
07/04/17 23:19:51
・ゆるいJavaScriptのような、文の後の改行はセミコロン(の省略)とみなされ、
それ以外ではホワイトスペースとして飛ばされるケース（改行文字のトークン解釈が構文解析の状態に依存）
・文字列リテラル中に、埋め込みテンプレートのような感じでその言語の式が書けるケース（字句構造内に構文構造が存在する）
etc.

481:デフォルトの名無しさん
07/04/17 23:23:12
>>480
あ～そうか、君はちゃんとした教育を受けてないんだ。
我流だね？

482:デフォルトの名無しさん
07/04/17 23:26:10
>>479
そういうのもそうだな
あとダブルコーテーションの中身が豪勢なのも俺は嫌いだ
あとなんだったかな
なんかもっと個人的に微妙なんだけど凄く嫌なのあったんだけど忘れたｗ
今度メモってくる
誰か解決策知ってるかもしれんし

483:デフォルトの名無しさん
07/04/17 23:30:25
改行とかタブとか見えないのが構文に影響を与える言語早く廃れてほしい
パイソンとかもう消えていいよ

484:デフォルトの名無しさん
07/04/17 23:38:42
>>479
a---3　は特に字句解析で困ることはなし。
マイナスが連続した場合の処理だけど、
　１．１つめのマイナスを読み込む。
　２．1文字先読みする。
　３a．２で読んだ文字がマイナスなら演算子--（マイナスふたつ）と判断。
　３b．２で読んだ文字がマイナス以外なら演算子-（マイナスひとつ）と判断。
ってだけで済む。

>>480
眠いから後でよく考えてみるけど、後者の文字列リテラル中に
言語の式が含まれると言っても、その言語の文法すべてを
含めることができるわけじゃない…んだよね？たぶん…

485:デフォルトの名無しさん
07/04/17 23:39:40
>>483
スペースはいいのかね

486:デフォルトの名無しさん
07/04/18 00:01:51
Cだとint *pで(3/*p)だとコメントのエラーになる。
構文解析の段階で字句まで処理しちゃうと
組み合わせの爆発的増大がおきるからやらんだろ。

487:デフォルトの名無しさん
07/04/18 00:06:18
構文まで踏み込まないとわからんトークンがあるから
俺は同時にやっちゃったほうがいいと思うけどね

488:デフォルトの名無しさん
07/04/18 00:12:07
/と*を別々に扱えば良いだけ。

489:なにこのスローモーな会話
07/04/18 00:24:16
>>484
3---a

490:450
07/04/18 00:29:34
>>451-453
どうもありがとうございます
>>451
それちゃいます
>>452-453
それっぽい気もするけどなんか違う気がしました

自分でも探してみましたが見つかりませんでした
どうもお騒がせしました

491:デフォルトの名無しさん
07/04/18 00:37:50
空気

492:デフォルトの名無しさん
07/04/18 00:39:17
>>481 >>481

493:デフォルトの名無しさん
07/04/18 00:43:33
>>481って馬鹿？

494:デフォルトの名無しさん
07/04/18 00:45:40
構文解析までしないとトークンに分けられないオレオレ言語の文法ってどんなのよ。
変数名に記号でも使えるのか？

495:デフォルトの名無しさん
07/04/18 00:46:24
>>493
いえ、彼は大天才です。ただ我々のような凡人には馬鹿にしか見えませんが。

496:デフォルトの名無しさん
07/04/18 00:49:40
>>484 >>481

497:デフォルトの名無しさん
07/04/18 01:51:04
LL文法に後からルールを追加する方法無いかな……
オートマトンを弄くるしか無いかな？

498:デフォルトの名無しさん
07/04/18 02:09:36
>>483
Whitespaceおすすめ

499:デフォルトの名無しさん
07/04/18 02:16:02
ﾎﾙﾎﾙしてﾃﾞﾝﾊﾟ垂れ流しか

500:デフォルトの名無しさん
07/04/18 07:32:33
>>488
そしたら / * がコメントの開始になるんじゃね？

501:デフォルトの名無しさん
07/04/18 07:42:53
>>478
>CやJavaレベルなら、構文解析までしなくても字句解析は普通に　
>出来ると思う。　
>
>どんな文法の言語の話？　
>例文希望。　

C　の　typedef　で定義された型。

これは確かに「文字列」としては切り出せるが、その後
それがただの識別子であるか　typedef　された型であるかが
分からないと構文解析はできない
（普通この問題は、構文解析して得た情報を
字句解析側にフィードバックすることで対応している筈）。

502:デフォルトの名無しさん
07/04/18 07:44:16
3/*p　コメント開始
3/ *p 正しい式

503:デフォルトの名無しさん
07/04/18 07:50:50
>>501
> 筈

脳内ですね

504:デフォルトの名無しさん
07/04/18 07:58:31
字句解析では、識別子を認識するだけ。
(変数名, 関数名, 構造体/共用体名, typedef名)

狭義の構文解析では、識別子が文法上正しい位置
に出現している事を認識するだけ。

505:デフォルトの名無しさん
07/04/18 08:00:12
>>503
まあな。
俺は誰かさんとは違って、
世の中の全てのCコンパイラのソースを
読んだ経験がある訳ではないからな。

俺が悪かった。
チラシの裏の落書きだと思って読み飛ばしてくれ。

506:デフォルトの名無しさん
07/04/18 08:11:11
(int)("foo", stdout)
はキャストで、
(fputs)("foo", stdout)
は関数呼び出しという問題のことでおｋ？
この場合必要なのは意味解析から構文解析へのフィードバックであって、
字句解析は関係ないような。

507:デフォルトの名無しさん
07/04/18 08:18:34
より正確に言うと、文法上正しい位置に現れた識別子は、
その文法に従って変数名, 関数名, 構造体/共用体名, typedef名, …
のいずれかの属性が付けられる (仮定される)。

例えば
　a = 3;　// aは変数
　b();　　 // bは関数

変数と仮定した識別子の定義と参照に矛盾がないことを
チェックするのは意味解析フェーズの仕事。

　typedef int integer;　// 定義1：integerはtypedefされた型名
　integer a;　　　　　　　// 定義2：a は integer型変数
　a();　　　　　　　　　　　// 参照：a は関数名のはずだったが
　　　　　　　　　　　　　　// 　　　　定義2と矛盾している→エラー

508:デフォルトの名無しさん
07/04/18 08:19:35
>>505
見たこともない話をくどくど言うのはビョーキ

509:デフォルトの名無しさん
07/04/18 08:24:48
>>506
いったい何処に意味解析の入る余地があるのか全然分からない。

もしかして、"int"　という文字列を、
字句解析では　int　キーワードとして
認識しないつもりなのか？

510:デフォルトの名無しさん
07/04/18 08:29:15
頭悪すぎ。

intは予約語なので、字句解析レベルで認識可能。
(integer)("foo", stdout)　ならば、
字句解析で integerは(関数戻り値の)型と仮定され、
意味解析で integerの型定義を確認する

511:510
07/04/18 08:31:09
× 字句解析
○ 意味解析

(integer)("foo", stdout)　ならば、
字句解析で integerは単なる識別子
　(変数名、関数名、typedef名、・・・)と認識され、
構文解析で (関数戻り値の)型と仮定され、
意味解析で integerの型定義を確認する

512:デフォルトの名無しさん
07/04/18 08:32:43
>>510-511
ミスは見なかった事にしてあげようｗ

513:デフォルトの名無しさん
07/04/18 09:22:42
>>489
> >>484
> 3---a

うん。だから、それは
「３」「－－」「－」[a」
の４つのトークンに解析されるから文法エラー。

514:デフォルトの名無しさん
07/04/18 09:30:34
>>512
まぁ、そのほうが身の為だよ。
（相手が自分で訂正したミスを意識し続ける奴って馬鹿にしか見えないから）

515:506
07/04/18 09:47:30
>>509
(XXX)("foo", stdout)という形の式を見たときに、XXXが型名(予約語だけでなくtypedef名も含む)か
そうでないかを判断しないとこれ以上構文解析できない、ということを言いたかった。

>>510-511
何を言ってるかさっぱり分からん。
「(関数戻り値の)型」って何？

516:デフォルトの名無しさん
07/04/18 09:50:58
>>507
いい加減なことを言うな。
Cに関数名と変数名の構文的区別はない。

517:なんでこんなに物判りが悪いの？
07/04/18 10:18:50
式 (XXXX)("foo", stdout) の処理方法

字句解析：　XXXXは、(変数名、関数名、構造体/識別子、typedef名
のいずれかを表す)識別子トークンとして認識される。

構文解析：式 (XXXX)("foo", stdout)は、
(少なくとも)２種類の解釈ができる。

　解釈1. XXXXが関数名の場合
　　関数XXXXの呼び出しと解釈する。
　　 XXXX("foo", stdout) と等価。
　　("foo", stdout) は関数の引数と解釈する必要がある。

　解釈2. XXXXが型名の場合
　　型XXXXへのキャスティングと解釈する。
　　 ("foo", stdout) は式と解釈する必要がある。

意味解析：識別子XXXXの定義を調べ、
　構文解析フェーズのどの解釈が適切か判断する。

但し実際のCコンパイラは１パスでこれを処理するので、
構文解析フェーズで式(XXXX)("foo", stdout)を処理する前に、
XXXXは関数名もしくは型名として定義済みでなければならない。
(未定義のまま参照された場合、未定義エラーとなる)

518:デフォルトの名無しさん
07/04/18 10:19:47
頭が悪いから

519:デフォルトの名無しさん
07/04/18 10:22:13
字句解析時には識別子の種類 (変数名、関数名、構造体/識別子、typedef名) を判断する必要はない。

520:デフォルトの名無しさん
07/04/18 10:28:45
>>516
おまえの質疑応答はいつも高飛車だな
バカ丸出し

521:デフォルトの名無しさん
07/04/18 11:41:21
>>500
字句解析では、「コメントの開始」をトークンとして扱わない

522:デフォルトの名無しさん
07/04/18 11:54:58
ここはひどい揚足鶏スレですねｗ

523:デフォルトの名無しさん
07/04/18 12:20:36
>>513
何気に勉強になった

>>516
もっとくやしく

>>521
/* ～ */ をスキップ、かな。

524:デフォルトの名無しさん
07/04/18 12:37:15
>>523
> /* ～ */ をスキップ、かな。
そういうのは構文解析の段階でするんじゃないかな

525:デフォルトの名無しさん
07/04/18 12:43:34
それなんて言語？

526:デフォルトの名無しさん
07/04/18 13:01:05
Cって、コメントはプリプロセスの段階で取り除かれるんじゃなかったっけ？

527:デフォルトの名無しさん
07/04/18 13:03:10
>>497
ｗｗｗ

528:デフォルトの名無しさん
07/04/18 13:52:55
一ヶ月ぶりに覗いたがなんという成長の無いスレか

529:デフォルトの名無しさん
07/04/18 16:09:44
トークンの座談会の巻

謎の男「やあ伊藤君！」
伊藤君と呼ばれた女の子「そういう君は佐藤君か！」
佐藤君と呼ばれた男「斎藤君はまだ来ないのか？」
斎藤君と呼ばれたネカマ「俺なら既にいるがな！」
後藤君と名乗るネナベ「…俺をシカトするな！」

530:デフォルトの名無しさん
07/04/18 16:56:32
>>529
不覚にも吹いた。

531:デフォルトの名無しさん
07/04/18 20:54:38
>>519
そうすると、構文解析で問題が出る。
例えば変数宣言の箇所で、

a　b;

という記述があったとしても、
それが構文上正しいかどうかが分からない。
a　が　typedef　名ならば正しいが、
そうでないならば構文エラーだろ？

まあ、これを（無理やり）構文解析では　ok　として、
意味解析に押し付けるという主張もあるようだが、
もし本当にそんな設計をしたら、
まあ、多分グダグダになるだろうな。
だってそれじゃ、構文解析って
実質何の仕事もしてない事になってしまうもの。

・・・まるで、どこかの丸投げ　SIer　みたいな仕事のやり方だよ。

532:デフォルトの名無しさん
07/04/18 20:57:43
お前は日本語読解力に大きな問題がある事が判った。

533:デフォルトの名無しさん
07/04/18 21:07:37
>>531
「構文」エラーを判定するのは「構文」解析の仕事だと思うのだが？

534:デフォルトの名無しさん
07/04/18 21:15:52
>>533
>「構文」エラーを判定するのは「構文」解析の仕事だと思うのだが？　
もちろん、そのとおり。

・・・で、一体何処に突っ込んでいるの？

535:デフォルトの名無しさん
07/04/18 21:21:41
おこちゃまむけせつめい

（１）ていぎぶのしょり１
　　"typedef int a;"
字句解析くん：　　予約語(typedef)、組込み型(int)、識別子(a) ";" ｷﾀー
構文解析さん：　　typedef文ｷﾀﾜｧ・・・組込み型(int)、型識別子(a) って感じ？
意味解析先生：　型テーブルに登録しときますね。

　　型識別子｜型
　　--------+-------------
　　a　　　　　｜int

（２）ていぎぶのしょり２
　　　a b;
字句解析くん：　　識別子(a)、識別子(b)、";" ｷﾀー
構文解析さん：　変数宣言みたいな感じぃ？
　　　　　　　　　　　でも型(a)って定義されてるのかしら
(意味解析先生：　型テーブルを見ればいいのに・・・)
構文解析さん：　型テーブルに型(a)って書いてあるわね
　　　　　　　　　　　じゃあ答は型(a)、識別子(b) ね。
意味解析先生：　(よしよし) 変数テーブルに登録しときますね。

　　変数識別子｜型
　　-----------+-------------
　　b　　　　　　　｜a

536:デフォルトの名無しさん
07/04/18 21:22:40
低レベルな人間の自作自演はいつまでたっても話が解決しないので、ﾁｮｰ笑える

537:デフォルトの名無しさん
07/04/18 21:41:15
そもそも「意味解析」って、入力データが
"構文的に完全に正しい"　という事が判明した「後」の話だろ？

まず、そこら辺の常識、知ってるのか？

538:デフォルトの名無しさん
07/04/18 21:42:09
糖質か。スルー

539:デフォルトの名無しさん
07/04/18 22:02:23
意味解析持ち出したアフォに話を合わせといたら、
ついにアフォが自分の掘った穴にはまったなｗ

変数テーブルや型テーブルの管理は、
構文解析の仕事だよ
yaccで言うと、BNFを構成するの
それぞれの構文要素にアクションとして記述する

540:デフォルトの名無しさん
07/04/18 22:03:08
管理っつか、登録と参照ね

541:デフォルトの名無しさん
07/04/18 22:26:50
>>539
> 変数テーブルや型テーブルの管理は、
> 構文解析の仕事だよ

「ふつうは」それらは意味解析の仕事だよ
Cなどの言語では構文の都合上本来は意味解析でやるべき
仕事を構文解析でやらざるを得なくなってるだけ
そりゃもちろんyaccのアクションにそれらの仕事を押し込む
ことはできるけど、言語が複雑になればなるほど
そういうことするとメンテナンス性が下がる

それと、亀レスだが構文解析レベルでなければ処理しづらいトークンの
例としては、上でも誰かが挙げてた文字列リテラルの中に式を埋め込める
構文(Rubyの#{...}など)で十分だろう。この場合、字句解析器は埋め込み式の
ネスト構造を認識しなければならないので、字句解析と構文解析を完全に
分離するとうまく対処できない(字句解析では一般的に、正規表現を使って
トークンを表現するため)

542:デフォルトの名無しさん
07/04/18 22:30:02
字句くん：構ちゃんがいつも相談してもらってる先生って、ホントは構ちゃんの一人二役でしょ？
　ホンモノの意味先生は忙しいから、そんな雑務に付き合うわけないし

構文さん：当たりでーすてへへ

543:デフォルトの名無しさん
07/04/18 22:30:49
>>539
>変数テーブルや型テーブルの管理は、　
>構文解析の仕事だよ　
>yaccで言うと、BNFを構成するの　
>それぞれの構文要素にアクションとして記述する　

アクションとして記述する部分は構文解析の範疇じゃないだろ？
構文解析と言えば、

・構文的に正しいか否かを判別すること
　　　　yacc　で言えば、{　}　内の処理が全くない状態で
　　　　parsing　できるか否かを判別すること。

・正しい場合、それがどの構文形式かを一意に特定すること
　　　　>>517
　　　　>構文解析：　式　(XXXX)("foo",　stdout)は、　
　　　　>(少なくとも)２種類の解釈ができる。　
　　　　こんなのダメダメ。実質、reduce/reduce　conflict　だろうが。

だろ？

544:デフォルトの名無しさん
07/04/18 22:32:46
>>441
ありゃ。スミスさんが来た予感。

545:デフォルトの名無しさん
07/04/18 22:33:40
> こんなのダメダメ。実質、reduce/reduce conflict だろうが。

それでは正しい解説をどうぞ。
↓

546:デフォルトの名無しさん
07/04/18 22:35:03
>>534
字句解析に対して構文解析の仕事を要求しているように読解できたんでな。
まあ、漏れの読解力不足かもしらん

547:あらあらまたハッタリかな
07/04/18 22:35:49
> こんなのダメダメ。実質、reduce/reduce conflict だろうが。

それでは正しい解説をどうぞ。
↓

548:デフォルトの名無しさん
07/04/18 22:41:28
>>537
C言語の場合は実質 >>517, >>535だろ。
それが気に入らないなら、
C言語使うのヤメるか、

　　　　自分でコンパイラ書けばいい。

毎度毎度のお話だが。

>>541
言語内のミニ言語(埋め込みSQL、Cのプリプロ、printfフォーマット等)なら
別の言語エンジンで解析するのがデフォだろ
eval絡みのリテラルなら、言語エンジンを再帰的に適用するとか。

549:デフォルトの名無しさん
07/04/18 22:41:57
>>547
もしかして、ダメダメだってことが
"本当に"　分かってないの？

BNF　による　ANSI　C　の定義なんて、ネット上に
いくらでも転がっているのに？

550:デフォルトの名無しさん
07/04/18 22:43:08
あのさぁ、素人向け解説にいちいちマジ突っ込みするのって、
それなんて名前の火病？

このスレの惨状、レベルの低さを見てから、
ちゃんと回答を丁寧に示せ。お前の義務だ

551:逃げちゃダメだよ
07/04/18 22:43:44
> こんなのダメダメ。実質、reduce/reduce conflict だろうが。

それでは正しい解説をどうぞ。
↓

552:デフォルトの名無しさん
07/04/18 22:45:12
>>550
話もろくにかみ合わない糖質相手にマジんなんな

553:デフォルトの名無しさん
07/04/18 22:47:18
>>548
>C言語の場合は実質　>>517,　>>535だろ。　

じゃあ、
URLﾘﾝｸ(www.bookshelf.jp)
とか読む限りでは、GCC　なんて異端児だな。

554:デフォルトの名無しさん
07/04/18 22:47:42
火病だ（ﾌﾟｹﾞﾗ

555:デフォルトの名無しさん
07/04/18 22:56:26
「gccでは二種類のトークン識別子と typedef型名を扱っており、
　字句解析と構文解析が連携して動作する」

きちっと言えばこれだけの話だろ。
ところでスレの話の本筋は意味解析がうんたらかたらになっちゃっている。
じゃあまず話の筋がおかしいって指摘したらどう？

物事を丁寧に説明できない人種には
あまり関わりたくはないなあ

556:デフォルトの名無しさん
07/04/18 22:59:57
reduce/reduce conflictを避けたら、
lexical tie-inが必要になっちゃいましたぁ

557:デフォルトの名無しさん
07/04/18 23:02:52
>>555
こんな時間帯にここに常駐してる人間に
そんなクオリティを求めるのはムリだ

558:デフォルトの名無しさん
07/04/18 23:03:25
>555
>きちっと言えばこれだけの話だろ。　

それは　>>555　の思い込みに過ぎない。
俺が言いたいのは「これが一般的な処理方法だ」という事。

559:デフォルトの名無しさん
07/04/18 23:06:15
あーうるせー
俺のいない間にスレ進み過ぎだろ
全部読むのに苦労したぜ

結局さ、字句解析と構文解析なんてわざわざ分けるだけ面倒なだけでしょ

俺が週末に趣味で作ってるスクリプト言語が完成するまで
反論は一切許さない
このスレにくるたび最良の方法が目移りしてなかなか作業が進まない罠

年内に公開はもう無理だと思うｗ

560:デフォルトの名無しさん
07/04/18 23:08:36
> それは >>555 の思い込みに過ぎない。
> 俺が言いたいのは「これが一般的な処理方法だ」という事。

「一般的」・・・これまた脳内でしょ
なんでいつもハッタリかますの？

561:デフォルトの名無しさん
07/04/18 23:09:05
字句くん：構ちゃん、俺と結合しようぜ

構文さん：（結婚前はダメ
　　　　　　　　　・・・でも身体が反応しちゃうの)

字句くん：あ”なんか身体に入ってきた・・・♂かよ！

562:デフォルトの名無しさん
07/04/18 23:09:27
>>548
>eval絡みのリテラル

具体的な例が思い付きません ><
先生、教えて下さい ><

563:デフォルトの名無しさん
07/04/18 23:09:59
>>560
ググってページ示すのがやっとで
内容理解できない人だからしようがないｗ

564:デフォルトの名無しさん
07/04/18 23:14:40
キーワード：ダメダメ
発言者：　　ダメダメ業務コンサル

565:デフォルトの名無しさん
07/04/18 23:18:00
>>560
まあな。　
俺は誰かさんとは違って、　
世の中の全てのCコンパイラのソースを　
読んだ経験がある訳ではないからな。　

俺が悪かった。　
チラシの裏の落書きだと思って読み飛ばしてくれ。　

566:デフォルトの名無しさん
07/04/18 23:18:12
結局LISPが最強ってことか。

567:デフォルトの名無しさん
07/04/18 23:19:29
キーワード：ダメダメ
発言者：　　ダメダメ業務コンサル
発言：　　　まあな。
俺は誰かさんとは違って、
世の中の全てのCコンパイラのソースを
読んだ経験がある訳ではないからな。

俺が悪かった。
チラシの裏の落書きだと思って読み飛ばしてくれ。

Web石碑に登録完了しました

568:デフォルトの名無しさん
07/04/18 23:24:30
>>567
で、結局、意味解析に任せるのが
「正統派だ」ということでいいのか？

569:デフォルトの名無しさん
07/04/18 23:25:05
>>548
541だが、俺が例に出した式を埋め込める文字列リテラルというのは、
そのミニ言語がその言語自身なわけで、もう１つ言語エンジンを作るのは
無駄でしょ。しかも、その埋め込まれた式が構文的に間違っていたら
構文解析エラーを出す必要があるから、言語エンジンを再帰的に適用する
なんて方法でもダメ

で、実際はどうするかというと、状態付きLexerにして、ParserからLexerの状態を切り替えるか、
そもそもLexerとParserを分ける必要が無い構文解析アルゴリズム(Packrat Parsingなど)を
使うわけだ

570:デフォルトの名無しさん
07/04/18 23:32:02
>>568
宗教選択じゃねぇんだから、目的考えて自分で解決しろ。
スミスっぽい方が >>569に来てるから、相談したらどうよ。

>>569
> 構文解析エラーを出す必要があるから、言語エンジンを再帰的に適用する
> なんて方法でもダメ

ダメな理由をｋｗｓｋ

571:デフォルトの名無しさん
07/04/18 23:39:32
Packrat Parsingで効率良いパーサ書けますって言いたいだけじゃないか、とｗ

Packrat Parsing: Simple, Powerful, Lazy, Linear Time. Bryan Ford. ICFP 2002.
URLﾘﾝｸ(pdos.csail.mit.edu)

で具合はどうよ

572:570
07/04/18 23:45:25
> 構文解析エラーを出す必要がある
から
> 言語エンジンを再帰的に適用する
なんて方法もダメ

前段と後段がつながらないね。
エスケープ文字の問題？

エスケープ文字を処理済みの式を
構文チェック・モードの言語エンジン (≒Lexer+Parser)
で再帰的に処理して、構文解析エラーを出せば済む

573:デフォルトの名無しさん
07/04/18 23:50:37
左再帰を人手で除去するのがめんどい

574:デフォルトの名無しさん
07/04/19 00:04:04
>>572
すまん。よく考えてみると、言語エンジンを再帰的に
適用する方法で行ける気がしてきた。ただ、その方法は
煩雑になるんじゃないかなあ(特にParser Generator
を使う場合、面倒そうな気が)。

>>571
> Packrat Parsingで効率良いパーサ書けますって言いたいだけじゃないか、とｗ
まあ、半分くらいはそのような意図が無いでもない

> で具合はどうよ
これはどういう意味？

575:デフォルトの名無しさん
07/04/19 00:06:29
>>531
遅レスだが。

丸投げするような仕事は、
そもそもSIer内部で誰も興味ない
つまらない仕事だから丸投げ＆ﾋﾟﾝﾊﾈするだけだろう

本筋をちゃんと説明せず
関係ない話でお茶を濁すのは
醜いよ

576:デフォルトの名無しさん
07/04/19 00:16:18
> > で具合はどうよ
> これはどういう意味？

ｪｪｪｴｴｴエエエ
そこでこっちに投げるか?普通
たとえば
・バックトラックやconflictを避けた素直なパーサを書きやすいか
・処理時間がリニアで高速か
とかそんな話じゃなかったっけ

ちゃんと見てないけど

次ページ