シェルスクリプト総合その27

シェルスクリプト総合その27 at UNIX

[前50を表示]
300:名無しさん＠お腹いっぱい。
18/06/09 00:06:32.51 .net
今時、シェルスクリプトが使える環境でperlやpythonがデフォルトで入ってないOSの方が稀だろう。なんかここ最近のPOSIXと言えばいいというようなのはなんかアレだな

301:名無しさん＠お腹いっぱい。
18/06/09 00:12:49.10 .net
>>290
busybox、alpine

302:名無しさん＠お腹いっぱい。
18/06/09 00:14:40.86 .net
>>291
そういう環境で、CSVファイルの扱いが必要かあ？

303:名無しさん＠お腹いっぱい。
18/06/09 00:17:26.20 .net
そんな変わりもんを出されても
>>287がそんなの想定してるとでも思ったの？そんなの想定しているヤツは自力でできるだろうし、そんなの使うやつは必要なら自分で入れるだろう
知識自慢はいらんよw

304:名無しさん＠お腹いっぱい。
18/06/09 00:21:35.51 .net
てゆうか問題に適した言語を組み合わせて問題を解くってのが
もともとのUNIXの思想だと思うので、
CSV扱うならCSVに向いた言語使う方がUNIX的だと思うのよね。
まあケースバイケースなんだけど。

305:名無しさん＠お腹いっぱい。
18/06/09 00:23:20.54 .net
つまりC++ってことか。

306:名無しさん＠お腹いっぱい。
18/06/09 00:25:28.50 .net
URLﾘﾝｸ(codezine.jp)
>gawkの開発は「完全を目指すのではなく9割をサクサクこなし、フィールドに改行を含むようなCSVファイルは専用のツールで処理すれば良い」
ですらだからなあ
Linuxはawk=gawkだが、BSDは巣の(？)awkでgawkは別に入れなければならなく、gawkの機能を使うかどうかっていう話ならわかるけど、そんなんだったらperlやpython使った方がLinuxとBSDの違いも無いだろしな

307:名無しさん＠お腹いっぱい。
18/06/09 00:34:57.73 .net
>>287は単に他の言語／知識までは自分の手に余るっていう逃げだろうとしか見えんな
そこに山があるから登るっていうあえてメンドくさいことをしたいってのなら、のらないでもないけどw

308:名無しさん＠お腹いっぱい。
18/06/09 00:45:11.89 .net
CSVじゃないって書いてるのに
読めない人多いね

309:名無しさん＠お腹いっぱい。
18/06/09 00:50:25.58 .net
とは言ってるけど、CSVとはどう違うとかは全くだな。てか、延々とCSVのここがってしかないやん
CSVと似た何か特殊なものなら、普通にストリームの一文字一文字処理できるスクリプト使ったほうがいいだろう、てかそれしかないだろう

310:名無しさん＠お腹いっぱい。
18/06/09 01:21:51.27 .net
> シェルスクリプト（POSIX）
（；＾ω＾）

311:名無しさん＠お腹いっぱい。
18/06/09 01:40:22.57 .net
POSIXはまあいいとしてPOSIXという単語が出る度アレルギーのごとく反発する人はなんなの？
OpenGroupに親でも殺されたのか？

312:名無しさん＠お腹いっぱい。
18/06/09 01:46:42.05 .net
>>290
だって課題がそうなってるんだもん

313:名無しさん＠お腹いっぱい。
18/06/09 01:53:39.41 .net
>>301
本当に自身がわかって言っているのかってとこだな。その必要性とか
>>302のような冗談なら笑えるけど

314:名無しさん＠お腹いっぱい。
18/06/09 02:06:03.67 .net
nkfとかiconvで改行コードを調べたらええんちゃう？
busybox, alpineぐらいのコンテナに nkf を足したぐらいで大してでかくならんやろうに。

315:名無しさん＠お腹いっぱい。
18/06/09 02:11:54.28 .net
>>287でposix shellだけで言うてるからダメだよ

316:名無しさん＠お腹いっぱい。
18/06/09 03:14:25.32 .net
ぽ…POSIX

317:名無しさん＠お腹いっぱい。
18/06/09 03:39:18.86 .net
今日はみなさん夜更かしですね
まるで自えn(ry

318:名無しさん＠お腹いっぱい。
18/06/09 06:55:43.82 .net
>>293
お前さんこの間から痛いぞ

319:名無しさん＠お腹いっぱい。
18/06/09 09:19:07.59 .net
はいはい

320:名無しさん＠お腹いっぱい。
18/06/09 12:31:39.35 .net
はい、は一回

321:名無しさん＠お腹いっぱい。
18/06/09 13:35:30.76 .net
はいは一回　と
はいぱー回ってにてるな

322:名無しさん＠お腹いっぱい。
18/06/09 13:36:18.92 .net
そうか？

323:名無しさん＠お腹いっぱい。
18/06/09 16:10:28.91 .net
ぽしっくすなの？
ぽじっくすなの？
ぽずぃっぐずなの？
なんなの？

324:名無しさん＠お腹いっぱい。
18/06/09 18:01:39.57 .net
トマトとか言ってる日本人が気にすんな。特定のそういう発音違いをめっちゃ馬鹿にしたりするのも日本人だけど

325:名無しさん＠お腹いっぱい。
18/06/09 18:02:59.74 .net
相対するをあいたいするって読んだら漫画の読みすぎだろって馬鹿にされたこと思い出したわ

326:名無しさん＠お腹いっぱい。
18/06/09 18:45:27.81 .net
なんのスレやねん

327:名無しさん＠お腹いっぱい。
18/06/09 19:40:22.27 .net
ぽちっとな

328:名無しさん＠お腹いっぱい。
18/06/09 23:38:49.68 .net
質問です。一データの中に改行が含まれた
データを扱うにはどうしたら良いでしょうか？

329:名無しさん＠お腹いっぱい。
18/06/09 23:39:51.65 .net
改行を置換して読み取る

330:名無しさん＠お腹いっぱい。
18/06/10 00:19:36.87 .net
1データとは

331:名無しさん＠お腹いっぱい。
18/06/10 00:30:51.68 .net
>>318
そういうものはシェルスクリプトでは扱わない
適材適所
バカは同じものをなんにでも押し付けようとするから無駄に機能が肥大化する

332:名無しさん＠お腹いっぱい。
18/06/10 01:40:53.84 .net
シェルスクリプトだって適切に扱える(場合はある)
例えば1データがファイル単位に分かれてるとか1データの処理が1プロセスの寿命と同じでいいとか

333:名無しさん＠お腹いっぱい。
18/06/10 02:20:54.22 .net
U+001EやU+001Fを区切り文字として利用してる方いらっしゃいますか？
結構便利（絶対に他の文字と衝突しない）だと思うんですが、そういうシェルスクリプトを見たことがありません。

334:名無しさん＠お腹いっぱい。
18/06/10 02:29:16.89 .net
はっはっは。一データの中に改行が含まれてる
ものすら扱えないここの連中にそんな発想ができるやつはいない
その程度の陳腐なアイデアであったとしてもな

335:名無しさん＠お腹いっぱい。
18/06/10 02:38:52.56 .net
ここだけのシェルスクリプトだけを言っているわけではないと思うけど

336:名無しさん＠お腹いっぱい。
18/06/10 08:14:53.42 .net
>>323
正直、そういう解答を出してほしかったね。だせるかなーって思っていたけど
シェルスクリプトでそういうデータを扱うなんておかしいとかのたまうばかり
\x1c（ファイル分離）、\x1d（グループ分離）、\x1e（レコード分離）、\x1f（ユニット分離）は
まさにそういう用途で使うもの。ここの連中の技術力の低下を感じる。

337:名無しさん＠お腹いっぱい。
18/06/10 09:06:40.68 .net
見たことがないって言ってんのに、
このスレ住人の話に限定してどうすんだ

338:名無しさん＠お腹いっぱい。
18/06/10 09:26:13.67 .net
いや>289で答えとるやん
>318ってようは>282の質問し直しでしょ

339:名無しさん＠お腹いっぱい。
18/06/10 11:02:49.39 .net
>>327
住民に限定し、しかも馬鹿にしたい欲求を生んだ過去があったのだろう。馬鹿にされたとか、単になにか否定されたとか

340:名無しさん＠お腹いっぱい。
18/06/10 12:04:18.14 .net
>>328
それは

341:改行コードを置換するって話置換することで遅くなってしまう悪いパターン置換なんかしません

342:名無しさん＠お腹いっぱい。
18/06/10 12:18:36.59 .net
イミフ

343:名無しさん＠お腹いっぱい。
18/06/10 12:42:33.56 .net
改行コード含んだデータ扱いたいという前提の質問かと思ったら
改行コード含んだデータなどナンセンスであるという主張だった

344:名無しさん＠お腹いっぱい。
18/06/10 13:18:33.58 .net
イミフ
データの中に改行コードがあるってだけだろ

345:名無しさん＠お腹いっぱい。
18/06/10 13:18:58.61 .net
データの中に改行コードがあっても置換する必要はありませんよねぇ

346:名無しさん＠お腹いっぱい。
18/06/10 13:19:57.33 .net
>>289はデータの中に改行コードがあるのはナンセンスだから置換しろという主張
そんなことをする必要はない

347:名無しさん＠お腹いっぱい。
18/06/10 13:40:18.16 .net
なんかただ否定している感じにしか見えんけど
シェルスクリプトで扱うまでも考えて否定してんのかな？

348:名無しさん＠お腹いっぱい。
18/06/10 13:41:43.48 .net
>>289はナンセンス云々でなくて、現実的なだろと思うけど

349:名無しさん＠お腹いっぱい。
18/06/10 14:38:11.53 .net
>>337
動くかどうかだったら動くけど
速度が遅過ぎで現実的じゃないよ
なにせ一行一行forkとプロセス起動が必要になるしね

350:名無しさん＠お腹いっぱい。
18/06/10 15:07:33.90 .net
速度が問題になるかは条件次第で
現実的じゃないと言いきれる根拠は今のところ無い

351:名無しさん＠お腹いっぱい。
18/06/10 15:18:07.55 .net
>>338
> なにせ一行一行forkとプロセス起動が必要になるしね
イミフ

352:名無しさん＠お腹いっぱい。
18/06/10 15:18:34.26 .net
>>326
だってどうせCSVの話だろ？区切り文字を換える話をすると
後出しじゃんけんでソレは違うって言い出すのが常套手段

353:名無しさん＠お腹いっぱい。
18/06/10 15:46:39.73 .net
一度全部置換してから読み取ればいいんじゃないですか（名推理

354:名無しさん＠お腹いっぱい。
18/06/10 15:59:54.35 .net
因みにCSVはRFCで「内部改行はCRLF」と定まっているので
ここから攻めるというのもアリ。
「\r\n」という組はフィールド区切りとしては無効にすればよろし
え？ CSV出力すると内部改行がLFになるLibreOffice Calc？
知らない子ですね…

355:名無しさん＠お腹いっぱい。
18/06/10 16:03:53.76 .net
>>340
まったく
どういう処理を想定しているのか全くみえんな。そのなアホなという処理方法は

356:名無しさん＠お腹いっぱい。
18/06/10 16:07:14.39 .net
> "Excelから出力したCSVのように" 一行（？）の中に改行が含まれた
> データを扱うにはどうしたら良いでしょうか？
> カンマ区切りのCSVデータだと "仮定して" 、
> 今回はCSVではありませんが、

こう書いてあるのに、CSV形式だって思い込むのは
頭が悪いと思います。

357:名無しさん＠お腹いっぱい。
18/06/10 16:07:56.46 .net
>>343
> 因みにCSVはRFCで「内部改行はCRLF」と定まっているので
なるほど、\n のようにエスケープしてはいけないんですね

358:名無しさん＠お腹いっぱい。
18/06/10 16:10:01.41 .net
だったらお前がそのわけわからんCVS形式でない答えを応えれtばええんちゃんですかね？具体的に何も言ってないのに対する汎用的な
自称賢いらしいから時間かけずになんでもござれの汎用的的なのかけるだろ？

359:名無しさん＠お腹いっぱい。
18/06/10 16:10:06.96 .net
>>345
だったら好きにすれば？

360:名無しさん＠お腹いっぱい。
18/06/10 16:10:50.12 .net
>>343
> 一度全部置換してから読み取ればいいんじゃないですか（名推理
そして一行ずつ読み取るわけですねｗ
そりゃそうでしょう。\nを全部改行コードに戻してしてしまったら、
区別できないですからね

361:名無しさん＠お腹いっぱい。
18/06/10 16:11:08.39 .net
>>345
既にCSVをどうするのかという話題に変わってるんですよ。
空気読んでくださいよ。

362:名無しさん＠お腹いっぱい。
18/06/10 16:11:30.84 .net
>>346は>>345っぽいけど、そうなら他人を頭が悪いとは言えんだろうw

363:名無しさん＠お腹いっぱい。
18/06/10 16:12:08.78 .net
>>347
> だったらお前がそのわけわからんCVS形式でない答えを応えれtばええんちゃんですかね
データの中に改行コードがあるってだけで、
フォーマットは最初から指定してないよ？
その場合どういうやり方があるでしょうって話なんだが、
CSVだと思いこんで効率の悪い方法しか思いつかず
指摘したら逆ギレするのやめなよ？ダサいから

364:名無しさん＠お腹いっぱい。
18/06/10 16:12:51.65 .net
>>338
MINIX でも使ってるの？

365:名無しさん＠お腹いっぱい。
18/06/10 16:13:10.06 .net
>>351
なにが言いたいのかわからんが、RFCのCSVの仕様に改行コードを
エスケープするという仕様はない。ダブルクォートでくくればいいだけ

366:名無しさん＠お腹いっぱい。
18/06/10 16:13:34.23 .net
>>353
へー、MINIXも遅いんですねー

367:名無しさん＠お腹いっぱい。
18/06/10 16:14:28.24 .net
えっ、

368:一行づつ fork + exec してるって本気で思い込んでるんだ…

369:名無しさん＠お腹いっぱい。
18/06/10 16:16:58.31 .net
>>352,354
...はあ...
マジで言ってるの？

370:名無しさん＠お腹いっぱい。
18/06/10 16:22:35.88 .net
>>356
外部コマンドを呼び出すならそうだね
まさか外部コマンドを呼び出さないで置換できるとでも思ってのかい？ｗ

371:名無しさん＠お腹いっぱい。
18/06/10 16:23:33.86 .net
データ | フィルタ | シェルスクリプト(関数なり) | フィルタ > データ
フィルタをどう作るかは具体的じゃないとでCVSしか例にあげてないからCVSなだけなんだが
っていういたって普通のことなのに。そうじゃないナニかを想定しているらしけど、そのナニかの具体的なことは全く言わずに指摘wという否定なだけだもんな
その指摘もトンチンカンなこともあり、ただただ無闇に偉ぶりたいだけにしか見えんなあ

372:名無しさん＠お腹いっぱい。
18/06/10 16:24:15.94 .net
>>357
仕様よんでこい
URLﾘﾝｸ(www.kasai.fm)
CSVの仕様においてエスケープとは
ダブルクォート " を "" と二つ連続させるものだ
\記号でエスケープする仕様はない

373:名無しさん＠お腹いっぱい。
18/06/10 16:25:32.32 .net
>>360
それは最初＆最終形態だよ。途中で処理の都合のよいようにするのに仕様もなんもないわっ
マジあほとしか思えない

374:名無しさん＠お腹いっぱい。
18/06/10 16:26:22.60 .net
もう一つ解説記事
URLﾘﾝｸ(codezine.jp)
> 　改行コードはプラットフォームによって異なります。一般的にWindowsは
> <CR><LF>、UNIXは<LF>です。
> 　※2008/04/16追記：RFCでは末尾(レコードの区切りとして)の改行は
> <CR><LF>を推奨しています。CSVを解釈するプログラムではどちらの
> 改行コードでも読めるように作ることをお勧めします
> ダブルクォートで囲む場合
> "山田","太郎","値に
> 改行や,カンマや""ダブルクォートが含まれても問題ありません。"
>　まれにCSVの方言で\エスケープを行うことがあります。
>
>\エスケープを行う特殊な例
>"山田","太郎","値に改行\nや\,カンマや\"ダブルクォートが含まれても問題ありません。"
>　この方言はあまり普及していませんので、利用するのは避けましょう。
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

375:名無しさん＠お腹いっぱい。
18/06/10 16:26:49.29 .net
>>361
最終形態とか何いってんだ？
RFCの仕様の話をしている

376:名無しさん＠お腹いっぱい。
18/06/10 16:27:48.82 .net
>>363
シェルスクリプトでどう扱うかだぞ？処理をどうするかだぞ？なに言ってるの？プログラミング知らないの？

377:名無しさん＠お腹いっぱい。
18/06/10 16:28:23.86 .net
CSVスレになってんのはなぜなんだ
勉強にはなるけど

378:名無しさん＠お腹いっぱい。
18/06/10 16:28:48.64 .net
もう一つｗ
URLﾘﾝｸ(www.upken.jp)
> RFC4180準拠
> 　基本
> 　ヘッダーはあってもなくてもよい
> 　空データフィールドがある
> 　前後にスペースがあっても無視しない
> 　ダブルクォーテーションで囲む場合は同じレコードのすべてのフィールドをダブルクォーテーションで囲む
> 　改行、ダブルクォーテーション、カンマを含むフィールドは、ダブルクォーテーションで囲むべき
> 　ダブルクォーテーションで囲まれているフィールドでダブルクォーテーションを使用する場合は、ダブルクォーテーションでエスケープする
> 　

379:非常に長い文字列を考慮 > 　複合パターン

380:名無しさん＠お腹いっぱい。
18/06/10 16:29:45.29 .net
>>364
> シェルスクリプトでどう扱うかだぞ？
CSVを扱うという話はしてない
\ でエスケープするのは遅くて無駄という話ならしたがね

381:名無しさん＠お腹いっぱい。
18/06/10 16:31:47.04 .net
>>367
お前はどうかしてる。ここにきてCVSの仕様を得意げにあげてるのと同じヤツってことはないよな？

382:名無しさん＠お腹いっぱい。
18/06/10 16:34:02.42 .net
>>358
左手でつり革に捕まっていても、左手で痴漢できるそうですよ
日本の裁判所は素晴らしいです

383:名無しさん＠お腹いっぱい。
18/06/10 16:35:15.34 .net
>>368
どうかしてるって言うなら、答えを書きなよ
なんど言われれば分かるんだ？

384:名無しさん＠お腹いっぱい。
18/06/10 16:36:40.96 .net
>>368
CSVの仕様を得意げにーっていうのは
> 因みにCSVはRFCで「内部改行はCRLF」と定まっているので
↑こいつのことですかな？ｗ
まあ、RFCでCRLFと決まってないんですがｗ

385:名無しさん＠お腹いっぱい。
18/06/10 16:36:59.71 .net
>>370
答えって...だいたい想像できるだろう。めんどくさいだけで
お前のやり方がわからんわ。指摘するお前が出せよw

386:名無しさん＠お腹いっぱい。
18/06/10 16:39:16.71 .net
>>372
「だいたい」しか「想像」出来てないのに偉そうだなおい
かけないんだろう？だから人にいちゃもんつけるだけなんだろ
いい加減ごめんなさいって言った方がいいぞ？

387:名無しさん＠お腹いっぱい。
18/06/10 16:39:21.31 .net
1データの中に改行が含まれてる
そのままだとデータ区切りの改行と見分けがつかない
CSV形式の話はしていない
\nにエスケープする方法では、1データずつ処理しなければならず
外部コマンド呼び出しの必要があるから遅い
ここまでは理解できてんのかなー？

388:名無しさん＠お腹いっぱい。
18/06/10 16:39:51.59 .net
>>371
いや、お前のこと。たぶん
それは単に利用できそうなキーポイントでそれを利用してって話でしかないな
たぶん、お前だろうが、得意げには仕様が絶対でどうであれ利用しちゃダメっていう変なヤツ

389:名無しさん＠お腹いっぱい。
18/06/10 16:40:34.63 .net
>>375
俺は最初からCSV形式のデータを扱う話なんかしてないんですが？

390:名無しさん＠お腹いっぱい。
18/06/10 16:42:26.75 .net
>>373
だいたいの普通の人はその処理方法を想像できる「だいたい」だし、想像＝書けるってことなんだが
お前が無闇に絡んでる＆お前も具現生ゼロなのになんで謝らなきゃならんのねん

391:名無しさん＠お腹いっぱい。
18/06/10 16:43:16.71 .net
>>376
だったら何を言いたいのかさっぱり。単に絡みたいだけか

392:名無しさん＠お腹いっぱい。
18/06/10 16:45:59.83 .net
今更なんの話かわかってませんっていうのかよｗ
↓この話だろ。「？」で聞いているところが質問だよ。それぐらいわかれアホ
Excelから出力したCSVのように一行（？）の中に改行が含まれた
データを扱うにはどうしたら良いでしょうか？
もう少し具体的に書きます。
カンマ区切りのCSVデータだと仮定して、
シェルスクリプトの中に関数を一行ごとに呼び出し、
列を引数に対応させたいです。
例えば以下のような内容のファイルがあったとして
a1,a2,a3,a4
b1,b2,b3,b4
c1,c2,c3,c4
syori "a1" "a2" "a3" "a4"
syori "b1" "b2" "b3" "b4"
syori "c1" "c2" "c3" "c4"
という風にsyori関数を呼び出したいのです。
ただし実際には各項目（a1等の部分）にExcelから出力したデータのように
改行やカンマやダブルクォートやシングルクォートや空白が入ることがあるのです

393:名無しさん＠お腹いっぱい。
18/06/10 16:50:13.04 .net
何を言っているのだか。最初からCSV形式のデータ扱う話なんかしてないって言っておきながら、前レスではCVSのこと「だけ」のレスなことだから、そのCVSのことだけのことを何を言いたいのかだよ
すでに書いたが、
データ | フィルタ | シェルスクリプト(関数なり) | フィルタ > データ
でしかない。CVSはどうフィルタを書く上では具体的にそれしかでしかないからだけだな
てか、その設問がそんなにきになるならお前が答えろよっw

394:名無しさん＠お腹いっぱい。
18/06/10 16:54:06.97 .net
>>380
お前、実際に脳内でどう変換されるか考えてないだろ？
最初のフィルタで\nを全部改行コードにしてしまうと
シェルスクリプトで区別できなくなるんだよ。

395:名無しさん＠お腹いっぱい。
18/06/10 16:54:09.52 .net
>>380
× CVS
○ CSV
まあ、たぶん他でもやってるだろうけど、すまんが、読み替えてください

396:名無しさん＠お腹いっぱい。
18/06/10 16:55:28.23 .net
>>381
はあ？？？？
最初のフィルタでやることは改行コードを他の何かにするに決まってるだろ。なんで逆のことをするねん？さっぱりわからん

397:名無しさん＠お腹いっぱい。
18/06/10 16:56:05.49 .net
ダメだ。異次元すぎる>>381なんて言われると、バカだろとしかおもえん

398:名無しさん＠お腹いっぱい。
18/06/10 16:57:43.94 .net
>>383
>改行コードを他の何かに
行端／レコードの終わりでない改行コードだけな。異次元な人なので、行端／レコードの終わりもと思われそうなので、いちおうw

399:名無しさん＠お腹いっぱい。
18/06/10 17:01:19.44 .net
>>383
> 最初のフィルタでやることは改行コードを他の何かにするに決まってるだろ。
はい、言質を取りました

400:386
18/06/10 17:02:32.48 .net
最　�

401:堰@の　フ　ィ　ル　タ　で　デ　ー　タ　に　含　ま　れ　る改　行　コ　ー　ド　を　他　の　な　に　か　に　変　換　す　る　な　ら　ば今度はシェルスクリプトの関数に渡す前に改行コードに戻さないといけませんでないとこれが実現できません > syori "a1" "a2" "a3" "a4" > syori "b1" "b2" "b3" "b4" > syori "c1" "c2" "c3" "c4" > > という風にsyori関数を呼び出したいのです。なので1データごとに改行コードをもとに戻す処理が必要になります。すでに指摘してますがforkが発生し遅くなります。

402:名無しさん＠お腹いっぱい。
18/06/10 17:02:57.65 .net
言質ww
まあ、永遠に「否定だけ」してろ。もうオツムの具合わかったので、いいよ、どう思われようが

403:名無しさん＠お腹いっぱい。
18/06/10 17:04:45.37 .net
>>385
それを実現するには1データずつ処理　
しなければいけませんね。
デ　ー　タ　全　体　を　一　気　に　変　換　し　よ　う　と　す　る　と、
区別できないんで

404:名無しさん＠お腹いっぱい。
18/06/10 17:05:24.55 .net
>>387
言い方が伝わらなかったようで、それは残念。データの改行を他の何かにな。そういう意味での>>386なんだがなあ。まあ、言い方は悪かったかもしれない
で、その指摘はなんらアホな指摘にしかなってません...もう、いいや、勝手にしてくれ

405:名無しさん＠お腹いっぱい。
18/06/10 17:07:18.69 .net
>>388
「言質」しらんのか？
そんなことじゃ不慮の事故で死んだ時困るぞ

406:名無しさん＠お腹いっぱい。
18/06/10 17:07:51.94 .net
多分\エスケープ云々は途中でなんらか処理をする時にRFC準拠のエスケープだと不都合だからじゃないかな
「Mika says "I'm Happy"」という文を一つのフィールドとして処理するとき
RFC準拠だと
「Mika says ""I'm Happy""」になるけど、例えばこれをsed(1)やらawk(1)に通したいと思ったときは
「Mika says \"I'm Happy\"」という形にしたほうが処理しやすいでしょう？
そういうことなんじゃないかな。

407:名無しさん＠お腹いっぱい。
18/06/10 17:09:13.29 .net
>>389
シェルスクリプトに合わせた出力すればええねん

408:名無しさん＠お腹いっぱい。
18/06/10 17:09:28.43 .net
>>390
だから　デ　ー　タ　の中の改　行を何かに変　換すると
もとに戻す処　理を　一　行　一　行やらない　といけないから
遅くなるって指摘をずーっと前にした
その遅く　なる理由を思　いつかなかった　んだろ？

409:名無しさん＠お腹いっぱい。
18/06/10 17:09:57.89 .net
>>393
>>392 でも言ってるよ

410:名無しさん＠お腹いっぱい。
18/06/10 17:10:08.09 .net
つーかなんでさっきから、おっぱいがいっぱいとかで
書き込めないんだ？変な言葉書いてないだろ

411:名無しさん＠お腹いっぱい。
18/06/10 17:17:21.14 .net
>>394
なんで一行一行なんだか。sedかtrでやりゃええことやん。それが一行一行か？
遅くなる遅くなるって遅くなるに決まってるやん。条件によりそれが妥当かどうかなんてなんでそう否定できるのか不思議でならない
んな速度速度言うなら、Cなりでやればって言うw 遅い遅い言うてるけど、お前のもじゃどうすんの？ってのがさっぱりだな

412:名無しさん＠お腹いっぱい。
18/06/10 17:18:30.12 .net
>>395
何を言いたのかわかりません

413:名無しさん＠お腹いっぱい。
18/06/10 17:22:11.92 .net
>>392
> 「Mika says \"I'm Happy\"」という形にしたほうが処理しやすいでしょう？
今の話はもっと複雑で
「Mika says "I'm Happy
'couse picked up \10."」
という文だったらどうするか？って話なんだけどな。
いやわかるよ。どうすればいいかは。
問題はどうやってそれを実現するかって話
sedやawkに通す前に、変換すんの？

414:名無しさん＠お腹いっぱい。
18/06/10 17:24:25.73 .net
>>399
最後にマジれすすると最初のフィルタはひとつのawkだけでできる。めーんどくさいけど

415:名無しさん＠お腹いっぱい。
18/06/10 17:25:37.95 .net
>>397
sedやtrを使うと遅いfork、子プロセス生成が行われるからね
データ量に比例してその回数が増えるやり方は駄目
1回か固定の数回でできるって言うなら話は別だけど

416:名無しさん＠お腹いっぱい。
18/06/10 17:26:19.38 .net
>>400
最初だけできてもだめ駄目
これが実現できないと駄目
> syori "a1" "a2" "a3" "a4"
> syori "b1" "b2" "b3" "b4"
> syori "c1" "c2" "c3" "c4"
>
> という風にsyori

417:関数を呼び出したいのです。

418:名無しさん＠お腹いっぱい。
18/06/10 17:39:23.49 .net
>>401,402
ダメダメ言ってないで、少しは考えろ。どっちも指摘がトンチンカン

419:名無しさん＠お腹いっぱい。
18/06/10 17:48:10.30 .net
思ったんだが
正規表現でやらずに有限状態機械を作って
if ダブルクオートで始まらない
　　コンマを探して終了
else
　　""でない"に続くコンマを探して終了
とすれば解決するんじゃないかな。少なくともRFC勧告に則ってるCSVは。

420:名無しさん＠お腹いっぱい。
18/06/10 18:47:23.27 .net
どういうことだ

421:名無しさん＠お腹いっぱい。
18/06/10 19:24:35.96 .net
盛り上がりすぎだろwwww一日100近く伸びるってどんだけだwwww

422:名無しさん＠お腹いっぱい。
18/06/10 20:05:44.39 .net
>>385
どうやってそれを区別するの？

423:名無しさん＠お腹いっぱい。
18/06/10 20:07:14.87 .net
>>397
sedは改行コードで切れちゃうから、データ中の改行と行の区切りの区別をつけられないだろ

424:名無しさん＠お腹いっぱい。
18/06/10 20:08:19.79 .net
>>404
CSVじゃないらしいので、"が閉じてる必要はないだろう？

425:名無しさん＠お腹いっぱい。
18/06/10 20:27:13.49 .net
【またカミカゼ暴走、群馬のスーパー、重傷９人】　放射能が原因だけど、国防上、トップシークレット？
ｽﾚﾘﾝｸ(liveplus板)

426:名無しさん＠お腹いっぱい。
18/06/10 20:50:13.84 .net
>>408
後処理のだぞ。そのデータ中の改行と行の区切りの区別をつけるために最初にータ中の改行を処理して、終わったらデータ中の改行を戻すって話だぞ？
少しは処理を想像そしてからなんか言ったら？すごい近視眼で明後日な文句言う前に

427:名無しさん＠お腹いっぱい。
18/06/10 20:55:32.25 .net
>>409
CSVじゃないからあって言うのもいるけど、だったらデータはどう表すのだろうな
データ中の改行と行の区切りの改行ってわからなくね？そのためにデータの始め終わりを表す何かが必要でそれが何かを言ってないんだったら、それを " として話をしてもおかしくはないってか、それしかないだろう
なんでそんな近視眼なツッコミばかりやねん

428:名無しさん＠お腹いっぱい。
18/06/10 20:56:07.54 .net
>>282
GNU awk の FPAT を使ってみる。一論理行のデータ数は4個で固定、という前提。
gawk -v RS='\0' -v FPAT='"(([^,\n]*)|(([^"]|\\\\"|\"\")*))"' \
'function syori(v1,v2,v3,v4){ ## ここで何らかの処理 ## }
{
i=1
while(i<NF){
syori($(i++),$(i++),$(i++),$(i++))
}
}' data.txt

429:名無しさん＠お腹いっぱい。
18/06/10 22:03:59.12 .net
>>411
> 終わったらデータ中の改行を戻すって話だぞ？
そのときに全データの改行を一度に戻すとデータの中の改行と
データ区切りの改行の区別がつかなくなってしまうので、
1データずつ処理する＝1行ずつsedなどを実行して遅くなるってことには
気づきましたか？

430:名無しさん＠お腹いっぱい。
18/06/10 22:29:15.51 .net
>>411
データ中の改行とデータの区切りの改行はどう区別するんだよ。
同じコードだろ。しかもCSVじゃないんだろ？""でくくられてないんだぜ。

431:名無しさん＠お腹いっぱい。
18/06/10 22:30:35.05 .net
>>412
だからさ、それ、sedで書いてみろよ。
絶対おまえにはかけないから。

432:名無しさん＠お腹いっぱい。
18/06/10 22:42:11.32 .net
>>414-416
前処理と後処理を混同してあーだこーだ言われても。アホかっ

433:名無しさん＠お腹いっぱい。
18/06/10 22:48:58.34 .net
>>417
言い訳はいいから書いてみろよ
前提条件は後出しでどんどん追加していいからｗ

434:名無しさん＠お腹いっぱい。
18/06/10 22:49:09.09 .net
もうそろそろ、安全な文字に変換するというアプローチ
（例えば>>289のようなもの）が
ムダで効率が悪いってことに気づきませんかね？
もう一回煽りますね？
>>323
正直、そういう解答を出してほしかったね。だせるかなーって思っていたけど
シェルスクリプトでそういうデータを扱うなんておかしいとかのたまうばかり
\x1c（ファイル分離）、\x1d（グループ分離）、\x1e（レコード分離）、\x1f（ユニット分離）は
まさにそういう用途で使うもの。ここの連中の技術力の低下を感じる。

435:名無しさん＠お腹いっぱい。
18/06/10 22:49:14.03 .net
もう一から説明しないと、情報処理の基本すらわかってないようなので
バカバカ�

436:ｵすぎだけど、・改行がデータ中とレコードの終わりを示すのが混在している・シェルスクリプトは基本、改行は改行でしかなく、データ中なんて知らんただの一行＝レコードがブッタ切られる・データ中の改行を他のナニかに変えれば、シェルスクリプトは一行＝1レコードと認識する前処理：データ中の改行だけをナニかに変える本処理：改行が終端の一行＝1レコードを処理する後処理：ナニかに変えたのを改行に戻すたった、これだけのことをなぜ理解できないでトンチンカンなことばっかり言うのか。前処理をsedでできるなんて言ったことないぞ(できるかもだが、それはもっと面倒なの俺は考えんw)。後処理はsedでできることは馬鹿でもわかるだろうにぃぃぃ

437:名無しさん＠お腹いっぱい。
18/06/10 22:50:39.10 .net
>>418
なんでそんなに出せ出せ言うのかww
その頭の悪さというか未経験ぶりは、元の質問者か？と疑うぞ

438:名無しさん＠お腹いっぱい。
18/06/10 22:50:59.99 .net
>>420に補足すると、
（POSIXの範囲では）readは必ず改行コードでぶった切られる

439:名無しさん＠お腹いっぱい。
18/06/10 22:53:10.76 .net
>>420
> 前処理：データ中の改行だけをナニかに変える
> 本処理：改行が終端の一行＝1レコードを処理する
> 後処理：ナニかに変えたのを改行に戻す
それは理解しているが、
1. 改行を何かにまた何かを改行にするには、どうやるのか？
2. 変えるまたは戻す処理は1コマンドで実行できるのか？
の答えが、1行ずつfork、execしなきゃならないから
データ量に比例して遅くなるって話をしてる

440:名無しさん＠お腹いっぱい。
18/06/10 22:55:00.78 .net
>>423
お前にじゃねえよ。お前は面倒なのでいいよw
遅い遅い言っていれば。1行ずつfork、execしなくてもいい方法もあるのにそこには考えが及ばないだろうし

441:名無しさん＠お腹いっぱい。
18/06/10 22:55:49.68 .net
やたらスレが延びてるけど動くモノが出来上がる気配がない
さっさと手を動かせよ

442:名無しさん＠お腹いっぱい。
18/06/10 22:56:51.41 .net
>>419
「効率悪い」のに「そういう解答を出してほし」かったの？
ちょっと意図が分かりかねるな

443:名無しさん＠お腹いっぱい。
18/06/10 22:56:58.92 .net
> 1行ずつfork、execしなくてもいい方法もあるのに
それがもっと遅くなる方法だったら笑うがねｗ

444:名無しさん＠お腹いっぱい。
18/06/10 22:58:11.88 .net
>>426
お前馬鹿だわ
U+001EやU+001Fを区切り文字として利用するんだから
わざわざ改行コードなどを使われない文字に変換する必要ねーだろｗ

445:名無しさん＠お腹いっぱい。
18/06/10 22:58:14.56 .net
最初の質問者じゃなかった、何を目的に延々と絡んでるのか意味不明すぎ
できないできないってばかりで

446:426
18/06/10 22:59:16.28 .net
あ、「安全な文字」っていうのは「通常の用途に使われるけれども日本語圏では滅多に使われない文字」の意味だったのね。
俺の解釈としてはUnicodeに収録されてる四種の区切り文字も「安全な文字」の類に入るからさ。
勘違いしてすまんな

447:名無しさん＠お腹いっぱい。
18/06/10 22:59:31.44 .net
bash拡張は置換命令あるけど、
POSIXシェルの場合、外部コマンドを呼び出す以外に
置換命令はないんだよ。知ってる？

448:名無しさん＠お腹いっぱい。
18/06/10 23:03:46.06 .net
>>430
> 俺の解釈としてはUnicodeに収録されてる四種の区切り文字も「安全な文字」の類に入るからさ。
まさに、ぽか～んだわｗ
今度はお前にUTF-8の講釈をしないといかんのか？
Unix系で簡単に使えるUnicodeはUTF-8しかないが
（その他のエンコードは、文字の中にNULL文字が入るためシェルスクリプトで扱えない）
そのUTF-8はASCII互換であるため、U+001EやU+001Fは
ASCIIコードの0x1Eと0x1Fと全く同じであるため、
この文脈で、Unicodeかどうかなんて考える必要ないんだよ

449:名無しさん＠お腹いっぱい。
18/06/10 23:05:23.11 .net
>>428
それは元々のデータがそうであるってこと？そんなんだったら別にこのスレで話題にするようなもんじゃないだろう
いつからそんなのが前提になってるねんwなんかムチャクチャぶりが...ww

450:名無しさん＠お腹いっぱい。
18/06/10 23:07:34.36 .net
>>430
なんか変に絡まれてるな
全く理解できるから気にすんなw

451:名無しさん＠お腹いっぱい。
18/06/10 23:13:46.83 .net
>>433
> それは元々のデータがそうであるってこと？
ちょっと違うな
「元々のデータがそうであってもよい」ってこと
元々のデータ形式について指定はないのだから
（処理するには効率の悪い）CSVデータでも

452:OKだし、どんなデータでもよいそのデータ形式も含めて、どうしたらいいでしょうか？という話だ

453:名無しさん＠お腹いっぱい。
18/06/10 23:15:22.00 .net
>>435
データの改行とそうじゃない改行をどうすんの？どうやんの？

454:435
18/06/10 23:16:17.88 .net
まあ、そのデータもシェルスクリプトで生成はするんだけどな
シェルスクリプト１ → 何らかのデータ形式 → シェルスクリプト２
「何らかのデータ形式」のデータの中に（データ区切りの改行とは別に）
１データの値として改行等が含まれることがあるのでどうすっかなーって話

455:名無しさん＠お腹いっぱい。
18/06/10 23:16:40.28 .net
>>432
お前は>>323を引用して
> そういう解答を出してほしかった
と言ってるんだろ？ UnicodeはASCIIの範囲ではそれと互換なんだからUnicodeかそうじゃないかなんてどうでもいいだろうが
お前が言ってるのは
「フィールド区切りにはカンマやアルメニア文字ではなくそれ専用に用意されている文字種を使いましょうね」
ってことだろ？なんか間違ってる？
「ポカーン」とするのもいいけれど、その前に文章をよく読め。脊髄反射でレスするな。

456:名無しさん＠お腹いっぱい。
18/06/10 23:17:19.92 .net
>>436
> データの改行とそうじゃない改行をどうすんの？どうやんの？
そこをどうするのが質問だって～の

> Excelから出力したCSVのように一行（？）の中に改行が含まれた
> データを扱うにはどうしたら良いでしょうか？
って書いてあるんだろ

457:名無しさん＠お腹いっぱい。
18/06/10 23:18:11.57 .net
>>437
ん？変換するんじゃないの？変換するなら別にコードがどの値とかは関係ないだろうし？？ん？？

458:名無しさん＠お腹いっぱい。
18/06/10 23:19:01.94 .net
>>438
> ってことだろ？なんか間違ってる？
間違ってるよ。
>>289 の案に対して置換すんなボケっていってる

459:名無しさん＠お腹いっぱい。
18/06/10 23:19:23.68 .net
>>439
初期から出てるだろ

460:名無しさん＠お腹いっぱい。
18/06/10 23:20:29.10 .net
>>440
だから　改行コードとか\を　安全な文字に置換すんなってｗ

461:名無しさん＠お腹いっぱい。
18/06/10 23:21:35.91 .net
また変換すんな君が出てるし。代替案を何も言わずに遅い遅いだけな。お前が遅々として進まんわっ

462:名無しさん＠お腹いっぱい。
18/06/10 23:21:59.29 .net
>>442
> 初期から出てるだろ
残念　ながら出てない。 \ を安全　な文字に変　換ってことは
つまりデータを　変　換すると言ってる　わけだが、
データは　変換（置換）するななってのが
俺の煽ってる内容

463:名無しさん＠お腹いっぱい。
18/06/10 23:22:01.17 .net
>>435
CSVのRFCはフィールド・レコード区切りにU+001F/Eを使えなんて一言も言ってねぇぞ
つーかそれこそコンマと改行が区切り文字ですよと言ってる。
そういうデータを扱うことを議論してる時に、横から偉そうな態度で
「データ区切り専用の文字があるんだから元のデータにそれを使うべき」
なんて言われてもなぁ……。
あなたは論理的思考に弱いようだからもう一度同じことを違う言い方で繰り返すと、
「前提を無視した発言は控えてください」
分かった？

464:名無しさん＠お腹いっぱい。
18/06/10 23:22:47.84 .net
>>445
お前は何も進まないので、もう以後無視します

465:名無しさん＠お腹いっぱい。
18/06/10 23:23:45.97 .net
>>444
代替案は >>323ででている
俺が煽ってる内容は↓これな。おまいらに>>323のような代替案をだせよって言ってる
326 自分：名無しさん＠お腹いっぱい。[sage] 投稿日：2018/06/10(日) 08:14:53.42
>>323
正直、そういう解答を出してほしかったね。だせるかなーって思っていたけど
シェルスクリプトでそういうデータを扱うなんておかしいとかのたまうばかり
\x1c（ファイル分離）、\x1d（グループ分離）、\x1e（レコード分離）、\x1f（ユニット分離）は
まさにそういう用途で使うもの。ここの連中の技術力の低下を感じる。

466:名無しさん＠お腹いっぱい。
18/06/10 23:24:21.02 .net
>>446
> CSVのRFCはフィールド・レコード区切りにU+001F/Eを使えなんて一言も言ってねぇぞ
この期に及んでなんでまだCSVの話してんの？
CSVじゃないですって何度も言ってるよね？

467:名無しさん＠お腹いっぱい。
18/06/10 23:24:54.06 .net
>>448
いやいやいやいやwwダメだこりゃ
なんら代替案にもなってないのだけど。なんかやけに繰り返すなwやっぱり遅々として進まんな。じゃ、お元気で

468:名無しさん＠お腹いっぱい。
18/06/10 23:26:44.47 .net
>>449
お前さ＆も一人さ、わざとめちゃくちゃなレスをして楽しんでるだけだろ？
もうそうとしか思えない

469:名無しさん＠お腹いっぱい。
18/06/10 23:28:24.22 .net
>>450
お前本当に馬鹿だなｗ
１データの中に改行コードが含まれてるなら、
（データの中に含まれる改行コードではなく）
データの区切りの方を改行コードではなく、
そのために作られた制御文字を使うって話で
代替案になってるだろ
頭硬すぎｗ
なんで1データを必ず改行コード区切りにしないといけないのか
シェルスクリプトは1行ずつ読み�

470:謔驕iのが得意）ってだけでデータの区切りまで改行コード区切りにする必要はないつーかこの制御文字がなぜ用意されているかに気づかんの？いやはや、ここまで言わんと理解できないのか

471:名無しさん＠お腹いっぱい。
18/06/10 23:28:31.79 .net
>>424
だからやり方書いてみろよ。
出来もしないくせに煽るからバカだと言われてることに気づけよいい加減ｗ

472:名無しさん＠お腹いっぱい。
18/06/10 23:31:18.96 .net
なんでこんなに荒れてんのよ

473:名無しさん＠お腹いっぱい。
18/06/10 23:31:40.43 .net
>>452
>>422 なんですけど？

474:名無しさん＠お腹いっぱい。
18/06/10 23:33:06.87 .net
>>455
>>422を書いたのも俺なんですけど？ｗ
readが改行コードでぶった切られるからって、
データ区切りとする必要はありませんよねぇ（にやにや

475:名無しさん＠お腹いっぱい。
18/06/10 23:33:38.89 .net
>>453
なんでそんな高圧な奴に「教えて」あげなきゃならんねんwアホか
下手くそな煽りだな

476:名無しさん＠お腹いっぱい。
18/06/10 23:35:13.32 .net
>>454
> なんでこんなに荒れてんのよ
俺様がたどり着いたゴールにおまいらが
どこまでたどり着けるかを試していたらこうなった

477:名無しさん＠お腹いっぱい。
18/06/10 23:36:47.05 .net
>>456
ん？よくわからんな。にやけぶりがw>>422はトラップすぎだなw

478:名無しさん＠お腹いっぱい。
18/06/10 23:40:01.41 .net
>>459
トラップでも何でもないよ。
readの-dでできると言われたとき、
それbash拡張だって指摘するのが面倒だから
先に注意してあげただけ

479:名無しさん＠お腹いっぱい。
18/06/10 23:43:44.04 .net
>>460
あー、そういうことか。いちおう試してみていたんだけどね。できんの？
後処理が必要ないのでそれができるのなら確かにそうだな

480:名無しさん＠お腹いっぱい。
18/06/10 23:49:44.49 .net
>>460,461
& 遅い君
確かにできるね。っかしいなあw
これができての、後処理が無駄という話なら全然それに異存はないな。変に絡んでいたらすまんかった

481:名無しさん＠お腹いっぱい。
18/06/11 00:03:29.86 .net
>>461
ん？ようやく理解したのか？
煽りフェーズが終わると途端につまらなくなるなｗ
普通にできるし、俺はすでに近い形のものを実装している
自分の用途に合わせて最適化してるんで、汎用的にはなってないがな
（その後に>>282を質問という形でおまいらに問題を出したのだよ）
最初はデータの方をエスケープしてたんだが目に見えて遅くなってな
エスケープの方式をシェルビルトインのprintfでアンエスケープ
できるようにもしたが大した効果はなかった。
そこで制御文字を眺めていたら、その用途ピッタリの文字を見つけたのだよ
データとしては、0x1F（US: Unit Separator）を各項目の区切り（CSVでいうカンマ相当）
0x1Eを（RS: Record Separator）を名前の通り、データ区切りとして使ってる
USの方はIFSを使うことでPOSIX準拠でforなどで処理することができる
さらに0x1D（GS: Group Separotor）を使えば階層構造があるデータを取り扱えるだろうし
0x1C（FS: File Separator）を使えば標準入力で複数のファイルを渡すようなこともできるだろう
便利だがそれに気づいたのは>>323が最初。
おまいらは最初、シェルスクリプトで扱うもんじゃないとか言っていた
>>323のあともその使い道に気づかないでいた。まだまだだなｗ

482:名無しさん＠お腹いっぱい。
18/06/11 00:07:10.97 .net
キモ偉そう

483:名無しさん＠お腹いっぱい。
18/06/11 00:15:39.42 .net
おまけで、一つだけ>>431に補足しておいてやろう
（もちろん>>431を書いたのも俺だけどなｗ）
> bash拡張は置換命令あるけど、
> POSIXシェルの場合、外部コマンドを呼び出す以外に
> 置換命令はないんだよ。知ってる？
置換命令は無いが、fork相当のことをせずにprintfも使わずに
エスケープされた文字をアンエスケープする方法はある
例えばエスケープの方式がよくある\記号を使うやり方だとして、
IFS='\' (エスケープが必要だったかも知れない）でデータをsplitして
caseで n

484:*) なら改行を表すエスケープ文字と解釈して一文字目のnを ${STRING#?} で削除しつつ、改行コードを一文字目に加えるという方法だこれはこれで遅くなるので却下したんだがなｗ

485:名無しさん＠お腹いっぱい。
18/06/11 00:18:20.26 .net
性格が歪んでるな。これ以後の質問者とかどうするとか思わないのだろうな

486:名無しさん＠お腹いっぱい。
18/06/11 00:19:46.66 .net
相手にするだけ時間の無駄だと思うが…

次ページ