文字コード総合スレ part8

1 名前：デフォルトの名無しさん mailto:sage [2012/11/30(金) 13:16:02.46 .net] プログラマーなら一度は煩わされたことのある文字コードについてのスレ。 UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、 合成文字、ソート、TRON、外字コード、その他について語り合いましょう。 各言語での文字列の扱いについての質問もOKです。 基本マッターリ、ささ、茶でもどうぞ。 ■過去スレ 文字コード総合スレ part1 pc11.2ch.net/test/read.cgi/tech/1031028205/ 文字コード総合スレ part2 pc11.2ch.net/test/read.cgi/tech/1143375639/ 文字コード総合スレ part3 pc11.2ch.net/test/read.cgi/tech/1180250376/ 文字コード総合スレ part4 pc11.2ch.net/test/read.cgi/tech/1228052369/ （スレ再利用）UnicodeとUTF-8の違いは？ pc12.2ch.net/test/read.cgi/tech/1177930957/ （隔離スレ）UnicodeとUTF-8の違いは？　その2 pc12.2ch.net/test/read.cgi/tech/1274937437/ 文字コード総合スレ part5 pc12.2ch.net/test/read.cgi/tech/1236529563/ 文字コード総合スレ part6 hibari.2ch.net/test/read.cgi/tech/1278923059/ 文字コード総合スレ part7 toro.2ch.net/test/read.cgi/tech/1306595564/ 950 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 01:05:37.47 ID:xHMaMRhQ.net] シフと辞す 951 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 04:46:50.66 ID:JBieFH3j.net] >>931 氏ね 952 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 06:15:33.67 ID:4h8ULvHM.net] >>931 小出しにしないで、何がどうしてどうなったのかを１スレで書けるなら書いてもいいよ。 953 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 07:02:01.76 ID:BDkoTBNa.net] >>934 そら 954 名前：そうだろ Shift_JISなんて使ってる人は見たことがない [] [ここ壊れてます] 955 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 09:00:03.21 ID:LQ8Ghiak.net] >>931 実に興味深いので、ぜひともうかがいたい 956 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 09:29:56.46 ID:koz7MUNE.net] シフトJIS Shift_JIS S-JIS MS932 他もあったと思うが何がちがうん？ 957 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 11:51:57.08 ID:wJgJenmS.net] あだ名が違うだけなんよ 958 名前：デフォルトの名無しさん [2014/05/26(月) 12:31:29.88 ID:798+E0yw.net] UTF-8ってバイトストリームのくせになんでBOMなんてものがあるの？ 959 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 12:35:07.83 ID:LnM16LwK.net] >>942 深謀遠慮の馬鹿の所為。 960 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 12:37:23.58 ID:n/wMhhQ7.net] >943 www.w3.org/International/questions/qa-byte-order-mark.en.php > In the UTF-8 encoding, the presence of the BOM is not essential because, > unlike the UTF-16 encodings, there is no alternative sequence of bytes in a character. > However, the BOM may still occur in UTF-8 encoded text, either as a > by-product of an encoding conversion or because it was added > by an editor to flag the content as UTF-8. > In this situation, the BOM is often called a UTF-8 signature. ということで、UTF-8のBOMは、BOMと似ているバイトデータですが、 BOMという呼び名が気になるなら、UTF-8 signatureと呼びましょう。 961 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 12:42:12.84 ID:n/wMhhQ7.net] なぜUTF-8 signatureがあるかといえば、 文字化け防止ですね。 マルチバイト文字列を使った文書の場合、 UTF-8で書いていても、他の文字コードだと 誤判定する可能性がある。 その可能性まで考慮する場合、つけても いいということになっています。 そこまで考えるかどうかですね。 962 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 12:57:20.58 ID:yW4E2WrI.net] >>940 文字集合が違うものがある。 963 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 13:06:36.83 ID:koz7MUNE.net] >>946 それはシフトJISの中で 78年とか83年とかって言われるやつ？ 964 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 17:54:55.99 ID:2f6IRupb.net] MS932なんて明らかに別物じゃない 965 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 18:41:56.31 ID:rblDMgf3.net] >>940 シフトJIS:Shift_JISの俗称 Shift_JIS:正式名書　JIS X 0208とかIANAではこれが使われてる S-JIS:Shift_JISの略称 MS932:MSによるShift_JISの拡張 あってる？ 966 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 19:16:08.25 ID:CNfFVCaw.net] >>944 どこの馬の骨ともわからないサイトを引用して嬉しいか？ 967 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 19:17:17.33 ID:3kQqWzjR.net] >>949 全然ダメ話にならない 安岡に洗脳された？ 968 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 19:36:56.51 ID:n/wMhhQ7.net] >>950 www.w3.org だよ。 ja.wikipedia.org/wiki/World_Wide_Web_Consortium > World Wide Web Consortium（ワールド・ワイド・ウェブ・コンソーシアム）は、 > World Wide Webで使用される各種技術の標準化を推進する為に設立された > 標準化団体、非営利団体。略称はW3C（ダブリュースリーシー）。 ま、知っていて言ってるんだろうけどねｗ もしかしてw3がUTF-8 signatureを使用しても いいものとして解説してるの知って悔しかった？ MS独自の仕様とかじゃないんだよｗ 969 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 19:42:54.92 ID:Ht/ARlMF.net] >>952 unicodeの公式はこっちじゃないの？ www.unicode.org/ BOMのFAQは www.unicode.org/faq/utf_bom.html 970 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 21:15:37.40 ID:n/wMhhQ7.net] いや、「どこの馬の骨ともわからない」という 無知を馬鹿にしてるだけだからｗ 971 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 21:59:26.38 ID:rblDMgf3.net] >>951 正解よろ 972 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 22:20:10.75 ID:YFy2sZt2.net] >>955 シフトJIS:Windows-31とかShift_JISなどの総称・俗称 S-JIS:シフトJISと同じ Shift_JIS:シフトJIS系文字コードの一つ。IANAでの正式名称 Windows-31J:シフトJIS系文字コードの一つ。IANAでの正式名称 ms932:Windows-31Jと同じ。俗称 973 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 23:00:00.47 ID:koz7MUNE.net] >>956 と言うことは Shift_JISとWindows-31Jの2種類があるんだね どのあたりのコード規格が違って2種類なの？ 入ってるフォントや文字が違うってのは除いてね 974 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 23:00:05.62 ID:jb2ZtUVc.net] 何も説明してないな 975 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 23:02:22.93 ID:n/wMhhQ7.net] >>957 > 入ってるフォントや文字が違うってのは除いてね 文字コードっていうのは、普通 入っているフォントや文字が違うものなんだけど、 その一番重要な部分を除く理由は何？ 976 名前：デフォルトの名無しさん mailto:sage [2014/05/26(月) 23:13:34.23 ID:sKb2ZcEr.net] >>957 Shift_JISはJIS X 0208文字とJIS X 0201文字を含む Windows-31Jはさらに「NEC特殊文字」「IBM拡張文字」を含む 977 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 01:20:43.41 ID:7VvgsYMM.net] >>959 コード体系と文字は別でしょ Shift_JISでも78年文字とか83年文字とか 最近だと何年まで進んでるのかわからないけど あと、同じコード位置でも機種依存やOS依存で違うし これらはコード体系は同じと思ってる ちがう？ 978 名前：デフォルトの名無しさん [2014/05/27(火) 03:20:26.43 ID:Ha9yhWBf.net] wikipedia貼ってどやとかもう生きていられない次元 979 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 11:43:03.63 ID:empqvUFR.net] >>961 > コード体系と文字は別でしょ 別ではない。昔は厳密に区別されていなかった。 厳密に区別されるようになったのはUNICODEから 980 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 17:40:32.44 ID:jLhQ2X1r.net] >>963 昔って83年以前？ その時点でShiftJISの78規格文字とか83規格文字はあったが 規格はShiftJISだったが 機種依存文字も各社バラバラだったが 文字とコードが一緒だとどうなってたの？ 意識してない人も居たってところでしょ 981 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 17:47:14.30 ID:LcMluZw6.net] 文字化けというお化けが出る 982 名前：デフォルトの名無しさん [2014/05/27(火) 18:06:25.64 ID:rWEe06X3.net] >>937 ありがとう。書くよ。 エンコーディングの表記は "Shift_JIS" でいい？ grep の件は Shift_JIS だから起こった。 現在なら Shift_JIS に対応しているのを使えばいいと思うかもしれないけど インターネット以前の時代だ。 パソコン通信はあったけど、そういうのを使える環境ではなかった。 情報は雑誌や書籍が頼りで、ソフトもそれらの付録の フロッピーディスクが頼りだった。情報弱者だ。 しかし grep の件のような問題が起こらないエンコーディングが あるということが解る程度には勉強していた。 自分で書くプログラムでは Shift_JIS にも一応は対応したし 海外産のプログラムを改造したこともあるが、それは Shift_JIS だから必要なわけで、本当はやりたくない。 nkf はあったから、パイプ処理でなんとかなる場合もあるが MS-DOS ではパイプ処理はあまり使いやすいものではない。 もし、コンソールドライバにエンコーディングを切り替えるオプションがあれば 海外のプログラムを無修正で使えたかもしれないのだが。 Shift_JIS でなければ何も問題は起こらないというわけではない。 grep もそうだ。しかし Shift_JIS でなければ起こらない問題が多すぎる。 つまり、grep が Shift_JIS に対応していないのが悪いのではなく Shift_JIS を使っているのが不合理だという立場だ。 983 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 19:15:40.23 ID:5OfN7A1O.net] >grep が Shift_JIS に対応していないのが悪いのではなく >Shift_JIS を使っているのが不合理 駅に車を違法駐車するひとが 「みんなやってるし取り締まる方が不合理」 と開き直ったような思考だな 984 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 20:37:49.77 ID:gGML8YGy.net] >>966 結局シフトJISに対応してない問題しかないじゃないか（呆れ） 985 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 21:12:56.49 ID:d2/Q/hOp.net] 雑誌付録のソフトて大抵日本語対応てか作者日本人だから自然に対応してたよな VectorがCD-ROMの頃で収録数増やすのにBSDとか海外製のオープンソースものが入ってきてた感じ 986 名前：デフォルトの名無しさん mailto:sage [2014/05/27(火) 21:27:36.82 ID:33vy5Nng.net] MS-DOSの時代にShift_JISなんてあったっけ？ シフトジスが1983年ぐらいとしてShift_JISは1997年じゃないの 987 名前：デフォルトの名無しさん [2014/05/28(水) 01:03:28.34 ID:LFNjWwYo.net] x-sjis 988 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 02:31:34.80 ID:8UETi8D4.net] PC-8801mk2FR (1985年11月発売) ttp://121ware.com/support/product/data/spec/cpu/b041-1.html PC-8801mk2MR (1985年11月発売) ttp://121ware.com/support/product/data/spec/cpu/b042-1.html 私の記憶が正しければ、少なくともNEC製パソコンに関しては上記2機種以降 (FR/MR/FH/MH/FA/MA/FE/MA2/FE2/MC/VA/VA2/VA3)に標準添付された N88-日本語BASICで、シフトJISコードが採用されていたはず。(MS-DOS全盛期より前) 実際、私も高校時代にPC-8801mk2FRの実機で日本語BASICをよく使っていたものだ。 それより一体いつの間に「シフトJIS」(シフトジス)と「Shift_JIS」が別物って話になってんだ？ 上記のN88-日本語BASICにNEC独自の2バイト文字が一部含まれていたのは確かだったように記憶しているが、 基本的には呼び方が少し異なるだけで同じ文字コードを指すんじゃないのか？ 989 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 06:56:42.97 ID:OT9ObpmS.net] いやShift_(アンダースコア)JISだけは別格のキワモノ 990 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 09:38:18.25 ID:LEy/uI+S.net] コードとフォントを区分けできない奴らが多いんだから 回答も適当なもんだ 991 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 09:48:09.99 ID:am2JQYoj.net] シフトJISでもShift_JISでも良いんだけど >Shift_JIS でなければ起こらない問題が多すぎる これちゃんと説明しないと話にならん 992 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 09:53:02.69 ID:uwTq2IS1.net] もう済んだことを蒸し返すな。 説明させたら、まったくShift_JISのせいではなかった。 これが事実。 993 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 10:45:31.20 ID:jOoZBmgE.net] シフトジス これ以降広い意味ではこれを使うこととする。 994 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 14:34:33.72 ID:VGTs+pfN.net] >>974 符号と字形っていうかコードとグリフじゃなくて？ 995 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 16:42:18.75 ID:1n4l76qf.net] えらく伸びていると思ったら 996 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 18:04:52.73 ID:6RxarYIU.net] x-sjis とかが Shift_JIS になったのが 1997 年頃 997 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 19:34:38.71 ID:SK7hf9Gv.net] x-sjisに定義なんて無かったんじゃないの？ Shift_JISがIANAで定義されてそのとき初めて JIS X0208+0201という定義がされたのだと思ってたけど。 998 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 20:27:02.63 ID:OGsR5Eh8.net] 2バイト目にASCII文字と同じバイトが出現しうるからEUC-JPなら必要なかった 対応が余分に必要になるってよくある話? Perlだとこういう問題が知られている。 homepage1.nifty.com/nomenclator/perl/shiftjis.htm 999 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 21:14:42.01 ID:0IHmN3Nq.net] どこまで読んでも 「文字列をASCII+アルファの未知のデータと仮定して処理したら誤動作した」 でしかないんだよな。 言語やツールの仕様に「\や@と同じバイトは現れない文字コードが前提」 と言う制約が有るわけでもないのに。 1000 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 21:23:03.13 ID:/a0BspTY.net] 文字コードって就職先あんの？ 1001 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 21:44:20.16 ID:kjRCJp/2.net] >>984 無いよ。 このスレを見てわかるとおり 文字コードにこだわる人＝アスぺ基地外だからね 1002 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 21:52:01.58 ID:7l0BbTbH.net] あとIMEのスレもキチガイ率高いな 文字にこだわるやつはキチガイ予備軍なんじゃね？ と思ったけどフォントスレはそうでもないな 1003 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 22:00:10.73 ID:vt8gBzLM.net] Macのが最も素晴らしいだとかフォントのライセンス無視して改造して配ってたり GDI++だったか妙なレンダリングに拘ってたりするイメージがあるけど 1004 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 22:11:07.99 ID:7l0BbTbH.net] なんかそういうのとは毛色が違うんだよなぁ フォント関係のとこのやつははうぜぇやつ止まり コードやIMEのとこにいるやつはキチガイ臭がプンプンする 1005 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 22:56:37.48 ID:St2mZNey.net] てすぽ 1006 名前：デフォルトの名無しさん mailto:sage [2014/05/28(水) 23:58:57.25 ID:c0LERDVkO] 落ちたか？ 1007 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 00:37:00.53 ID:dXuX76SH.net] >>981 Windows-31JはIANAに登録されてた。 1008 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 00:37:59.34 ID:3vKJnOmW.net] 梅 1009 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 03:49:04.43 ID:AMcBMTZL.net] 次スレ 文字コード総合スレ part9 peace.2ch.net/test/read.cgi/tech/1401301779/ 1010 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 05:04:37.61 ID:l+cTMUwg.net] おっつぅ 1011 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 07:50:08.12 ID:3vKJnOmW.net] 埋め 1012 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 07:52:04.05 ID:3vKJnOmW.net] 996 1013 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 07:52:34.79 ID:JfFfn9nO.net] 997 1014 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 07:54:12.96 ID:JfFfn9nO.net] 998 1015 名前：デフォルトの名無しさん mailto:sage [2014/05/29(木) 07:58:01.05 ID:3vKJnOmW.net] 999 1016 名前：デフォルトの名無しさん [2014/05/29(木) 07:58:50.87 ID:3vKJnOmW.net] 1000 1017 名前：１００１ [Over 1000 Thread.net] このスレッドは１０００を超えました。 もう書けないので、新しいスレッドを立ててくださいです。。。 1018 名前：過去ログ ★ [[過去ログ]] ■ このスレッドは過去ログ倉庫に格納されています

---

---

[ 新着レスの取得/表示 (agate) ] / [ 携帯版 ]

read.cgi ver5.27 [feat.BBS2 +1.6] / e.0.2 (02/09/03) / eucaly.net products.
担当:undef