- 1 名前：デフォルトの名無しさん mailto:sage [2012/11/30(金) 13:16:02.46 .net]
- プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。
■過去スレ
文字コード総合スレ part1 pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？ その2 pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 toro.2ch.net/test/read.cgi/tech/1306595564/
- 152 名前：デフォルトの名無しさん mailto:sage [2013/02/20(水) 10:07:07.44 .net]
- 確かにｗ
ただ、文字コードの総合スレってどこに行けばいいのかよくわからんのよね。
「PC」に限ったもんでもないと思うし。
広義の「ソフトウェア」として捉えようにも、あそこは実質Windowsアプリ板だし。
- 153 名前：デフォルトの名無しさん mailto:sage [2013/02/20(水) 15:01:12.39 .net]
- プログラムで扱うデータ構造だからプログラム板で良いのでは
- 154 名前：デフォルトの名無しさん mailto:sage [2013/02/20(水) 22:57:52.15 .net]
- 安岡センセイ荒れてるなあ
slashdot.jp/~yasuoka/journal/563428
- 155 名前：デフォルトの名無しさん mailto:sage [2013/02/20(水) 23:29:24.54 .net]
- IVSに言及されてるのにUCS-2がdeprecatedになったことや
UCS-4の範囲が制限されてることは知らなかったり
色々とちぐはぐな論文だこと
- 156 名前：デフォルトの名無しさん mailto:sage [2013/02/21(木) 09:22:44.08 .net]
- H立は研究所がすごいという感があるが、F通の研究所はなんかこういうのばかりという印象があるなw
- 157 名前：デフォルトの名無しさん mailto:sage [2013/02/21(木) 11:29:36.87 .net]
- 不治痛は官公庁がらみの仕事が多くて
文字setにうるさい割に能力は適当な希ガス
- 158 名前：デフォルトの名無しさん mailto:sage [2013/02/21(木) 16:38:53.44 .net]
- ＞現時点での常用漢字と人名用漢字がどうなっているかぐらい
つまり、どうなっているの？
- 159 名前：デフォルトの名無しさん mailto:sage [2013/02/21(木) 17:34:48.82 .net]
- 「富士通総研経済研究所研究レポート」ってエッセイ集でしょ？
- 160 名前：デフォルトの名無しさん mailto:sage [2013/02/22(金) 11:01:29.14 .net]
- >>156
査読とかが無いみたいだから
こんなのが出てくるんだな
- 161 名前：デフォルトの名無しさん mailto:sage [2013/02/22(金) 11:38:37.20 .net]
- 大学でいうと紀要のようなもんだな。玉石。
10年ぐらい前にも紀要論文で、同レベルの文字コード論があったという記憶がある。
- 162 名前：デフォルトの名無しさん mailto:sage [2013/02/22(金) 18:10:31.98 .net]
- 安岡センセイが暴走中
opendata.openlabs.go.jp/ja/idea/00089/
- 163 名前：デフォルトの名無しさん mailto:sage [2013/02/22(金) 19:29:07.64 .net]
- 00091の方が大事だな
- 164 名前：デフォルトの名無しさん mailto:sage [2013/02/22(金) 19:37:59.78 .net]
- >>160
マイクロソフトの中の人？
- 165 名前：デフォルトの名無しさん mailto:sage [2013/02/22(金) 19:40:00.44 .net]
- それっぽいね。同姓同名の他人じゃなければ
- 166 名前：デフォルトの名無しさん mailto:sage [2013/02/23(土) 01:49:18.18 .net]
- 00089も00091もコメントついてるけど
何かやり取りがちぐはぐな気が
- 167 名前：デフォルトの名無しさん mailto:sage [2013/02/23(土) 15:04:59.97 .net]
- うむ
- 168 名前：デフォルトの名無しさん mailto:sage [2013/02/23(土) 18:05:17.50 .net]
- >>147
ありがとうございます。
FontForge（fontforge-cygwin_2012_08_02）をインストールしてみました。
Webで調べて、フォントからフォントへのコピーの方法は分かったのですが
保存しても0バイトになってしまい、ただいま格闘中です。
- 169 名前：デフォルトの名無しさん mailto:sage [2013/02/23(土) 18:15:58.01 .net]
- セキュリティで言えば高木先生に相当するのがその安岡って人？
- 170 名前：デフォルトの名無しさん mailto:sage [2013/02/23(土) 18:31:33.20 .net]
- 半年ROMれ
- 171 名前：デフォルトの名無しさん mailto:sage [2013/02/23(土) 21:31:22.08 .net]
- あまり深く考えたことなかったけど
東アジア人文情報学研究センターって何なんだろうな
図書館の凄い版？
- 172 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 16:48:38.49 .net]
- Unicode IVS/IVD入門 ―JIS規格の歴史､異体字問題の解説から､Windows 8での対応方法まで
とかいう本がでるらしいのだが
これは買いですか？糞ですか？
- 173 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 17:12:09.85 .net]
- 「UnicodeによるJIS X0213実装入門」の続編みたいな内容でしょ。
新たに加わった著者はUnicodeの人だよね。
- 174 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 17:21:41.13 .net]
- Unicode対応って言うか
Windowsは早くシステムロケール
UTF8に対応してケロ
- 175 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 17:54:27.91 .net]
- コマンドプロンプトはutf-8を選べるようになったの?
- 176 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 18:05:47.70 .net]
- (´‥∀‥`)ほう
- 177 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 19:26:36.90 .net]
- >>172
ttp://fine.ap.teacup.com/hepo/30.html
- 178 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 19:48:59.90 .net]
- >>171
むりぽ
blogs.msdn.com/b/michkap/archive/2006/10/11/816996.aspx
- 179 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 19:54:52.45 .net]
- 今出来ないのはわかるけど
将来にわたって無理？
- 180 名前：デフォルトの名無しさん mailto:sage [2013/02/24(日) 20:32:51.83 .net]
- 最後の一節はかなり悲観的ですなあ
7年前の記事ではあるけど
- 181 名前：デフォルトの名無しさん mailto:sage [2013/02/25(月) 08:15:24.93 .net]
- 別に全部サポートせんでも
UTF8にする選択肢だけ
用意すりゃええが
- 182 名前：デフォルトの名無しさん mailto:sage [2013/02/25(月) 19:19:03.04 .net]
- UTF-8にしたら、サイズが1.5倍になるんでしょ。アホかとおもう
- 183 名前：デフォルトの名無しさん mailto:sage [2013/02/25(月) 21:34:04.45 .net]
- Unicode使いたくてWindows使ってる人は何かの修行ですか？
posixサポートも廃止なんだからUTF-8サポートなんて絶望的だろ。
- 184 名前：デフォルトの名無しさん mailto:sage [2013/02/25(月) 21:43:58.01 .net]
- Windowsはコンソールを完全にUTF-16仕様にしてくれるだけでいいんだけどな
SJISはcommand.comで対応することにして
- 185 名前：デフォルトの名無しさん mailto:sage [2013/02/25(月) 22:01:45.41 .net]
- というかいい加減にShift JIS捨てろとw
- 186 名前：デフォルトの名無しさん [2013/02/25(月) 22:09:34.90 .net]
- とりあえずcygwinで満足する努力が必要。
- 187 名前：デフォルトの名無しさん mailto:sage [2013/02/25(月) 22:11:30.84 .net]
- Shift_JISですらないよ、未だにWindows-31J
文字化けするのはUnicode使う方が悪いw
- 188 名前：デフォルトの名無しさん mailto:sage [2013/02/26(火) 02:35:23.96 .net]
- マジ同感。
文字化けはWindwosのせい
- 189 名前：146 mailto:sage [2013/02/26(火) 22:22:56.55 .net]
- >>147
できました！ありがとうございました！
- 190 名前：デフォルトの名無しさん mailto:sage [2013/02/26(火) 22:48:20.68 .net]
- minttyいいね
- 191 名前：デフォルトの名無しさん mailto:sage [2013/02/28(木) 22:10:27.25 .net]
- JEFのコードブックって
まだ手に入るの？
- 192 名前：デフォルトの名無しさん mailto:sage [2013/03/08(金) 22:20:35.27 .net]
- (´･ω･`)？
- 193 名前：デフォルトの名無しさん mailto:sage [2013/03/25(月) 15:59:14.92 .net]
- 変体仮名グリフの納入が終わったはずだが、さて。
- 194 名前：デフォルトの名無しさん mailto:sage [2013/03/27(水) 23:17:38.52 .net]
- 和文モールスと武雄市図書館が
つながるとは思わんかった
- 195 名前：デフォルトの名無しさん mailto:sage [2013/04/01(月) 16:40:23.23 .net]
- 住基文字完全変更って大変だな
slashdot.jp/story/13/03/31/163258/
- 196 名前：デフォルトの名無しさん mailto:sage [2013/04/01(月) 17:35:25.64 .net]
- 4/1やっていいのは午前中までだ
- 197 名前：デフォルトの名無しさん mailto:sage [2013/04/01(月) 22:34:59.80 .net]
- スラドなんて年中エイプリルフールだろ
- 198 名前：デフォルトの名無しさん mailto:sage [2013/04/01(月) 22:41:06.50 .net]
- 失礼な
昔の東スポよりマシだぞ
- 199 名前：デフォルトの名無しさん mailto:sage [2013/04/03(水) 09:37:09.74 .net]
- エイプリルフールじゃなかったのか？
＞住基ネットで文字化け ２３１市町村の１万人分 プログラムミス
www.asahi.com/shimen/articles/TKY201304020675.html
- 200 名前：デフォルトの名無しさん mailto:sage [2013/04/03(水) 11:09:33.32 .net]
- 今気付いたが今月はもう4月じゃないか
- 201 名前：デフォルトの名無しさん mailto:sage [2013/04/03(水) 12:37:39.49 .net]
- 原発事故で行政はどこも信用できなくなった
- 202 名前：デフォルトの名無しさん mailto:sage [2013/04/03(水) 16:20:46.09 .net]
- >>198
それまで信用してたなんて奇特な人だね
- 203 名前：デフォルトの名無しさん mailto:sage [2013/04/03(水) 19:09:21.79 .net]
- 得体の知れない文字コードで管理されている個人情報
- 204 名前：デフォルトの名無しさん mailto:sage [2013/04/03(水) 19:26:15.74 .net]
- >>198
そこで民間企業が作ったユニコードというわけですね。わかります。
- 205 名前：デフォルトの名無しさん mailto:sage [2013/04/04(木) 07:31:01.03 .net]
- さて
- 206 名前：デフォルトの名無しさん mailto:sage [2013/04/06(土) 15:58:22.34 .net]
- そんなわけで
- 207 名前：デフォルトの名無しさん mailto:sage [2013/04/06(土) 17:39:03.94 .net]
- うん
- 208 名前：デフォルトの名無しさん mailto:sage [2013/04/06(土) 18:00:17.69 .net]
- 話題なさすぎﾜﾗﾀ
- 209 名前：デフォルトの名無しさん mailto:sage [2013/04/07(日) 00:33:20.23 .net]
- Javaのnative2asciiが出すエスケープ変換をC/C++のプログラム中でやりたいのですが
簡単な方法はありますかね?
あ、入力はUTF-8なんですが。
そういえばあれって名前はasciiと言ってるけど実際にはISO 8859-1以外をエスケープ
するという噂を耳にしたんですが...
- 210 名前：デフォルトの名無しさん mailto:sage [2013/04/07(日) 02:33:07.04 .net]
- >>206
1.UTF-8をUTF-16に変換します
2.80hより大きなコードポイントをエスケープします
ほらできた！
- 211 名前：デフォルトの名無しさん mailto:sage [2013/04/07(日) 02:43:29.97 .net]
- >>207
んーと、
UTF-8 -> UTF-16はどうしたらいいですかね。何かおすすめのライブラリはあります?
あるいは自前で変換します?
ASCIIより上をエスケープすべきという主張ですね。
あとサロゲートはどうしたらいいんですかね。
できるだけnative2asciiの挙動と一致させたいのですが。
- 212 名前：デフォルトの名無しさん [2013/04/07(日) 02:51:00.36 .net]
- ttp://www.seiai.ed.jp/sys/text/java/utf8table.html
UTF-8は１〜４バイト(初期の定義では６バイトまで)の可変長コード
00-7x １バイト文字 US-ASCIIにおなじ
8x,9x,Ax,Bx 多バイト文字の２バイト目以降
Cx,Dx 2バイト文字の開始バイト
Ex 3バイト文字の開始バイト
Fx 4バイト以上の文字の開始バイト
つまり
00-7fは元の文字
c0-ffなら「u」+バイト列をそれぞれ出せばいいわけだろ
UTF-16なんて必要ないな
native2asciiの挙動?
使いもしねえもの知るかよ
- 213 名前：デフォルトの名無しさん mailto:sage [2013/04/07(日) 02:58:03.93 .net]
- >>208
1.Unicode規格を読みます
2.規格に従い、UTF-8をUTF-32に変換します
3.規格に従い、UTF-32をUTF16にへんかんします。
このとき、サロペも処理します。
ただしJavaがjarで使用するニセUTF-8が入力の場合は
UTF-8を直接UTF-16に変換する必要があります。
ほらできた！
- 214 名前：デフォルトの名無しさん [2013/04/07(日) 04:27:18.60 .net]
- # cl引数を変換
--
#include <stdio.h>
#include <string.h>
int main(int argc, char *argv[]) {
unsigned char* b; unsigned char* h = argv[1];
int i, hlen; hlen = strlen(h); memcpy(b, h, hlen);
printf("ori:\n%s\nuni:\n",h);
for(i = 0; i < hlen; i++) {
if ((*(h + i)) < 128) {/* [0-7]*なら元の文字 */
printf("%c", *(h + i));
}else{
if ((*(h + i)) > 191) { printf("\\u"); }/* [cdef]*なら\u追加 */
printf("%02X", *(h + i));
}
}
printf("\n");
}
--
>na r元の8文字
ori:
r元の8文字
uni:
r\uE58583\uE381AE8\uE69687\uE5AD97
- 215 名前：デフォルトの名無しさん mailto:sage [2013/04/07(日) 04:27:30.15 .net]
- 馬鹿には無理
- 216 名前：デフォルトの名無しさん mailto:sage [2013/04/07(日) 05:39:51.63 .net]
- >>208 適当に書いてみた。こんな感じ。
ideone.com/2StvbL
- 217 名前：213 mailto:sage [2013/04/07(日) 10:01:46.67 .net]
- Windows限定ならこんな漢字
------------
#include <cstdio>
#include <vector>
#include <Windows.h>
using namespace std;
int main()
{
char const *p_org="\xE3\x81\xBE\xE3\x82\x93\xE3\x81\x93z"; // UTF-8文字列。
auto len = ::MultiByteToWideChar(65001, MB_ERR_INVALID_CHARS, p_org, -1, nullptr, 0);
vector<wchar_t> utf16s(len);
::MultiByteToWideChar(65001, MB_ERR_INVALID_CHARS, p_org, -1, &utf16s[0], (int)utf16s.size());
for ( auto &ch : utf16s )
{
if ( ch == 0 )
break;
else if ( ch < 0x80 )
printf("%c", (int)(ch));
else
printf("\\u%04x", (int)(ch));
}
}
- 218 名前：デフォルトの名無しさん mailto:sage [2013/04/09(火) 03:27:39.08 .net]
- どうせ、UTF8とかサロゲートペアとか順番に解釈しないといけなくなるんだったら、
コードページ切り替え方式でよかったのにな
- 219 名前：デフォルトの名無しさん mailto:sage [2013/04/09(火) 17:21:58.60 .net]
- ブラジルポルトガル語 と ポルトガルポルトガル語の
アルファベットは同じでしょうか？？
ポルトガルポルトガル語のフォントでブラジルポルトガル語が
表現できるのかを調べています。
ご存知の方回答よろしくお願いします。
- 220 名前：デフォルトの名無しさん mailto:sage [2013/04/09(火) 17:34:57.34 .net]
- 同じなので表示できます。
- 221 名前：デフォルトの名無しさん mailto:sage [2013/04/09(火) 17:35:46.30 .net]
- >>217
回答ありがとうございました。m(__)m
- 222 名前：デフォルトの名無しさん [2013/04/09(火) 17:59:23.08 .net]
- そーゆーのの違いて基本colorとcolourみたいなもんだろ
- 223 名前：デフォルトの名無しさん mailto:sage [2013/04/09(火) 18:04:39.90 .net]
- >>219
やっぱり、スペルと発音だけの違いですか。
- 224 名前：デフォルトの名無しさん mailto:sage [2013/04/09(火) 20:05:31.51 .net]
- 厳密に知りたいならポルトガル語 正書法でググるよろし
- 225 名前：デフォルトの名無しさん [2013/04/10(水) 12:13:56.89 .net]
- >>219
そうか？繁体字と簡体字くらいの違いはあるかも知れんぞ
- 226 名前：デフォルトの名無しさん mailto:sage [2013/04/12(金) 15:20:03.40 .net]
- なんかそういうのあったな。
ダイアクリティカルマークだったか合字だったか忘れたけど、
コードポイントは同じでも国によって微妙なデザインを使い分けないと現地民にプギャられるってやつ。
- 227 名前：デフォルトの名無しさん mailto:sage [2013/04/12(金) 21:42:52.95 .net]
- ちょっと点の向きや形が違うと言って大騒ぎ。
しまいにゃ文字幅がどうこう言い出す始末。
そんな現地民が東アジア方面にいるとかいないとか
- 228 名前：デフォルトの名無しさん mailto:sage [2013/04/12(金) 22:15:53.06 .net]
- ピンインの二声・四声の話かな？
どれぐらい現地民が気にしてるのかわからないけど。
- 229 名前：デフォルトの名無しさん mailto:sage [2013/04/13(土) 02:20:28.57 .net]
- その国には "立" の一画目が横か縦かを真面目な学問として
研究して金をもらっている連中もいるらしい
- 230 名前：デフォルトの名無しさん mailto:sage [2013/04/13(土) 03:44:23.55 .net]
- あまり面白い皮肉じゃないな
- 231 名前：デフォルトの名無しさん mailto:sage [2013/04/13(土) 23:10:53.74 .net]
- 研究してる奴らって立たなくなった奴ばっかりなんだろ
- 232 名前：デフォルトの名無しさん mailto:sage [2013/04/15(月) 12:09:40.57 .net]
- >>226
「龍」の方がおもしろいな
- 233 名前：デフォルトの名無しさん mailto:sage [2013/04/15(月) 21:27:01.56 .net]
- 「正しい字形」は横なのに縦で教えるダブスタ大杉
- 234 名前：デフォルトの名無しさん mailto:sage [2013/04/15(月) 23:43:58.32 .net]
- >>208
iconv
- 235 名前：デフォルトの名無しさん mailto:sage [2013/04/16(火) 04:06:42.93 .net]
- >>209
＞UTF-16なんて必要ないな
InDesignというDTPソフトにunicodeテキストを配置する場合、
UTF-16BEなんてもんにしなくちゃいけないんざますの。
- 236 名前：デフォルトの名無しさん [2013/04/16(火) 04:58:55.88 .net]
- >>209はutf8を\u****形式に変換する話してるのに>>232
知障ですか?
- 237 名前：デフォルトの名無しさん mailto:sage [2013/04/16(火) 06:20:11.15 .net]
- 要るんです、という話をしただけですのよ。ちなみにわたくしエディタで変換してますわ。
- 238 名前：デフォルトの名無しさん mailto:sage [2013/04/28(日) 14:29:25.02 .net]
- そして誰も
- 239 名前：デフォルトの名無しさん mailto:sage [2013/04/29(月) 22:33:06.77 .net]
- 今はもう
- 240 名前：デフォルトの名無しさん mailto:sage [2013/04/30(火) 03:22:01.47 .net]
- 初夏
- 241 名前：デフォルトの名無しさん mailto:sage [2013/05/01(水) 15:50:42.12 .net]
- 5月か
早いな
- 242 名前：デフォルトの名無しさん mailto:sage [2013/05/01(水) 23:51:25.22 .net]
- アレってどうなったんだっけ
- 243 名前：デフォルトの名無しさん mailto:sage [2013/05/03(金) 22:41:27.92 .net]
- ドレ？
- 244 名前：デフォルトの名無しさん mailto:sage [2013/05/03(金) 23:27:41.29 .net]
- 何のヿ?
- 245 名前：デフォルトの名無しさん mailto:sage [2013/05/04(土) 19:08:59.48 .net]
- コト点でないのか
- 246 名前：デフォルトの名無しさん mailto:sage [2013/05/05(日) 00:20:52.26 .net]
- BBS_UNICODE=passは万能ではないってこと？
- 247 名前：デフォルトの名無しさん mailto:sage [2013/05/05(日) 00:47:04.03 .net]
- てすと ヿ
- 248 名前：デフォルトの名無しさん mailto:sage [2013/05/05(日) 11:06:17.17 .net]
- 数値参照だと出るの？ヿ
- 249 名前：デフォルトの名無しさん mailto:sage [2013/05/05(日) 13:44:32.35 .net]
- 241は & が変換されてる
- 250 名前：デフォルトの名無しさん mailto:sage [2013/05/05(日) 17:19:43.57 .net]
- テスト
ヿ
- 251 名前：デフォルトの名無しさん mailto:sage [2013/05/05(日) 17:20:33.68 .net]
- 変換されるなあ
- 252 名前：デフォルトの名無しさん mailto:sage [2013/05/10(金) 02:10:52.50 .net]
- Open2chの文字コードは、UTF-8だ
<html lang="ja">
<head>
<title>宝くじ＠open2ch掲示板</title><style>body{ margin:0; padding:0;}</style>
<link rel="alternate" type="application/rss+xml" title="RSS" href="http://engawa.open2ch.net/loto/index.rdf" />
<link rel="alternate" type="application/atom+xml" title="Atom" href="http://engawa.open2ch.net/loto/atom.xml" />
<script type="text/javascript" src="/lib/jquery/jquery-1.7.2.min.js"></script>
<script type="text/javascript" src="/lib/common.js?v2"></script>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<link href="/lib/main.css?x" type="text/css" rel="stylesheet" />
</head><body text=#000000 link=#0000FF alink=#FF0000 vlink=#660099 background=/image/ba.gif>
|
 |
