Como converter UTF-8 std :: string para UTF-16 std :: wstring?

Se eu tenho um UTF-8 std::string como convertê-lo para um UTF-16 std::wstring ? Na verdade, quero comparar duas palavras persas.

Aqui está algum código. Apenas levemente testado e provavelmente há algumas melhorias. Chame essa function para converter uma string UTF-8 em um wstring UTF-16. Se ele acha que a string de input não é UTF-8, então lançará uma exceção, caso contrário, retornará a string UTF-16 equivalente.

 std::wstring utf8_to_utf16(const std::string& utf8) { std::vector unicode; size_t i = 0; while (i < utf8.size()) { unsigned long uni; size_t todo; bool error = false; unsigned char ch = utf8[i++]; if (ch <= 0x7F) { uni = ch; todo = 0; } else if (ch <= 0xBF) { throw std::logic_error("not a UTF-8 string"); } else if (ch <= 0xDF) { uni = ch&0x1F; todo = 1; } else if (ch <= 0xEF) { uni = ch&0x0F; todo = 2; } else if (ch <= 0xF7) { uni = ch&0x07; todo = 3; } else { throw std::logic_error("not a UTF-8 string"); } for (size_t j = 0; j < todo; ++j) { if (i == utf8.size()) throw std::logic_error("not a UTF-8 string"); unsigned char ch = utf8[i++]; if (ch < 0x80 || ch > 0xBF) throw std::logic_error("not a UTF-8 string"); uni <<= 6; uni += ch & 0x3F; } if (uni >= 0xD800 && uni <= 0xDFFF) throw std::logic_error("not a UTF-8 string"); if (uni > 0x10FFFF) throw std::logic_error("not a UTF-8 string"); unicode.push_back(uni); } std::wstring utf16; for (size_t i = 0; i < unicode.size(); ++i) { unsigned long uni = unicode[i]; if (uni <= 0xFFFF) { utf16 += (wchar_t)uni; } else { uni -= 0x10000; utf16 += (wchar_t)((uni >> 10) + 0xD800); utf16 += (wchar_t)((uni & 0x3FF) + 0xDC00); } } return utf16; } 

É assim que você faz isso com o C ++ 11 :

 std::string str = "your string in utf8"; std::wstring_convert> converter; std::wstring wstr = converter.from_bytes(str); 

E estes são os headers que você precisa:

 #include  #include  #include  #include  

Um exemplo mais completo disponível aqui: http://en.cppreference.com/w/cpp/locale/wstring_convert/from_bytes

Há algumas perguntas e respostas relevantes aqui e aqui que merecem uma leitura.

Basicamente, você precisa converter a string para um formato comum – minha preferência é sempre converter para UTF-8, mas sua milhagem pode ser cautelosa.

Tem havido muitos softwares escritos para fazer a conversão – a conversão é direta e pode ser escrita em poucas horas – no entanto, por que não pegar algo já feito, como o CPP UTF-8?

Esta página também parece útil: http://www.codeproject.com/KB/string/UtfConverter.aspx

Na seção de comentários dessa página, há também algumas sugestões interessantes para essa tarefa, como:

 // Get en ASCII std::string from anywhere std::string sLogLevelA = "Hello ASCII-world!"; std::wstringstream ws; ws << sLogLevelA.c_str(); std::wstring sLogLevel = ws.str(); 

Ou

 // To std::string: str.assign(ws.begin(), ws.end()); // To std::wstring ws.assign(str.begin(), str.end()); 

Embora eu não tenha certeza da validade dessas abordagens ...