Unicode - это универсальный стандарт кодировки символов, который используется для поддержки символов в не-ASCII скриптах. Интернет изначально был построен на ASCII, который основан на английском алфавите и состоит всего из 128 символов.

Unicode позволяет поддерживать все языки мира и их уникальные наборы символов - Unicode может поддерживать более 1 миллиона символов! Способ работы Unicode заключается в разрешении большего количества битов, сокращенно для b двоичный разрядэто, которые являются единицами информации на машине. Символы ASCII требуют всего около 7 бит, в то время как Unicode использует 16 бит. Это необходимо, потому что для обработки языков, таких как китайский, арабский и русский, требуется больше бит.

Существуют различные типы Unicode, включая UTF-8 и UTF-16, два наиболее распространенных. UTF-8 стал типичным стандартом, используемым в вебе, потому что он регулирует количество используемых битов в зависимости от символа. Это означает, что символы ASCII в UTF-8 занимают только те биты, которые им необходимы для обработки.

Что такое punycode?