Какое сообщение закодировано в кодировке windows 1251: Определите слово, которое закодировано в кодировке Windows-1251, а прочитано в КОИ-8.

Файл очень большой, при загрузке и создании может наблюдаться торможение браузера.

Загрузить close

content_copy Ссылка save Сохранить extension Виджет

В калькуляторах поддерживаются 70 различных кодировок:

Кодировки IBM EBCDIC

EBCDIC — стандартный 8-битный код, разработанный корпорацией IBM для использования на мэйнфреймах IBM и совместимых с ними.

Кодировки в стандарте ISO 8859

Семейство ASCII совместимых кодировок, разработанных международными организациями ISO и IEC

Кодировки KOI8

KOI8 — 8-битовая кодировка совместимая с ASCII для представления букв кириллических алфавитов

Кодировки Mac OS

Кодировки DOS

Кодировки для MS-DOS и подобных ей операционных систем.

Кодировки Windows

Прочие кодировки

Правила преобразования исторических кодировок в Юникод были получены с сайта unicode.org

URL кодирование и декодирование

Для тех кто не любит нудных объяснений 🙂

Введите строку в одно из полей и нажмите соответствующую кнопку

Для тех кто любит «во всем разобраться» 😉

Кодирование URL и просто двоичных данных в последовательность букв, цифр и некоторых специальных знаков латинского алфавита в интернете было связано с ограничением физических устройств на передачу только алфавитно-цифровых символов. В URL такое кодирование обычно применяется для передачи символов в формате Unicode (как правило UTF-8) в последовательность из двух байт, записанных в шестнадцатиричном представлении. Каждый байт предваряется знаком %. При таком кодировании строчка «корова» будет иметь вид: %D0%BA%D0%BE%D1%80%D0%BE%D0%B2%D0%B0. То есть русской букве к будет соответствовать последовательность %D0%BA и.т.д. Такое кодирование является общепринятым для путей к файлам или папкам, входящим в URL.

Подмножесто символов, которые разрешены в URL немного шире чем алфавитно-цифровые символы, так, в URL можно использовать дефис и подчеркивание, но нельзя, например, использовать одинарные или двойные кавычки. Некоторые символы используют для разделения параметров в URL, и их кодирование в этом случае будет неправомочным. В зависимости от отношения к кодированию специальных символов в javascript различают функции encodeURI и decodeURI, которые могут работать с полным URL, и, функции encodeURIComponent / decodeURIComponent, применяемые для параметров, входящих в URL.

Вообще говоря, кодирование параметров может быть достаточно произвольным. Здесь разработчик может использовать любую схему кодировки, если состав ее символов будет коректно передаваться через сеть. Так, вместо строки кириллицы в utf-8 можно применить строку в кодировке Windows 1251. В этом случае слово «корова» будет выглядеть как %EA%EE%F0%EE%E2%E0. То есть, символу к будет соответствовать последовательность из двух букв со знаком процента перед ними — %EA. Закодировать в строки с процентами кириллицу из других кодировок можно в нашем HTML кодировщике. В принципе, допустимы также другие способы кодирования, например, escape/unescape функцию javascript. Слово «корова» в этом случае будет выглядеть как %u043A%u043E%u0440%u043E%u0432%u0430.

URL кодировщик с расширенными возможностями

powershell — невозможно изменить кодировку текстовых файлов в Windows

В Windows PowerShell вы не сможете использовать встроенные командлеты по двум причинам:

• Исходя из кодовой страницы OEM 852 , я предполагаю, что ваша кодовая страница «ANSI» — Windows-1250 (обе определены локалью унаследованной системы), что не соответствует вашему Windows-1251 , закодированному входные файлы.

• Использование Set-Content (и аналогичный) с -Encoding UTF8 неизменно создает файлы с BOM (метка порядка байтов) , которую Java и, в более общем плане, утилиты Unix-наследия не понимают .

^{Примечание. PowerShell Core фактически по умолчанию использует без спецификации UTF8, а также позволяет передавать любой доступный экземпляр [System.Text.Encoding] в параметр -Encoding , чтобы вы могли решить свою проблему. со встроенными там командлетами, при этом необходимо прямое использование платформы .NET только для создания экземпляра кодирования.}

Следовательно, вы должны использовать .NET framework напрямую:

  Get-ChildItem *.nfo -Recurse | ForEach-Object {

  $ file = $ _. FullName

  $ mustReWrite = $ ложь
  # Попробуйте сначала прочитать как UTF-8 и выбросить исключение, если
  Обнаружены # недопустимые байты как-UTF-8.
  пытаться {
    [IO.File] :: ReadAllText ($ file, [Text.Utf8Encoding] :: new ($ false, $ true))
  } catch [System.Text.DecoderFallbackException] {
    # Вернуться к Windows-1251
    $ content = [IO.File] :: ReadAllText ($ file, [Text.Encoding] :: GetEncoding (1251))
    $ mustReWrite = $ true
  }

  # Переписать как UTF-8 без спецификации (по умолчанию для .NET framework)
  if ($ mustReWrite) {
    Write-Verbose «Преобразование 1251 в UTF-8: $ file»
    [IO.Файл] :: WriteAllText ($ file, $ content)
  } еще {
    Write-Verbose "Уже в кодировке UTF-8: $ file"
  }

}
  

^{Примечание. Как и в вашей собственной попытке, приведенное выше решение считывает каждый файл в память целиком, но это можно изменить.}

Примечание:

• Если входной файл содержит только байты с символами диапазона ASCII (7 бит), он по определению также закодирован в UTF-8, поскольку UTF-8 является расширенным набором кодировки ASCII.

• Это очень маловероятно с реальным вводом, но чисто технически файл в кодировке Windows-1251 может также быть допустимым файлом UTF-8 , если , битовые шаблоны и последовательности байтов оказываются действительный UTF-8 (который имеет строгие правила относительно того, какие битовые шаблоны и где разрешены).
  Однако такой файл не будет содержать значимого содержимого Windows-1251.

• Нет никаких причин для реализации резервной стратегии для декодирования с помощью Windows-1251, потому что нет никаких технических ограничений на то, какие битовые шаблоны могут встречаться и где.
  Как правило, при отсутствии внешней информации (или спецификации) нет простого и надежного способа сделать вывод о кодировке файла только по его содержимому (хотя можно использовать эвристику).

ubuntu — преобразование кириллицы Procmail

Похоже, вы говорите о RFC 2047: MIME-кодирование для заголовков электронной почты.Дальнейшие RFC с тех пор расширили этот RFC, чтобы разрешить больше наборов символов и, при необходимости, включить спецификацию языка.

Поскольку первоначальные спецификации электронной почты и MIME включали предположение, что заголовки будут содержать только строгий US-ASCII, кодирование заголовка является полностью отдельной проблемой от кодирования MIME тела сообщения.

Формат:

  =? <набор-символов> [* язык]? ? <текст>? =
  

будет либо Q для цитируемой печати, либо B для кодировки base64.Если сообщение кажется полным бредом, я предполагаю, что вы видите base64. И имя набора символов, и буква кодировки не чувствительны к регистру.

Итак, вы можете увидеть:

  Тема: =? Utf-8? B? SWYgeW91IGNhbiByZWFkIHRoaXMsIHlvdSB1bmRlcnN0b29kIHRoZSBleGFtcGxlLgo =? =
  

Или с добавленным идентификатором языка:

  Тема: =? Utf-8 * en? B? SWYgeW91IGNhbiByZWFkIHRoaXMsIHlvdSB1bmRlcnN0b29kIHRoZSBleGFtcGxlLgo =? =
  

Пример ручного декодирования:

  $ echo "SWYgeW91IGNhbiByZWFkIHRoaXMsIHlvdSB1bmRlcnN0b29kIHRoZSBleGFtcGxlLgo =" | base64 -d
Если вы можете это прочитать, значит, вы поняли этот пример. 

Тот факт, что ваш существующий сценарий Procmail включает принудительную маркировку кодировок набора символов iso-8859-1 , US-ASCII и UNKNOWN-8BIT как windows-1251 , указывает на то, что ваша реальная проблема может быть неправильно маркированный символ кодирование. Другими словами:

• старый почтовый клиент выдает windows-1251 кириллицей, не помечая их как таковые, возможно, также в заголовках
• , электронное письмо проходит через почтовый сервер, который либо не сообщает должным образом о том, что он может правильно обрабатывать 8-битные почтовые кодировки, либо ревностно пытается обеспечить маркировку всех наборов символов, кроме простого US-ASCII.

В этой ситуации MTA необходимо закодировать и пометить 8-битные символы для передачи почты. Но если 8-битные символы не помечены, только исходный почтовый клиент знает наверняка, что это за набор символов на самом деле.

Проблема с маркировкой наборов символов постфактум состоит в том, что для идентификации набора символов может потребоваться понимание на человеческом уровне того, имеет ли контент смысл интерпретироваться как конкретный набор символов или нет. Таким образом, вы в конечном итоге будете использовать эвристику, которая иногда будет ошибочной.

Например, если вы получаете электронное письмо, которое на самом деле правильно закодировано в iso-8859-1 , ваш сценарий неправильно пометит его как windows-1251 , в результате чего любые символы с нордическим / западноевропейским акцентом будут отображаться как случайные не- толковая кириллица. Но если это реже, чем получение закодированных сообщений windows-1251 , ошибочно помеченных как iso-8859-1 , вы можете принять этот риск, и это нормально.

Я думаю, вам придется исследовать свои проблемные сообщения, чтобы выяснить, как на самом деле закодированы их заголовки Subject: .Они:

• обычная без надписи windows-1251 ?
• действительно действительный base64 -encoded UTF-8?
• или windows-1251 , который был закодирован base64 и неправильно обозначен как UTF-8?

К сожалению, procmail и его сопутствующий formail может оказаться недостаточным для получения заголовка Subject: в незакодированной форме. Они не поддерживаются с 2001 года, и даже их автор теперь предлагает перейти к чему-то другому.Но если вы хотите и дальше использовать procmail , вам понадобится что-то вроде этого скрипта:

https://github.com/akkana/scripts/blob/master/decodemail.py

Я не делал значительных сценариев procmail около 10 лет, поэтому приведенный ниже пример может быть неправильным или может быть лучший способ сделать это. Но, возможно, это полезно для объяснения того, как можно решить проблему …

Вам нужно сначала декодировать содержимое заголовка Subject: и сохранить его в переменной:

 : 0 ч
SUBJDECODED = | расшифровать почту.py Тема:

: 0 ч.
SUBJWASRAW = | formail -xSubject: | перекодировать windows-1251..UTF-8
  

Чтобы исправить неправильную маркировку кодировок, вам может потребоваться перекодировать набор символов из того, что он на самом деле есть, в UTF-8, используемый вашей системой:

  SUBJWASWIN1251 = `echo" $ SUBJDECODED "| перекодировать windows-1251..UTF-8`
  

Если существует несколько возможных кодировок, возможно, вам придется создать несколько таких переменных.

Тогда можно сопоставить по любой версии темы:

 : 0
* SUBJWASRAW ?? ваш-предмет-регулярное выражение-здесь
{
    # Здесь предметом был необработанный windows-1251 без какой-либо кодировки.# Переменная преобразована в действительный UTF-8, используемый этой системой,
    # теперь заголовок можно переписать в удобной форме.
    # (В этом примере тема остается необработанной без метки UTF-8,
    # может быть приемлемым или неприемлемым для всего, что вы используете для просмотра электронной почты.
    # Но в современных почтовых клиентах, совместимых с RFC 6532
    # в системе, которая использует UTF-8, это может быть нормально.)

    : 0 f
    | formail -i "Тема: $ SUBJWASRAW"
}

: 0
* SUBJWASWIN1251 ?? ваш-предмет-регулярное выражение-здесь
{
    # regexp соответствует, поэтому мы знаем, что тема была windows-1251
    # неправильно обозначен как UTF-8. Subject :.* Префикс , поскольку переменные будут содержать только значение   заголовка  Subject: . 

     Руководство пользователя  
 Глава 6: Поддержка Unicode и не-ASCII 
  
 
 




   Глава 6. Поддержка Unicode и не-ASCII  

 

6.1 Формат для печати в кавычках 
 6.2 Символы, отличные от ASCII в заголовках 
 6.3 Unicode и UTF-8 
 6.4 Поддержка UTF-8 в AspEmail 
 6.5 Допустимые значения CharSet 
 
 


  6.1 формат цитируемой печати 

 
 

AspEmail может отправлять сообщения в алфавитах, отличных от US-ASCII.
за счет поддержки формата «Цитата для печати». Этот формат описан в
RFC-2045. Идея формата заключается в том, что символы с кодами меньше 33 и больше
чем 126 представлены знаком "=", за которым следует двузначное шестнадцатеричное представление.
ценности персонажа. Например, десятичное значение 12 (подача формы US-ASCII)
представлен как  = 0C , а десятичное значение 61 (US-ASCII "=") может быть представлено
как  = 3D .

AspEmail кодирует тело сообщения в формате Quoted-Printable
автоматически, если для свойства  ContentTransferEncoding  установлено значение
строка  "Quoted-Printable"  (регистр букв не имеет значения).
Вы также можете установить свойство  Charset 
к соответствующему набору символов. Следующий фрагмент кода отправляет
сообщение на русском языке:
 
 


<% @ codepage = 1251%> 

<% 

... 

Почта.Кодировка = "Windows-1251" 

Mail.Body = "-". 

Mail.ContentTransferEncoding = "Quoted-Printable" 

%>
 
 
 
 Директива  <% @ codepage = 1251%>  предписывает
интерпретатор ASP для обработки жестко запрограммированных символов в сценарии
в виде русских символов (1251 - русская кодовая страница). Как результат,
свойство  Body  получит русскую строку Unicode.
 
 

 



  6.2 символа не-ASCII в заголовках 
 
 

Если вы хотите отправить сообщение с определенными заголовками, например,  Тема: ,
  To:  или  From: , содержащие символы, отличные от US-ASCII, следует использовать
метод  Mail.EncodeHeader  для кодирования строки символов в соответствии с
RFC 1522. Метод принимает один обязательный параметр, строку заголовка,
и один необязательный параметр, набор символов, который по умолчанию равен « ISO-8859-1 ».Например:
 


<% @ codepage = 1251%> 

<% 

Mail.Subject = Mail.EncodeHeader ("-", "Windows-1251") 

Mail.FromName = Mail.EncodeHeader ("", "Windows-1251") 

Mail.AddAddress "[email protected]", Mail.EncodeHeader ("") 

%>
 

 
 

 


  6.3 Unicode и UTF-8 
 
 

Из MSDN:  "Юникод - это 16-битный стандарт кодировки символов фиксированной ширины, который
охватывает практически все символы, обычно используемые на компьютерах сегодня.Это включает в себя большинство письменных языков мира, а также издательские персонажи,
математические и технические символы и знаки препинания ". 
 

С Unicode.org:  "Компьютеры ... хранят буквы и другие символы
присвоение номера каждому. До изобретения Unicode существовало
сотни различных систем кодирования для присвоения этих чисел.
Ни одна кодировка не может содержать достаточно символов ...
Unicode предоставляет уникальный номер для каждого символа,
независимо от того, какая платформа, какая программа, на каком языке.«
 
 

Например, основная латинская буква «А» имеет шестнадцатеричный код 0041 (65), русский
буква имеет код Hex 0416 (1046), а китайский иероглиф
 имеет код Hex 32A5 (12965).
 
 

  UTF-8  (формат преобразования Unicode, 8-битная форма кодирования) рекомендуется
формат, который будет использоваться для отправки данных на основе Unicode по сетям, в частности, через Интернет.
UTF-8 представляет значение Unicode как последовательность из 1, 2 или 3 байтов.
 

Символы Юникода в диапазоне от 0000 до 007F кодируются просто как байты.
00 до 7F. Это означает, что файлы и строки, содержащие только 7-битный ASCII
символы имеют одинаковую кодировку как в ASCII, так и в UTF-8.
Следовательно, Unicode 0041 («A») в UTF-8 - это Hex 41.
 
 

Символы Юникода в диапазоне от 0080 до 07FF кодируются как последовательность из двух байтов.
Например, Unicode 0416 ()
кодируется как Hex D0 96. Кодируются символы Unicode в диапазоне от Hex 0800 до FFFF.
как последовательность из трех байтов.Например, Unicode 32A5 ()
кодируется как Hex E3 8A A5.


 
 



 


  6.4 Поддержка UTF-8 в AspEmail 

 
 

AspEmail 5.0 предлагает полную поддержку UTF-8 как в теле сообщения, так и в заголовках.
Чтобы отправить сообщение в кодировке UTF-8, вы должны установить  CharSet 
свойство к строке " UTF-8 " (регистр не имеет значения),
и  ContentTransferEncoding  на « Quoted-Printable ».Вы также должны передать  UTF-8  в качестве второго аргумента для  EncodeHeader .
 

В следующем примере кода демонстрируется использование UTF-8:
 
 




 
 

<% 

'изменить на адрес вашего собственного SMTP-сервера 

strHost = "smtp.myisp.net" 


'Включить UTF-8 -> Перевод Unicode для элементов формы 

Session.CodePage = 65001 'Код UTF-8 
 


Если Запрос ("Отправить") "" То 

Установите Mail = Server.CreateObject ("Persits.MailSender") 

'введите действительный SMTP-хост 

Mail.Host = strHost 
 


Mail.From = "[email protected]" 'с адреса 

Mail.FromName = Mail.EncodeHeader (Запрос ("FromName"), "utf-8") 

Mail.AddAddress Request («Кому») 
 


'тема сообщения 

Mail.Subject = Mail.EncodeHeader (Запрос ("Тема"), "utf-8") 
 


'тело сообщения 

Mail.Body = Request ("Body") 
 


'Параметры UTF-8 

Почта.CharSet = "UTF-8" 

Mail.ContentTransferEncoding = "Quoted-Printable" 

Mail.Send 'отправить сообщение 

Response.Write "Сообщение отправлено" & Request ("To") 

Конец, если 

%> 
 


 

 

 

 

 


<ТЕЛО> 
 


 

<ТАБЛИЦА ЯЧЕЙКИ = 0 ЯЧЕЙКА = 0> 

 
 Введите адрес электронной почты: 
 
  
 
 
 
 Введите свое имя: 
 
  
 
 
 
 Введите тему: 
 
  
 
 
 
 Введите текст: 
 
   
 
 
 
  
 
 
 

 

 

 
 
    

В этом примере кода есть несколько важных элементов, которые нельзя упускать из виду:
 

   
 

Этот тег META определяет набор символов для этой страницы как UTF-8.Это, помимо прочего, указывает браузеру кодировать все элементы формы в кодировке UTF8.
когда форма отправлена.
 

 Session.CodePage = 65001 
 

Эта строка указывает нашему сценарию ASP преобразовывать элементы формы в кодировке UTF8.
(возвращается коллекцией Request.Form) обратно к обычным строкам Unicode. Номер
65001 - это кодовая страница UTF-8.
 

 Mail.Subject = Mail.EncodeHeader (Запрос ("Тема"), "utf-8") 
 

Второй необязательный аргумент установлен в «UTF-8» для правильного кодирования заголовка.
 


Mail.CharSet = "UTF-8" 

Mail.ContentTransferEncoding = "Quoted-Printable" 
 
 

Эти две строки обеспечивают правильную кодировку UTF-8 тела сообщения.
 

Щелкните ссылки ниже, чтобы запустить этот пример кода:
 

 http: //localhost/aspemail/NonAscii/Unicode.asp 
 http: //localhost/aspemail/NonAscii/Unicode.aspx 
 

 6.5 допустимых значений CharSet 
 

Вы можете указать следующие строковые значения для свойства  CharSet ,
а также второй необязательный аргумент метода  EncodeHeader :
 
 
 Значение 
 Значение 
 
 
 "УТФ-8" 
 UTF-8 
 
 
 "УТФ-7" 
 UTF-7 
 
 
 "Окна-1250" 
 "cp1250" 
 ANSI - Центральная Европа 
 
 
 "Windows-1251" 
 "cp1251" 
 ANSI - кириллица 
 
 
 "Windows-1252" 
 "cp1252" 
 "ascii" 
 "us-ascii" 
 Латиница I 
 
 
 "Windows-1253" 
 "cp1253" 
 ANSI - греческий 
 
 
 "Окна-1254" 
 "cp1254" 
 ANSI - турецкий 
 
 
 "Windows-1255" 
 "cp1255" 
 ANSI - иврит 
 
 
 "Окна-1256" 
 "cp1256" 
 ANSI - арабский 
 
 
 "Windows-1257" 
 "cp1257" 
 ANSI - Балтика 
 
 
 "Окна-1258" 
 "cp1258" 
 ANSI - вьетнамский 
 
 
 "ISO-8859-1" 
 Latin I (значение по умолчанию) 
 
 
 "ISO-8859-2" 
 Центральная Европа 
 
 
 "ISO-8859-3" 
 Латиница 3 
 
 
 "ISO-8859-4" 
 Балтика 
 
 
 "ISO-8859-5" 
 Кириллица 
 
 
 "ISO-8859-6" 
 Арабский 
 
 
 "ISO-8859-7" 
 Греческий 
 
 
 "ISO-8859-8" 
 Еврейский 
 
 
 "ISO-8859-9" 
 Латиница 5 
 
 
 "ISO-8859-15" 
 Латиница 9 
 
 
 "cp866" 
 Русский DOS 
 
 
 "кои8-р" 
 Русский 
 
 
 "кои8-у" 
 Украинский 
 
 
 shift_jis 
 Японская Windows 
 
 
 "ks_c_5601-1987" 
 "корейский" 
 Корейский 
 
 
 «EUC-KR» 
 «корейский» 
 EUC - корейский 
 
 
 "BIG5" 
 Традиционный китайский Windows 
 
 
 "GB2312" 
 "китайский" 
 Китайский упрощенный 
 
 
 "HZ-GB-2312" 
 Упрощенный китайский HZ 
 
 
 "EUC-JP" 
 EUC - японский 
 
 
 "X-EUC-TW" 
 EUC - традиционный китайский 
 
 

 

 
 Онлайн калькулятор: Кодировка текстового файла 
 
 В предыдущей статье я уже затрагивал тему кодирования текста, более подробно описал Unicode и его представление UTF-8 в виде последовательности символов переменной длины.
 Калькулятор конвертирует текст в несколько устаревших кодировок. Я называю их устаревшими, потому что в современных приложениях можно использовать Unicode и его наиболее удобное представление UTF-8. 
 Однако старые кодировки также могут быть полезны, когда вам нужно компактно закодировать текст, например, для последующего сжатия и передачи, когда принимающая сторона точно знает, в какой кодировке передается текст. Например, русский текст, закодированный в Windows-1251, займет половину места, чем текст в UTF-8.
 Итак, калькулятор ниже позволяет вам загрузить файл в выбранной кодировке или просмотреть шестнадцатеричный дамп закодированного текста. 
 
 Закодированный текст 
  Encoding Atari STCP 856 Hebrew DOS Arabic (CP864) DOS Baltic Rim (CP775) DOS Cyrillic (CP855) DOS Cyrillic Russian (CP866) DOS French Canada (CP863) DOS Greek (CP737) DOS Greek 2 (CP869) DOS Hebrew (CP869) DOS Hebrew CP862) DOS Исландский (CP861) DOS Latin 1 (CP850) DOS Latin 2 (CP852) DOS Latin США (CP437) DOS Nordic (CP865) DOS Португальский (CP860) DOS Турецкий (CP857) EBCDIC 037 США / Канада EBCDIC 1026 Турецкий EBCDIC 424 Иврит EBCDIC 500 Международный EBCDIC 875 Греческий GSM 03.38ISO 8-битный урду (IBM CP1006) ISO 8859-5ISO 8859-6ISO 8859-7ISO 8859-8ISO 8859-9ISO-IR-68ISO / IEC 8859-1 (Latin-1) ISO / IEC 8859-10 (Latin-6) ISO / IEC 8859-11ISO / IEC 8859-13 (Latin-7) ISO / IEC 8859-14ISO / IEC 8859-15 (Latin-9) ISO / IEC 8859-16 (Latin-10) ISO / IEC 8859-2 ( Latin-2) ISO / IEC 8859-3ISO / IEC 8859-4 (Latin-4) KOI8-RKOI8-UKPS 9566KZ-1048Mac OS CelticMac OS Central EuropeanMac OS CroatianMac OS CyrillicMac OS DingbatsMac OS GaelicMac OS GreekMac OS IcelandicMac OS InuitMac OS Roman РумынскийMac OS ТурецкийUTF-8Windows-1250Windows-1251Windows-1252Windows-1253Windows-1254Windows-1255Windows-1256Windows-1257Windows-1258Windows-874Windows-932Windows-936Windows-949Windows-950To быть или не быть, это сохранить вопрос Link 9000_copy2   Сохранить расширение   Виджет 

 Вы можете просмотреть созданный файл с помощью декодера текстовых файлов.
 Калькулятор вернет ошибку, если выбрана несовместимая кодировка. В случае Unicode это невозможно - он содержит символы всех современных языков. Но устаревшие 8-битные кодировки содержат ограниченный набор символов. Для текста на нескольких языках необходимая кодировка может вообще не быть найдена. 
 Многие кодировки были изобретены для разных языков и наборов символов за годы до Unicode, поэтому выбор правильной кодировки для вашего текста может быть сложной задачей.Следующий калькулятор находит все кодировки, совместимые с введенным текстом. 
 Выберите кодировку текста 
 Быть или не быть, Вот в чем вопрос  Кодировка Atari STCP 856 Hebrew DOS Arabic (CP864) DOS Baltic Rim (CP775) DOS Cyrillic (CP855) DOS Cyrillic Russian (CP866) DOS French Canada (CP863) DOS Greek (CP737) DOS Греческий 2 (CP869) DOS Иврит (CP862) DOS Исландский (CP861) DOS Latin 1 (CP850) DOS Latin 2 (CP852) DOS Latin США (CP437) DOS Nordic (CP865) DOS Португальский (CP860) DOS Турецкий ( CP857) EBCDIC 037 США / Канада EBCDIC 1026 Турецкий EBCDIC 424 Иврит EBCDIC 500 Международный EBCDIC 875 Греческий GSM 03.38ISO 8-битный урду (IBM CP1006) ISO 8859-5ISO 8859-6ISO 8859-7ISO 8859-8ISO 8859-9ISO-IR-68ISO / IEC 8859-1 (Latin-1) ISO / IEC 8859-10 (Latin-6) ISO / IEC 8859-11ISO / IEC 8859-13 (Latin-7) ISO / IEC 8859-14ISO / IEC 8859-15 (Latin-9) ISO / IEC 8859-16 (Latin-10) ISO / IEC 8859-2 ( Latin-2) ISO / IEC 8859-3ISO / IEC 8859-4 (Latin-4) KOI8-RKOI8-UKPS 9566KZ-1048Mac OS CelticMac OS Central EuropeanMac OS CroatianMac OS CyrillicMac OS DingbatsMac OS GaelicMac OS GreekMac OS IcelandicMac OS InuitMac OS Roman Румынский Mac OS ТурецкийUTF-8Windows-1250Windows-1251Windows-1252Windows-1253Windows-1254Windows-1255Windows-1256Windows-1257Windows-1258Windows-874Windows-932Windows-936Windows-949Windows-950 
 Файл очень большой.Во время загрузки и создания может произойти замедление работы браузера. 
 
 Скачать
 закрыть  
 
  content_copy  Ссылка  сохранить  Сохранить расширение   Виджет 
 Калькуляторы поддерживают 70 различных кодировок: 
 IBM EBCDIC 
 EBCDIC - стандартная 8-битная кодировка, разработанная IBM для использования на мэйнфреймах IBM. 
 
 
 
 Кодировка 
 Языки / страны 
 
 
 
 
 EBCDIC 424 Еврейский 
 Еврейский 
 
 
 EBCDIC 037 США / Канада 
 США, Канада, Португалия, Бразилия, Австралия, Новая Зеландия, Южная Африка 
 
 
 EBCDIC 1026 Турецкий 
 Турецкий 
 
 
 EBCDIC 500 Международный 
 Международный 
 
 
 EBCDIC 875 Греческий 
 Греческий 
 
 
 ISO 8859 кодировки 
 Семейство кодировок, совместимых с ASCII, разработанных Международной организацией по стандартизации (ISO) и Международной электротехнической комиссией (IEC) 
 
 
 
 Кодировка 
 Языки / страны 
 
 
 
 
 ISO 8859-2 (Latin-2) 
 Восточноевропейских языков с использованием латинского алфавита 
 
 
 ISO 8859-5 
 Кириллица 
 
 
 ISO 8859-6 
 Арабский 
 
 
 ISO 8859-7 
 Новогреческий 
 
 
 ISO / IEC 8859-1 (Latin-1) 
 западноевропейские языки 
 
 
 ISO / IEC 8859-10 (Latin-6) 
 Североевропейские языки 
 
 
 ISO / IEC 8859-11 
 Тайский 
 
 
 ISO / IEC 8859-13 (Latin-7) 
 эстонский, латышский, литовский 
 
 
 ISO / IEC 8859-14 
 Кельтские языки 
 
 
 ISO / IEC 8859-15 (Latin-9) 
 западноевропейские языки 
 
 
 ISO / IEC 8859-16 (Latin-10) 
 Восточноевропейских языков с использованием латинского алфавита 
 
 
 ISO / IEC 8859-3 
 Турецкий, Мальтийский, Эсперанто 
 
 
 ISO / IEC 8859-4 (Latin-4) 
 эстонский, латышский, литовский, гренландский, саамский 
 
 
 ISO / IEC 8859-8 
 Еврейский 
 
 
 ISO / IEC 8859-9 
 Турецкий 
 
 
 Семейство кодировок KOI8 
 KOI8 - 8-битная ASCII-совместимая кодировка для представления букв кириллических алфавитов 
 
 
 
 Кодировка 
 языков 
 
 
 
 
 КОИ8-Р 
 Русский 
 
 
 КОИ8-У 
 Украинский 
 
 
 Кодировки Mac OS 
 
 
 
 Кодировка 
 Языки / страны 
 
 
 
 
 Mac OS Celtic 
 Кельтские языки 
 
 
 Mac OS гэльский 
 гэльский 
 
 
 Mac OS Центральноевропейская 
 Центральноевропейские языки 
 
 
 Mac OS Хорватский 
 Хорватский 
 
 
 Mac OS Кириллица 
 Кириллица 
 
 
 Mac OS греческий 
 Греческий 
 
 
 Mac OS Исландский 
 Исландский 
 
 
 Mac OS Inuit 
 Инуиты 
 
 
 Mac OS Роман 
 западноевропейские языки 
 
 
 Mac OS Румынский 
 Румынский 
 
 
 Mac OS турецкий 
 Турецкий 
 
 
 DOS Cod Pages 
 Кодировки для MS-DOS и аналогичных операционных систем.
 
 
 
 Кодировка 
 Языки / страны 
 
 
 
 
 DOS Latin US (CP437) 
 Восточноевропейских языков с использованием латинского алфавита 
 
 
 DOS Греческий (CP737) 
 Греческий 
 
 
 DOS Baltic Rim (CP775) 
 эстонский, латышский, литовский 
 
 
 DOS Latin 1 (CP850) 
 западноевропейские языки 
 
 
 DOS Latin 2 (CP852) 
 Восточноевропейских языков с использованием латинского алфавита 
 
 
 DOS Кириллица (CP855) 
 Кириллица 
 
 
 CP 856 Еврейский 
 Еврейский 
 
 
 DOS Турецкий (CP857) 
 Турецкий 
 
 
 DOS Португальский (CP860) 
 Португальский 
 
 
 DOS Исландский (CP861) 
 Исландский 
 
 
 DOS Еврейский (CP862) 
 Еврейский 
 
 
 DOS Французская Канада (CP863) 
 Французский 
 
 
 DOS Арабский (CP864) 
 Арабский 
 
 
 DOS Nordic (CP865) 
 Скандинавский 
 
 
 DOS Кириллица Русский (CP866) 
 Русский 
 
 
 DOS Греческий 2 (CP869) 
 Греческий 
 
 
 Кодировки Windows 
 
 
 
 Кодировка 
 Языки / страны 
 
 
 
 
 Окна-1250 
 Языки Центральной и Восточной Европы 
 
 
 Окна-1251 
 русский, украинский белорусский, сербский, македонский, болгарский 
 
 
 Окна-1252 
 западноевропейские языки 
 
 
 Окна-1253 
 Новогреческий 
 
 
 Окна-1254 
 Турецкий 
 
 
 Окна-1255 
 Еврейский 
 
 
 Окна-1256 
 Арабский 
 
 
 Окна-1257 
 эстонский, латышский, литовский 
 
 
 Окна-1258 
 Вьетнамки 
 
 
 Окна 874 
 Тайский 
 
 
 Окна-932 
 Японский 
 
 
 Окна-936 
 Китайский упрощенный 
 
 
 Окна-949 
 Корейский 
 
 
 Окна-950 
 Китайский традиционный 
 
 
 KZ-1048 
 казах 
 
 
 прочие 
 
 
 
 Кодировка 
 Описание 
 
 
 
 
 Atari ST 
 Кодировка, используемая в домашних персональных компьютерах Atari 
 
 
 GSM 03.38 
 Кодировка использовалась в сетях GSM для SMS, CB (широковещательные короткие сообщения) и USSD 
 
 
 КПС 9566 
 Кодировка, разработанная в Северной Корее для поддержки корейских символов хангыль 
 
 
 ISO 8-битный урду (IBM CP1006) 
 Кодировка, используемая IBM в операционной системе AIX в Пакистане для языка урду 
 
 
 ISO-IR-68 
 Кодировка для представления символов на языке программирования APL 
 
 
 Правила преобразования кодировок в Unicode были получены из Unicode.org  сайт. 
 Изменение HTML-страницы на Unicode 
 Изменение HTML-страницы на Unicode
 Целевая аудитория:
новички в интернационализации, которые хотят изменить кодировку символов своих HTML-страниц. 
 Как изменить кодировку символов моей HTML-страницы на Unicode / UTF-8? 
 Итак, вы слышали, что использовать Unicode полезно
(UTF-8) для ваших страниц, а не устаревшая кодировка символов, такая как Latin1 (Windows 1252 или ISO 8859-1) или Shift_JIS, и вы слышали, что это делают другие, но вы не знаете, как это сделать. .Эта страница поможет. 
 Ниже мы обобщаем информацию, необходимую для преобразования простой страницы в кодировку символов Unicode. Перейдите по ссылкам на другие статьи на сайте, если вам нужно
подробная информация о любом шаге. 
 Более подробные советы по преобразованию сложных сайтов, программного обеспечения и данных в Unicode см. В статье «Переход на Unicode». 
 Шаг 1. Сохраните данные как UTF-8 
 Недостаточно просто изменить объявления внутри ваших страниц, чтобы сказать, что страница закодирована в UTF-8.Вы должны убедиться, что
ваши данные действительно закодированы,  т.е. сохранено , в UTF-8. 
 Если вы работаете с файлами, отредактированными вручную, вам следует использовать параметры вашего редактора, чтобы сохранить файл в UTF-8, а не в кодировке, которую вы
использовали. Если вы создаете файлы из сценариев и баз данных, вы должны убедиться, что данные преобразованы по мере необходимости и что правильный
параметры устанавливаются в вашей среде сценариев. 
 Обратите внимание, что вам может потребоваться убедиться, что данные не содержат подпись UTF-8,
также известна как метка порядка байтов (BOM).
 Шаг 2. Объявите кодировку на своей странице 
 Вы должны изменить объявление кодировки символов в
свою страницу (или добавьте ее, если вы ее еще не объявили). 
 В простейшем виде это выглядит следующим образом и должно стоять в начале элемента  head  в вашем HTML-коде. 
    
 Шаг 3. Убедитесь, что ваш сервер работает правильно 
 Хотя ваши данные находятся в UTF-8 и вы объявили их на странице, ваш сервер может по-прежнему обслуживать страницу с сопутствующим HTTP-заголовком, в котором говорится, что это что-то другое.
 Проверьте это, поместив URL-адрес своей страницы в эту форму. Вы попадете в Средство проверки интернационализации. Найдите в таблице строку с заголовком  HTTP Content-Type  в разделе  Кодировка символов  и убедитесь, что там указано  UTF-8  или  Информация о кодировке не найдена . 
 Если HTTP Content-Type показывает кодировку, отличную от UTF-8, вам необходимо предпринять шаги, чтобы исправить это, потому что объявление в заголовке HTTP переопределит информацию на странице 
 Права администратора сервера необходимы для изменения кодировки, отправляемой в заголовке HTTP, хотя вы можете сделать это самостоятельно, даже если
вы обслуживаете файлы через интернет-провайдера.Проконсультируйтесь с администратором вашего сервера. См. Объяснение одного
способ сделать это для сервера Apache. 
 Раздел 4.4. Кодирование всего сообщения 
 
 4.4. Кодирование всего сообщения 
 
 Следующий шаг по этому пути более сложен. Вместо того, чтобы кодировать URL-адрес, отправитель кодирует все содержимое сообщения таким образом, чтобы программа чтения электронной почты могла его отобразить, но это не поддается расшифровке для случайного пользователя, который хочет посмотреть на источник сообщения. 
 
 Вот пример попытки фишинга: 
 
 Уважаемый пользователь e-gold! Наша система прошла серьезную профилактику, проверьте работу вашего аккаунта e-gold.Сайт e-gold: http://www.e-gold.com Это автоматическое электронное письмо. НЕ отвечайте на это письмо. 
 Сообщение достаточно простое, но для проверки этого URL-адреса необходимо просмотреть источник сообщения. Вот он, некоторые заголовки удалены:
 Дата: Вт, 30 марта 2004 г. 20:15:29 -0500 Кому: [email protected] От: =? Windows-1251? B? QWNjb3VudFJvYm90X2Rvbm90cmVwbHlAZS1nb2 xkLmNvbQ ==?  Тема: =? Windows-1251? B? QXR0ZW50aW9uIGUtZ29sZCB1c2VyICE =? = MIME-Version: 1 Content-Transfer-Encoding.0: Base64 Content-Type: text / html; кодировка = "Windows-1251" PGh0bWw + CjxoZWFkPgo8dGl0bGU + VW50aXRsZWQgRG9jdW1lbnQ8L3RpdGxl Pgo8bWV0YSBodHRwLWVxdWl2PSJDb250ZW50LVR5cGUiIGNvbnRlbnQ9InRl eHQvaHRtbDsgY2hhcnNldD13aW5kb3dzLTEyNTEiPgo8L2hlYWQ + Cgo8Ym9k eSBiZ2NvbG9yPSIjRkZGRkZGIiB0ZXh0PSIjMDAwMDAwIj4KPHA + RGVhciBl LWdvbGQgdXNlciAhPC9wPgo8cD5PdXIgc3lzdGVtIGhhcyB1bmRlcmdvbmUg dG8gc2VyaW91cyBwcmV2ZW50aXZlIG1haW50ZW5hbmNlLCBwbGVhc2UsIGNo ZWNrIHVwIAogIGZ1bmN0aW9uaW5nIHlvdXIgZS1nb2xkIGFjY291bnQuPC9w Pgo8cD5UaGUgZS1nb2xkIHNpdGUgaXMgYXQ6IDwvcD4KPHA + PGEgaHJlZj0i aHR0cDovL3d3dy5lLWdvbGQuY29tAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEB AQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEB AQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEB AQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQFAcmV5bnNhbi5uZXRmaXJtcy5j b20iPmh0dHA6Ly93d3cuZS1nb2xkLmNvbTwvYT48L3A ​​+ CjxwPlRoaXMgaXMg YXV0b21hdGljIGVtYWlsLjxicj4KICBEbyBub3QgcmVwbHkgdG8gdGhpcyBl bWFpbC48L3A ​​+ CjwvYm9keT4KPC9odG1sPgo = 
 Это не похож на отображаемый текст.Эта строка заголовка сообщает нам, что происходит:
 Content-Transfer-Encoding: Base64 
  Base64  - это, пожалуй, наиболее широко используемый метод кодирования двоичных данных, таких как изображения, в набор символов ASCII, чтобы они могли быть передано по электронной почте. Хотя он предназначен для кодирования двоичных данных, он отлично работает с обычным текстом.
 Он использует подмножество 65 символов из алфавита US_ASCII, 64 символа, которые фактически кодируют данные, и =, который представляет конец блока Base64, как показано в Таблице 4-1.
 Кодирование 
0 9139 9398 9398 93
 340203 9378 937803 
 9378
 К03
 
03
 56 9392 9392 9392 39
 
 56 91 339
 X03 
 
030 8
00 9392 9392 9392 9392 9398 9392
 932
 93239
 93239
0
 9
 9329 входные данные должны быть представлены одним символом ASCII.Байт имеет 8 бит, поэтому для кодирования используются 3-байтовые блоки данных, то есть 24 бита, и кодируются как 4 символа ASCII. Как видите, это не схема сжатия. Обычно вы сначала сжимаете файл, а затем кодируете его двоичные данные с помощью Base64.
 Ручное декодирование вывода было бы чрезвычайно утомительно. Один из способов справиться с этим - скопировать закодированный текст и ничего больше в файл и передать его программе openssl Unix.
 % openssl enc -d -a -in your_file  
 Альтернативой является установка модуля Perl MIME :: Base64 в вашей системе, а затем использование этого однострочника Perl для его декодирования.
 % perl -MMIME :: Base64 -ne 'print decode_base64 ($ _)'  
 Приведенный ранее пример декодирует эту простую веб-страницу:
   
 Таблица 4-1. Набор символов Base64 
 Значение
 Кодирование
 Значение
 Значение
 Кодировка
 0
 A
 17
 R
 34
 1
 B
 18
 S
 35
 j
 52
 19
 T
 36
 k
 53
 1
 3
 D
 л
 54
 2
 4
 E
 21
 55
 3
 5
 F
 22
 W
 39
 
 56
 39
 6
 G
 23
 40
 o
 57
 5
 7
 H
 п.
 58
 6
 8
 I
 25
 59
 7
 9
 J
 26
 а
 43
 
 43
 
 9139
 10
 K
 27
 b
 44
 s
 61
 9
 11
 L
 45378
 т
 62
 +
 12
 М
 29
 д
 д
 63
/
 13
 N
 30
 e
 47
 O
 31
 f
 48
 w
 Прокладка
 =
 15
 P
 32
 
 32
 32
 16
 Q
 33
 h
 50
78 9329 бит