Falsch enkodierte Schrottzeichen zurück in normale Zeichen umwandeln (Applescript)

[TGY]

Hallo.

Ich habe automatisch eingelesene Texte/Lyrics, die immer mal wieder "Mojibake"-Zeichen enthalten - wohl als Resultat falscher Enkodierung.
Hier eine (nicht abschließende) Liste der schrottigen Zeichen:

property specialChars : {"Ä", "Ã…", "Ç", "É", "Ñ", "Ö", "Ãœ", "À", "Ã", "Õ", "Ÿ", "Â", "Ê", "Ã", "Ë", "È", "Ã", "ÃŽ", "Ã", "ÃŒ", "Ó", "Ô", "Ã’", "Ú", "Û", "Ù", "ä", "Ã¥", "ç", "é", "ñ", "ö", "ü", "à ", "ã", "õ", "ÿ", "â", "ê", "á", "ë", "è", "Ã", "î", "ï", "ì", "ó", "ô", "ò", "ú", "û", "ù"}

Nun versuche ich ein Applescript-Skript zu erstellen, dass diese Zeichen automatisch durch die richtigen Zeichen ersetzt.
Ich könnte natürlich jedem Schrottzeichen ein korrektes Zeichen zuzuweisen.
Doch ich würde zunächst gerne wissen, ob ich das mit (ggf. mehrfachem) Dekodieren erreichen kann.

Hier ein Beispiel für eine nicht funktionierende Dekodierung mit iconv:

set aa to quoted form of "Desinfektionslösungstücher für Flächen" --> Desinfektionslösungstücher für Flächen
set bb to do shell script "echo " & aa & " | iconv -f iso8859-9 -t utf8"

Hab einige Kodierungsvarianten (inkl. doppelter Dekodierung) mit iconv ausprobiert. Doch ich sehe den Wald vor lauter Bäumen nicht und habe bis jetzt nicht den korrekten String als Ergebnis erhalten.
Kennt sich jemand mit Kodierungen aus und kann mit einen Tip geben? Vielen Dank.

P.S. macOS 15.5

 

[mikne64]

Hallo,

ich bin kein Programmierer.
Aber ich würde statt 8859-9 eher den 8859-1 oder 8859-15 nach UTF8 versuchen.

Oder ggf. WIN1252/WIN1250 nach UTF8.

Viele Grüße

 

[lisanet]

... oder du versuchst erst mal die Kodierung des Textes raus zu finden.

Falls es eine Datei ist, dann mit

file DATEINAME

 

[TGY]

Ist keine Textdatei. Text = Lyrics embedded in Musikdatei.
iconv -l ergibt Liste mit unterstützten Kodierungen:

ARMSCII-7 AST166-7 AST_34.005
ARMSCII-8 AST166-8 AST_34.002 ARMSCII-8A AST166-A AST_34.002_A
ATARIST ATARI
BIG5-2003
BIG5-E BIG5E BIG-5 BIG-FIVE BIG5 BIG5-ETEN BIG5ETEN BIGFIVE CN-BIG5 CSBIG5
BIG5-HKSCS BIG5-HKSCS:2004 BIG5HKSCS
BIG5-IBM
BIG5-PLUS BIG-5+ BIG5+
C99
CP037 037 EBCDIC-CP-CA EBCDIC-CP-NL EBCDIC-CP-US EBCDIC-CP-WT IBM037
CP038 038 EBCDIC-INT IBM038
CP10000 10000 CP10000_MACROMAN
CP10006 10006 CP10006_MACGREEK
CP10007 10007 CP10007_MACCYRILLIC MS-MAC-CYRILLIC
CP10029 10029 CP10029_MACLATIN2
CP1006 1006 MSCP1006
CP10079 10079 CP10079_MACICELANDIC
CP10081 10081 CP10081_MACTURKISH
CP1026 1026 IBM1026
CP1046 1046 IBM1046
CP1124 1124 IBM1124
CP1125 1125 IBM1125
CP1129 1129 IBM1129
CP1131 1131 IBM1131
CP1133 1133 IBM-CP1133 IBM1133
CP1161 1161 CSIBM1161 IBM-1161 IBM1161
CP1162 1162 CSIBM1162 IBM-1162 IBM1162 MSCP874 WINDOWS-874
CP1163 1163 CSIBM1163 IBM-1163 IBM1163
CP1250 1250 MS-EE MSCP1250 WINDOWS-1250
CP1251 1251 MS-CYRL MSCP1251 WINDOWS-1251
CP1252 1252 MS-ANSI MSCP1252 WINDOWS-1252
CP1253 1253 MS-GREEK MSCP1253 WINDOWS-1253
CP1254 1254 MS-TURK MSCP1254 WINDOWS-1254
CP1255 1255 MS-HEBR MSCP1255 WINDOWS-1255
CP1256 1256 MS-ARAB MSCP1256 WINDOWS-1256
CP1257 1257 MSCP1257 WINBALTRIM WINDOWS-1257
CP1258 1258 MSCP1258 WINDOWS-1258
CP273 273 IBM273
CP274 274 EBCDIC-BE IBM274
CP275 275 EBCDIC-BR IBM275
CP277 277 EBCDIC-CP-DK EBCDIC-CP-NO IBM277
CP278 278 EBCDIC-CP-FI EBCDIC-CP-SE IBM278
CP280 280 EBCDIC-CP-IT IBM280
CP281 281 EBCDIC-JP-E IBM281
CP284 284 EBCDIC-CP-ES IBM284
CP285 285 EBCDIC-CP-GB IBM285
CP290 290 EBCDIC-JP-KANA IBM290
CP297 297 EBCDIC-CP-FR IBM297
CP420 420 EBCDIC-CP-AR1 IBM420
CP423 423 EBCDIC-CP-GR IBM423
CP424 424 EBCDIC-CP-HE IBM424
CP437 437 CSPC8CODEPAGE437 IBM437
CP500 500 EBCDIC-CP-BE EBCDIC-CP-CH IBM500
CP50220 50220 MSCP50220 WINDOWS-50220
CP50221 50221 MSCP50221 WINDOWS-50221
CP50222 50222 MSCP50222 WINDOWS-50222
CP51932 51932 MS51932 MSCP51932 WINDOWS-51932
CP737 737 MSCP737
CP775 775 CSPC775BALTIC IBM775 MSCP775
CP850 850 CSPC850MULTILINGUAL IBM850
CP851 851 IBM851
CP852 852 CSPC852 CSPCP852 IBM852
CP853 853 IBM853
CP855 855 CSIBM855 IBM855
CP856 856 MSCP856
CP857 857 CSIBM857 IBM857
CP858 858 IBM858
CP860 860 CSIBM860 IBM860
CP861 861 CP-IS CSIBM861 IBM861
CP862 862 CSPC862LATINHEBREW IBM862
CP863 863 CSIBM863 IBM863
CP864 864 CSIBM864 IBM864
CP865 865 CSIBM865 IBM865
CP866 866 CSIBM866 IBM866 MSCP866
CP868 868 CP-AR IBM868
CP869 869 CP-GR CSIBM869 IBM869
CP870 870 EBCDIC-CP-ROECE EBCDIC-CP-YU IBM870
CP871 871 EBCDIC-CP-IS IBM871
CP874 874 IBM874 WINDOWS-874
CP875 875 MSCP875
CP880 880 EBCDIC-CYRILLIC IBM880
CP891 891 IBM891
CP903 903 IBM903
CP904 904 IBM904
CP905 905 EBCDIC-CP-TR IBM905
CP918 918 EBCDIC-CP-AR2 IBM918
CP922 922 IBM922
CP932 932 CSWINDOWS31J MS932 MSCP932 SHIFT_JIS-MS SJIS-MS SJIS-OPEN SJIS-WIN WINDOWS-31J WINDOWS-932
CP936 936 MS936 MSCP936 WINDOWS-936
CP942 942 IBM942 942C CP942C IBM942C
CP943 943 IBM943 943C CP943C IBM943C
CP949 949 MSCP949 UHC
CP950 950 MSCP950
CTEXT
DECHANYU DEC-HANYU DEC_HANYU
DECKANJI DEC-KANJI DEC_KANJI
DECMCS DEC-MCS DEC_MCS
EBCDIC-AT-DE-A
EBCDIC-AT-DE
EBCDIC-CA-FR
EBCDIC-DK-NO-A
EBCDIC-DK-NO
EBCDIC-ES-A
EBCDIC-ES-S
EBCDIC-ES
EBCDIC-FI-SE-A
EBCDIC-FI-SE
EBCDIC-FR
EBCDIC-IT
EBCDIC-PT
EBCDIC-UK
EUC-CN CN-GB CSGB2312 CSGB3212 EUCCN GB2312
EUC-JIS-2004 EUC-JISX0213
EUC-JP-MS EUCJP-MS EUCJP-OPEN EUCJP-WIN EUCJPMS
EUC-JP CSEUCPKDFMTJAPANESE EUCJP IBM-EUCJP
EUC-KR CSEUCKR CSKSC56011987 EUCKR ISO-IR-149 KOREAN KSC_5601 KS_C_5601-1987 KS_C_5601-1989
EUC-TW CNS11643 CSEUCTW EUCTW
GB12345
GB18030
GBK
GEORGIAN-ACADEMY-OLDCAPITAL
GEORGIAN-ACADEMY GEO8-BPG GEORGIAN-ILIA GEORGIAN-RS
GEORGIAN-PS-OLDCAPITAL
GEORGIAN-PS GEO8-GOV GEO8STD GEORGIAN-STD
HP-ROMAN8 CSHPROMAN8 R8 ROMAN8
HZ HZ-GB-2312 HZ-GB2312 HZ8
ISO-2022-CN-EXT ISO2022-CNEXT
ISO-2022-CN CSISO2022CN ISO2022-CN
ISO-2022-JP-1 ISO2022-JP1
ISO-2022-JP-2 CSISO2022JP2 ISO2022-JP2 ISO-2022-JP-2004 ISO-2022-JP-3 ISO2022-JP2004 ISO2022-JP3
ISO-2022-JP CSISO2022JP ISO2022-JP
ISO-2022-KR CSISO2022KR ISO2022-KR
ISO-8859-1 CP819 CSISOLATIN1 IBM819 ISO-IR-100 ISO8859-1 ISO_8859-1 ISO_8859-1:1987 L1 LATIN1 CSISOLATIN6 ISO-8859-10 ISO-IR-157 ISO8859-10 ISO_8859-10 ISO_8859-10:1992 L6 LATIN6 ISO-8859-11 ISO-IR-166 ISO8859-11 ISO_8859-11 TIS-620 TIS.2533-1 TIS620 TIS620-0 TIS620.2529-1 TIS620.2533-0 TIS620.2533-1 ISO-8859-13 ISO-IR-179 ISO8859-13 ISO_8859-13 ISO_8859-13:1998 L7 LATIN7 ISO-8859-14 ISO-CELTIC ISO-IR-199 ISO8859-14 ISO_8859-14 ISO_8859-14:1998 L8 LATIN8 CP923 IBM923 ISO-8859-15 ISO-IR-203 ISO8859-15 ISO_8859-15 ISO_8859-15:1998 L9 LATIN-9 LATIN9 ISO-8859-16 ISO-IR-226 ISO8859-16 ISO_8859-16 ISO_8859-16:2001 L10 LATIN10
ISO-8859-2 CP912 CSISOLATIN2 IBM912 ISO-IR-101 ISO8859-2 ISO_8859-2 ISO_8859-2:1987 L2 LATIN2
ISO-8859-3 CP913 CSISOLATIN3 IBM913 ISO-IR-109 ISO8859-3 ISO_8859-3 ISO_8859-3:1988 L3 LATIN3
ISO-8859-4 CP914 CSISOLATIN4 IBM914 ISO-IR-110 ISO8859-4 ISO_8859-4 ISO_8859-4:1988 L4 LATIN4
ISO-8859-5 CP915 CSISOLATINCYRILLIC CYRILLIC IBM915 ISO-IR-144 ISO8859-5 ISO_8859-5 ISO_8859-5:1988
ISO-8859-6 ARABIC ASMO-708 CP1089 CSISOLATINARABIC ECMA-114 IBM1089 ISO-IR-127 ISO8859-6 ISO_8859-6 ISO_8859-6:1987
ISO-8859-7 CP813 CSISOLATINGREEK ECMA-118 ELOT_928 GREEK GREEK8 IBM813 ISO-IR-126 ISO8859-7 ISO_8859-7 ISO_8859-7:1987 ISO_8859-7:2003
ISO-8859-8 CP916 CSISOLATINHEBREW HEBREW IBM916 ISO-IR-138 ISO8859-8 ISO_8859-8 ISO_8859-8:1988
ISO-8859-9 CP920 CSISOLATIN5 IBM920 ISO-IR-148 ISO8859-9 ISO_8859-9 ISO_8859-9:1989 L5 LATIN5
ISO-IR-165 CN-GB-ISOIR165
ISO646-BASIC:1983 ISO_646.BASIC:1983 REF REF
ISO646-CA CA CSA7-1 CSA_Z243.4-1985-1 ISO-IR-121 CSA7-2 CSA_Z243.4-1985-2 ISO-IR-122 ISO646-CA2
ISO646-CN CN CSISO57GB1988 GB_1988-80 ISO-IR-57
ISO646-CU CUBA ISO-IR-151 NC_NC00-10:81
ISO646-DE DE DIN_66003 ISO-IR-21
ISO646-DK DK DS2089 DS_2089
ISO646-ES ES ISO-IR-17 ES2 ISO-IR-85 ISO646-ES2
ISO646-FR FR ISO-IR-69 NF_Z_62-010 ISO-IR-25 ISO646-FR1 NF_Z_62-010_(1973)
ISO646-GB BS_4730 ISO-IR-4
ISO646-HU HU ISO-IR-86 MSZ_7795.3
ISO646-IRV:1983 IRV ISO-IR-2
ISO646-IT ISO-IR-15 IT
ISO646-JP-OCR-B ISO-IR-92 JIS_C6229-1984-B JP-OCR-B
ISO646-JP CSISO14JISC6220RO ISO-IR-14 JIS_C6220-1969-RO JP
ISO646-KR KSC5636
ISO646-NO ISO-IR-60 NO NS_4551-1 ISO-IR-61 ISO646-NO2 NO2 NS_4551-2
ISO646-PT ISO-IR-16 PT ISO-IR-84 ISO646-PT2 PT2
ISO646-SE FI ISO-IR-10 ISO646-FI SE SEN_850200_B ISO-IR-11 ISO646-SE2 SE2 SEN_850200_C
ISO646-US 646 ANSI_X3.4-1968 ANSI_X3.4-1986 ASCII CP367 CSASCII IBM367 ISO-IR-6 ISO_646.IRV:1991 US US-ASCII
ISO646-YU ISO-IR-141 JS JUS_I.B1.002
JAVA
JISX0201-KANA CSHALFWIDTHKATAKANA JISX0201 JISX0201-1976 JIS_X0201 X0201
JISX0208:1990 CSISO87JISX0208 ISO-IR-87 JIS0208 JISX0208-1990 JIS_C6226-1983 JIS_X0208 JIS_X0208-1983 JIS_X0208-1990 JIS_X0208:1990 X0208
JOHAB CP1361
KOI7-SWITCHED
KOI7 ISO-5427 ISO-IR-37 ISO_5427 KOI-7
KOI8-C
KOI8-E ECMA-CYRILLIC ISO-IR-111
KOI8-R CSKOI8R KOI8-RU
KOI8-T
KOI8-U
KOI8 CP878 KOI-8
KZ1048 CSKZ1048 KZ-1048 RK1048 STRK1048-2022
MACARABIC
MACCELTIC
MACCENTEURO MACCENTRALEUROPE
MACCROATIAN
MACCYRILLIC MAC-CYRILLIC MACUKRAINE MACUKRAINIAN
MACDEVANAGA ISCII-DEV MACDEVANAGARI
MACDINGBATS
MACFARSI
MACGAELIC
MACGREEK
MACGUJARATI
MACGURMUKHI
MACHEBREW
MACICELAND
MACINUIT
MACKEYBOARD
MACROMAN CSMACINTOSH MAC MACINTOSH MACROMANIA MACROMANIAN
MACSYMBOL
MACTHAI
MACTURKISH
MULELAO-1
NEXTSTEP
PTCP154 CP154 CSPTCP154 CYRILLIC-ASIAN PARATYPE-154 PT-154 PT154
RISCOS-LATIN1
SHIFT_JIS-2004 SHIFT_JISX0213
SHIFT_JIS CSSHIFTJIS MS_KANJI SHIFT-JIS SJIS
TCVN5712-1 TCVN TCVN-5712 TCVN-5712-1:1993 TCVN5712-1:1993 VN-1
TDS565 ISO-IR-230
UTF-16-INTERNAL UCS-2-INTERNAL
UTF-16-SWAPPED UCS-2-SWAPPED
UTF-16 UNICODE UTF16 CSUNICODE CSUNICODE11 ISO-10646-UCS-2 UCS-2 UCS-2BE UNICODE-1-1 UNICODEBIG UTF-16BE UTF16BE UCS-2LE UNICODELITTLE UTF-16LE UTF16LE
UTF-32-INTERNAL UCS-4-INTERNAL
UTF-32-SWAPPED UCS-4-SWAPPED
UTF-32 CSUCS4 ISO-10646-UCS-4 UCS-4 UCS-4BE UTF-32BE UTF32BE UCS-4LE UTF-32LE UTF32LE
UTF-7 CSUNICODE11UTF7 UNICODE-1-1-UTF-7 UTF7
UTF-8-MAC
UTF-8 UTF8
VIQR
VISCII CSVISCII VISCII1.1-1 VSCII
ZW

Ich habe gehofft, wenn ich nur die richtige Kodierung(en) mit der korrekten Richtung (von was zu was) und ggf. wie oft (z.B. 2mal pipen), dann könnte es funktionieren.
Zur Info hier noch der Link zu einer Seite mit mehr Infos zum Thema, aus denen ich leider auch kein funktionierendes Apples/kcript basteln konnte.
Sollte es jemand schaffen, das Miniskript aus dem ersten Post erfolgreich zu modifizieren, also mit dem gewünschten Ergebnis/String als Resultat, bitte posten. Vielen Dank.

 

[TGY]

So funktioniert es:

property specialChars : {"Ã…", "Ñ", "À", "Ã", "Õ", "Ÿ", "Ã", "È", "Ã", "Ã", "Ã’", "Û", "Ù", "Ã¥", "ñ", "à ", "ã", "õ", "ÿ", "ê", "è", "Ã", "ï", "ì", "ò", "û", "ù", "Â", "ô", "Å¡", "¤", "ö", "Å¢", "¦", "÷", "Å£", "§", "ú", "Ť", "¨", "ü", "Å¥", "©", "ý", "Å®", "«", "Ä‚", "ů", "¬", "ă", "Å°", "Â-", "Ä„", "ű", "®", "Ä…", "Ź", "°", "Ć", "ź", "±", "ć", "Å»", "´", "ÄŒ", "ż", "µ", "Ä?", "Ž", "¶", "ÄŽ", "ž", "·", "Ä?", "ˇ", "¸", "Ä?", "˘", "»", "Ä‘", "Ë™", "Ã?", "Ę", "Ë›", "Â", "Ä™", "Ë?", "Ä", "Äš", "–", "Ç", "Ä›", "—", "É", "Ĺ", "‘", "Ë", "ĺ", "’", "Ã?", "Ľ", "‚", "ÃŽ", "ľ", "“", "Ó", "Å?", "â€?", "Ô", "Å‚", "„", "Ö", "Ń", "â€", "×", "Å„", "‡", "Ú", "Ň", "•", "Ãœ", "ň", "…", "Ã?", "Å?", "‰", "ß", "Å‘", "‹", "á", "Å”", "›", "â", "Å•", "€", "ä", "Ř", "â„¢", "ç", "Å™", "é", "Åš", "ë", "Å›", "Ã-", "Åž", "î", "ÅŸ", "ó", "Å"} -- 150

set theString to "Desinfektionslösungstücher für Flächen"
set newString to ""
try
    set newString to theString as «class UTF8»
on error
    set theCommand to "iconv -f UTF-8 -t CP1252"
    try
        set newString to do shell script "echo " & quoted form of theString & " | " & theCommand & " | " & theCommand
    end try
end try

Benötigt zweiten try block, weil es sonst bei bestimmten Steuerzeichen mit Fehler abbricht.
Hoffentlich kann ich so endlich die unlesbaren Sonderzeichen in den deutschen, frz., spanischen und portugiesischen Liedtexten mit Applescript und der Musik App automatisch umwandeln.