Fundamentos previos de la codificación de caracteres

Para entender la codificación de caracteres, es esencial conocer cómo los editores de texto y los intérpretes de Python manejan los archivos. Cuando se abre un editor, se inicia un proceso en memoria, por lo que el contenido se almacena temporalmente allí; al guardar, los datos se transfieren al disco duro para persistencia. Al escribir un archivo de Python, sin ejecutarlo, solo se manipulan caracteres, similar a cualquier otro archivo.

Cuando se ejecuta un script de Python, como python test.py, el intérprete sigue tres etapas: primero, se lanza el intérprete; segundo, actúa como un editor de texto para leer el archivo del disco a la memoria; tercero, interpreta y ejecuta el código cargado, creando espacios en memoria para datos como cadenas. La diferencia clave con un editor es que el intérprete analiza la sintaxis de Python durante la ejecución.

Introducción a la codificación de caracteres

Los computadores solo entienden números, específicamente valores binarios (0 y 1). Para manejar caracteres humanos, se necesita un mapeo estándar entre caracteres y números, conocido como codificación de caracteres. Esto es crucial en dos contextos: el contenido de archivos de texto y los tipos de datos de cadena en Python durante la ejecución.

Originalmente, el ASCII usaba un byte (8 bits) para representar caracteres, limitado a 256 símbolos. Con la expansión global, surgieron codificaciones como GB2312 para chino, Shift_JIS para japonés y Euc-kr para coreano, causando incompatibilidades y errores de visualización en documentos multilingües. Unicode emergió como un estándar universal, usando típicamenet dos bytes (16 bits) por carácter, con capacidad para más de un millón de símbolos y compatibilidad con ASCII.

Sin embargo, Unicode puede ser ineficiente en almacenamiento para textos en inglés, ya que duplica el espacio comparado con ASCII. Esto llevó al desarrollo de UTF-8, una codificación de longitud variable que representa caracteres comunes como inglés en un byte y caracteres chinos en tres bytes, optimizando el uso del espacio mientras mantiene la compatibilidad con Unicode.

La evolución de la codificación se resume en tres fases: inicialmente ASCII para inglés; luego codificaciones nacionales como GBK para otros idiomas; finalmente Unicode y UTF-8 para unificar y eficientar el manejo global. En la memoria, se usa Unicode para garantizar compatibilidad, mientras en disco o redes se emplea UTF-8 para reducir el volumen de datos.

Aplicación en editores de texto

Manejo en editores como Notepad++

Los errores de codificación pueden ocurrir al guardar o leer archivos. Por ejemplo, si se guarda un archivo con caracteres mixtos usando Shift_JIS, algunos caracteres no representables se almacenan incorrectamente, causando errores al abrir con esa codificación. Una simulación en Python podría ser:

archivo = open('ejemplo.txt', 'wb')
archivo.write('こんにちは'.encode('shift_jis'))
archivo.write('你好'.encode('gbk'))
archivo.write('Hello'.encode('utf-8'))
archivo.close()
# Al abrir con diferentes codificaciones, algunos caracteres se muestran mal.

Al leer, si se usa una codificación incorrecta, como GBK para un archivo UTF-8, se producen errores de visualización, pero se pueden corrigir seleccionando la codificación adecuada.

Uso en editores como PyCharm

PyCharm ofrece opciones para recargar (reload) o convertir (convert) archivos. Recargar permite ver el contenido con una codificación específica, mientras convertir transforma activamente el archivo. Para explorar la esencia de la codificación, se recomienda usar reload.

Comoprtamiento del intérprete de Python

Si un archivo de Python, como test.py, se guarda en GBK con contenido x='林', se produce un error al ejecutar con Python 2 o 3, ya que sus codificaciones predeterminadas (ASCII y UTF-8, respectivamente) no coinciden. Esto se soluciona agregando un encabezado como #coding:gbk al inicio del archivo.

Resumen de principios clave

Para evitar errores de codificación, es esencial que los caracteres se codifiquen y decodifiquen usando el mismo estándar. En la memoria, todos los caracteres se tratan como Unicode, lo que permite convertirlos a cualquier codificación al guardar. Por ejemplo, en Python:

# Codificación de Unicode a UTF-8
cadena_unicode = "ejemplo"
cadena_utf8 = cadena_unicode.encode('utf-8')

# Decodificación de UTF-8 a Unicode
cadena_decodificada = cadena_utf8.decode('utf-8')

En aplicaciones web, los servidores suelen enviar contenido en UTF-8 para eficiencia.

Aplicación en Python

Etapas de ejecución de un programa Python

Al ejecutar python test.py, el intérprete primero se inicia, luego lee el archivo a la memoria según la codificación especificada en el encabezado (o la predeterminada: ASCII para Python 2, UTF-8 para Python 3), y finalmente ejecuta el código. Durante la ejecución, se asignan espacios en memoria para datos como cadenas, con codificaciones dependientes de la versión de Python.

Diferencias entre tipos de cadena en Python 2 y Python 3

En Python 2, existen dos tipos: str (bytes con codificación del archivo) y unicode. Por ejemplo, con un encabezado #coding:gbk:

# En Python 2
x = '上'  # Almacenado como bytes en GBK
print([x])  # Puede mostrar '\xc9\xcf' en representación hexadecimal
y = u'下'  # Almacenado como Unicode
print([y])  # Muestra '\u4e0b'

Al imprimir, Python 2 convierte la representación interna usando la codificación del terminal, lo que puede causar errores si no coincide.

En Python 3, str es siempre Unicode, y bytes representa datos codificados:

# En Python 3
cadena = '上'  # Unicode por defecto
print(type(cadena))  # <class 'str'>
datos_bytes = cadena.encode('gbk')
print(datos_bytes)  # b'\xc9\xcf'
print(type(datos_bytes))  # <class 'bytes'>

Esto refleja que str en Python 3 equivale a unicode en Python 2, y bytes en Python 3 es similar a str en Python 2.