갑자기 유니코드

회사에서 밥을 먹는데 조엘 온 소프트웨어 얘기가 나와서 다 읽지 못한 이 책을 다시 한번 펼쳐 보았다

테스트에 대한 글을 읽어보고 있었는데 바로 다음장에 유니코드와 문자 집합에 대한 이야기가 나와서 처음 보는 것 마냥 흥미롭게 읽었다.

저자는 유니코드를 모른다면 맹세코 잠수함에서 6개월 동안 양파 껍질을 까는 벌칙을 준다고 해서 열심히 읽었다...

 

전송되는 인코딩 방식을 지정할 수 있는데 지금은 Unicode를 사용하고 있지만 이전에는 ASCII 와 같은 인코딩 방식을 사용했다.

하지만 ASCII는 7비트로 구성되어 있어서 0~127까지의 숫자를 이용해 영문 알파벳, 숫자, 특수 문자 등을 표현할 수 있었다.

(맨 왼쪽 1비트는 통신 장비에서 사용되는 제어 비트를 위해 예약된 공간이었고 실제로는 7비트만 사용되었다.) 

 

하지만 인터넷 특성상 알파벳이 아닌 다른 언어를 표현할 수 있어야 했다.

그래서 유니코드가 개발되었고 유니코드는 16비트 ~ 32비트 까지 다양한 크기를 사용하여 문자를 표현한다.

UTF-8, UTF-16, UTF-32 등이 있다. 특히 우리가 자주 사용하고 있는 UTF-8 경우에는 가변 길이 인코딩 방식으로 영어 알파벳은 1바이트, 다른 언어는 필요에 따라 2바이트 이상으로 표현한다. 나머지는 이름으로 예상 가능하다. UTF-16 은 2바이트로 고정하고 UTF-32는 4바이트로 고정된 기를 가진다.

 

가변 길이 인코딩 방식이 뭐지?
UTF-8은 ASCII를 그대로 사용해서 ASCII에 포함된 문자들은 1바이트로 인코딩 된다.
그 외 다른 문자는 여러 바이트로 인코딩 된다.
이렇게 가변적으로 크기가 변경되기 때문에 문자를 효율적으로 저장하고 전송할 수 있게 해 준다.