Co to jest Unicode i jak wstawiać znaki specjalne? Przewodnik po tablicy znaków

Unicode to międzynarodowy standard kodowania tekstu, który przypisuje unikalny numer każdemu znakowi z niemal wszystkich języków świata, umożliwiając ich poprawne wyświetlanie na różnych urządzeniach. Aby wstawić znak specjalny w systemie operacyjnym, najszybciej jest użyć wbudowanego narzędzia o nazwie Tablica znaków lub zastosować odpowiedni skrót klawiszowy połączony z klawiszem Alt.

Kiedyś systemy komputerowe były głuche i ślepe na języki inne niż angielski. Przez dekady programiści walczyli z problemem przesyłania tekstów między różnymi krajami. Wdrażaliśmy ten standard na początku lat dwutysięcznych. To była droga przez mękę. Dzisiaj mechanizmy systemowe robią to za nas w tle, a przeciętny użytkownik widzi po prostu uśmiechniętą buźkę na ekranie smartfona. Prawda jest zresztą absolutnie taka, że kodowanie to brudna robota. Wymaga precyzji na poziomie pojedynczych bitów.

Dlaczego system ASCII przestał nam wystarczać i skąd wziął się Unicode?

Wczesne komputery korzystały z tablicy ASCII. Miała ona zaledwie 128 miejsc na znaki. Zmieścił się tam alfabet łaciński bez ogonków, cyfry i podstawowe znaki interpunkcyjne. Dla Amerykanów to wystarczało. Reszta świata miała problem. Zaczęto tworzyć lokalne strony kodowe, co doprowadziło do całkowitego chaosu komunikacyjnego.

Wysyłałeś maila z Polski do Niemiec. Zamiast litery „ś” odbiorca widział dziwny symbol z cyrylicy. Zamiast „ą” pojawiał się znak zapytania. Twórcy oprogramowania musieli implementować dziesiątki różnych standardów kodowania w jednym programie. To było nie do utrzymania. Konsorcjum Unicode postanowiło przypisać jeden, niezmienny punkt kodowy (Code Point) do każdego znaku na świecie. Od chińskich ideogramów po egipskie hieroglify. Zmieniliśmy te zasady na robocie całkowicie. Koniec z zgadywaniem, jakiej strony kodowej użył nadawca.

Standard Unicode ma jednak swoje ograniczenia fizyczne w pamięci maszyn. Rozwiązano to przez formaty transformacji, z których najpopularniejszym jest UTF-8. Używa on zmiennej długości bajtów. Litera „a” zajmuje jeden bajt. Polskie „ż” zajmuje dwa bajty. Z kolei skomplikowane emoji wymaga aż czterech bajtów. To genialne w swojej prostocie. Oszczędza miejsce na dysku dla tekstów opartych na alfabecie łacińskim, a jednocześnie daje dostęp do całej globalnej biblioteki glifów.

Gdzie znajduje się tablica znaków w systemie Windows i jak z niej korzystać?

System Windows ma to narzędzie wbudowane od czasów wersji 95. Niewielu użytkowników wie, jak szybko się do niego dostać. Nie musisz szukać po forach internetowych kodów do skopiowania. Masz wszystko pod ręką na dysku C.

Dobrym pomysłem jest wywołanie jej z poziomu wyszukiwarki systemowej. Wciskasz klawisz Windows, wpisujesz „Tablica znaków” i naciskasz Enter. Pojawia się proste, siermiężne okienko. Interfejs pamięta jeszcze czasy Windowsa XP. Działa od razu.

• Wybierasz interesującą cię czcionkę z rozwijanej listy na samej górze okna. Pamiętaj, że nie każdy font zawiera wszystkie znaki Unicode. Jeśli wybierzesz ozdobny krój, wiele komórek będzie pustych lub zastąpionych kwadratami. Klikasz na dany glif dwukrotnie, a on ląduje w polu tekstowym na dole. Klikasz „Kopiuj” i wklejasz w swoim dokumencie.
• Zaznacz opcję „Widok zaawansowany”.
• Wpisz angielską nazwę znaku w pole wyszukiwania na dole okna (np. „copyright” lub „euro”).
• Naciśnij Enter.

Zastanawiacie się zresztą, dlaczego to narzędzie od lat wygląda tak samo? Microsoft rzadko dotyka kodu, który po prostu robi swoją robotę bez awarii na produkcji. Alternatywą w nowszych wersjach Windows 10 i 11 jest wciśnięcie kombinacji klawiszy Windows + Kropka (.). Wywołuje to nowoczesny panel wprowadzania emoji, kaomoji oraz symboli matematycznych i walutowych. To o wiele szybsza metoda dla typowych zadań biurowych.

Jak wstawiać znaki specjalne na klawiaturze Maca?

Ekosystem Apple podchodzi do tematu typografii z nieco innej strony. Na systemach macOS tablica znaków nazywa się Podglądem znaków. Wywołuje się ją skrótem Control + Command + Spacja. Pojawia się małe okienko, które przypomina nakładkę z iOS. Możesz je rozszerzyć do pełnego widoku, klikając małą ikonę w prawym górnym rogu.

W pełnym widoku masz po lewej stronie kategorie: strzałki, nawiasy, piktogramy, znaki walut. Wyszukiwarka działa tam wyśmienicie i rozpoznaje polskie słowa. Wpisujesz „promil” i system podsuwa ci znak ‰. Klikasz go dwukrotnie, a on ląduje w miejscu, gdzie aktualnie miga twój kursor tekstowy w edytorze. Żadnego kopiowania do schowka. To skraca czas edycji dokumentów tekstowych.

Czym są kody Alt i dlaczego programiści wciąż z nich korzystają?

Kody Alt to relikt przeszłości, który wciąż trzyma się mocno w korporacyjnych biurach. Zanim pojawiły się graficzne tablice znaków, ludzie musieli zapamiętywać ciągi cyfr. Działa to wyłącznie na klawiaturach numerycznych (Numpad). Wciskasz lewy Alt, trzymasz go, wbijasz odpowiedni kod na klawiaturze bocznej i puszczasz Alt. Znak pojawia się na ekranie.

Zrobiliśmy na wdrożeniu w zeszłym roku audyt starszych pracowników w dziale księgowości. Wszyscy znali te kody na pamięć. Wklepywali je szybciej niż my szukaliśmy ich w Google. Systemy ERP w starych firmach często nie przyjmują wklejania ze schowka, więc kody Alt ratują sytuację na co dzień.

Warto wiedzieć, że kody zaczynające się od zera (np. 0169) odnoszą się do strony kodowej Windows. Te bez zera (np. Alt + 1) odwołują się do starej sprzętowej strony kodowej OEM z czasów MS-DOS. To zaszłość historyczna. Brak zera z przodu daje zupełnie inne wyniki. Uderzając Alt i cyfrę 1 dostaniesz uśmiechniętą buźkę (☺), a nie żaden znak biznesowy.

Jak programiści radzą sobie z polskimi znakami w kodzie HTML i bazach danych?

Frontendowcy często hardkodują encje w templatkach HTML. Zamiast wpisywać z klawiatury znak „&”, wpisują w kodzie `&`. Zamiast nierozdzielającej spacji wpisują ` `. Przeglądarka internetowa sama tłumaczy ten kod na odpowiedni znak z tablicy Unicode podczas renderowania strony dla użytkownika. To zapobiega problemom w sytuacji, gdy serwer nagle zmieni nagłówki kodowania z UTF-8 na jakieś ISO.

Migrowaliśmy bazę pacjentów w małej przychodni na Szombierkach w Bytomiu w 2017 roku. System z 1998 roku. Wszystkie nazwiska z literą „ś” i „ć” zamieniły się w znaki zapytania w rombach. Spędziliśmy nad tym dwa dni, ręcznie mapując tabele w MySQL. Baza miała ustawione kodowanie `latin1_swedish_ci` zamiast `utf8mb4_unicode_ci`. Zresztą w tamtych czasach oprogramowanie z otwartym kodem źródłowym miało dziwne domyślne ustawienia zapożyczone od twórców ze Skandynawii. Zmieniliśmy to na sztywno poleceniami w terminalu. Od tamtej pory narzucamy UTF-8 w każdej konfiguracji serwera tuż po instalacji systemu Linux.

Obecnie standardem branżowym jest `utf8mb4`. Wersja bez tej końcówki, czyli zwykłe `utf8` w bazach MySQL, to oszustwo. Zapisuje tylko znaki na trzech bajtach. Gdy ktoś spróbuje zapisać w takiej bazie emoji z telefonu, aplikacja wygeneruje błąd i odrzuci formularz. To bez mała najgorsza opcja z wszystkich dostępnych w starych systemach zarządzania treścią.

Skąd biorą się emoji na naszych telefonach i jak są aktualizowane?

Emoji to po prostu znaki Unicode. Nie są to obrazki wysyłane jako załączniki. Kiedy wysyłasz do kogoś emotikonę płaczącego ze śmiechu, wysyłasz mu w rzeczywistości kod U+1F602. Urządzenie odbiorcy sprawdza ten kod i rysuje grafikę na podstawie wbudowanego w system fontu. Dlatego to samo emoji wygląda inaczej na iPhonie, inaczej na telefonie z Androidem, a jeszcze inaczej w przeglądarce na Windowsie.

Konsorcjum Unicode co roku wydaje nową specyfikację. Zgłaszane są propozycje nowych piktogramów. Proces akceptacji jest długi i biurokratyczny. Wymaga udowodnienia, że dany symbol będzie powszechnie używany na świecie. Po zatwierdzeniu producenci oprogramowania tacy jak Google i Apple mają kilka miesięcy na narysowanie swoich wersji tych znaków i wypuszczenie aktualizacji systemów operacyjnych.

Czasami programiści stosują modyfikatory. Zastanawiacie się zresztą, jak powstaje emoji rodziny z dwójką dzieci? Nie ma osobnego kodu na każdą konfigurację rodziny. System używa znaku łącznika zerowej szerokości (Zero Width Joiner – ZWJ). Łączy on kod mężczyzny, ZWJ, kod kobiety, ZWJ, kod dziecka. System czyta ten ciąg znaków i zamiast wyświetlać trzy osobne ikony, skleja je wizualnie w jedną grafikę. To redukuje zapotrzebowanie na nowe miejsca w tablicy Unicode.

Co zrobić, gdy zamiast tekstu wyświetlają się dziwne krzaczki?

Zjawisko to nazywa się z japońskiego „Mojibake”. Powstaje zawsze na styku dwóch różnych form kodowania. Plik tekstowy został zapisany na dysku jako Windows-1250, ale program odczytujący go zakłada w ciemno, że to UTF-8. Maszyna próbuje przetłumaczyć bity, ale trafia w złe miejsca w tablicy. Wynikiem są losowe znaki z innych alfabetów.

Rozwiązanie jest jednoznaczne. Musisz wymusić w swoim edytorze tekstu ponowne odczytanie pliku z jawnym wskazaniem kodowania. W programie Notepad++ wchodzisz w zakładkę „Format” i wybierasz kodowanie używane w twoim regionie. Tekst natychmiast wraca do normy. Następnie używasz opcji „Konwertuj na format UTF-8” i zapisujesz plik ponownie. Problem znika na stałe. Chociaż prawdę mówiąc brakuje nam twardych danych za wczoraj u użytkowników w sieci, więc wydaje się to tylko jedną z możliwych hipotez na najbliższy kwartał, dlaczego niektóre starsze serwery pocztowe wciąż psują polskie znaki w tytułach maili.

Szczególnie niebezpieczny w programowaniu jest znacznik BOM (Byte Order Mark). To niewidoczny znak dodawany na samym początku pliku tekstowego przez program Notatnik w systemie Windows. Informuje on czytnik, w jakiej kolejności ułożone są bajty. W środowisku PHP ten niewidoczny znak powoduje przedwczesne wysłanie nagłówków HTTP do przeglądarki. Wynik? Biały ekran i błąd serwera. Wycinamy BOM z plików deweloperskich z całkowitą bezwzględnością.

Jakie nietypowe glify kryją się w głębi standardu Unicode?

Wśród ponad 140 tysięcy znaków znajdują się rzeczy absolutnie niszowe. Mamy tam znaki z martwych języków, symbole alchemiczne, notację muzyczną i elementy sterujące renderowaniem tekstu. Ten obszar jest polem minowym dla twórców oprogramowania zabezpieczającego.

Najciekawszy jest znak RLO (Right-to-Left Override, U+202E). Wymusza on na systemie odwrócenie kierunku czytania tekstu z prawego na lewy. Jest to niezbędne dla języka arabskiego czy hebrajskiego. Jednak hakerzy używają go do maskowania złośliwych plików. Plik nazywa się pozornie `faktura_txt.exe`. Przestępca wstawia znak RLO tuż przed `txt`. System odwraca końcówkę. Użytkownik widzi na pulpicie plik o nazwie `faktura_exe.txt`. Klika dwukrotnie, myśląc, że to notatnik. W tle odpala się wirus.

Zresztą w 2018 roku sypały się komunikatory w telefonach przez jeden znak z języka telugu. To znany błąd renderowania w bibliotekach CoreText u Apple. Odbierałeś wiadomość z jednym hinduskim znaczkiem, aplikacja próbowała go narysować, brakowało jej instrukcji w pamięci i proces systemowy ulegał twardemu zawieszeniu. Pamiętam jak znajomi wysyłali to sobie dla żartu, blokując na kilka godzin dostęp do wiadomości SMS. Programiści musieli łatać jądro systemu, żeby ignorowało ten konkretny punkt kodowy w tablicy. Ja osobiście zablokowałem powiadomienia na ekranie blokady.

Kolejnym potworem jest tak zwany tekst Zalgo. Wykorzystuje on znaki diakrytyczne z grupy „Combining Characters”. Unicode pozwala na nałożenie znaku akcentu na literę bazową. Możesz nałożyć kropkę nad „a”. Ale standard nie limituje, ile tych kropek możesz nałożyć. Generator Zalgo dokleja setki modyfikatorów nad i pod pojedynczą literą. Tekst zaczyna wylewać się poza swoje ramy w interfejsie strony, nachodząc na inne posty i psując układ graficzny portalu. Fora internetowe tną to na poziomie walidacji bazy danych.

Sprawdź kodowanie swojego środowiska roboczego już teraz. Wejdź w konsolę bazy danych albo otwórz ustawienia swojego edytora kodu i zobacz, czy masz wymuszone UTF-8 bez BOM. Jeśli nie, to prosisz się o awarię przy najbliższej aktualizacji serwera. Ustaw to twardo i zapomnij o problemach z polskimi znakami.

Najczęściej Zadawane Pytania (FAQ)

• Co to jest Unicode?
  Unicode to uniwersalny standard kodowania znaków, który przypisuje unikalny numer każdemu znakowi ze wszystkich języków świata. Pozwala na bezbłędną wymianę tekstów między różnymi systemami i krajami.
• Jak włączyć Tablicę znaków w Windows?
  Naciśnij klawisz Windows, wpisz „Tablica znaków” i wciśnij Enter. Możesz również użyć skrótu Windows + Kropka (.), aby otworzyć szybszy panel wprowadzania emoji i symboli.
• Jak wstawić znak specjalny na Macu?
  W systemie macOS użyj skrótu klawiszowego Control + Command + Spacja, aby otworzyć Podgląd znaków. Wyszukaj potrzebny symbol i kliknij go dwukrotnie.
• Dlaczego w tekście pojawiają się krzaczki zamiast polskich liter?
  Zjawisko to nazywa się Mojibake. Wynika z błędu odczytu pliku, gdy edytor lub przeglądarka używa innej strony kodowej (np. Windows-1250) niż ta, w której plik został pierwotnie zapisany (np. UTF-8).
• Jak stosować kody Alt na klawiaturze?
  Przytrzymaj lewy klawisz Alt, a następnie wpisz odpowiednią sekwencję cyfr na klawiaturze numerycznej po prawej stronie. Po puszczeniu klawisza Alt znak pojawi się na ekranie.
• Czym różni się UTF-8 od ASCII?
  ASCII to stary standard obsługujący tylko 128 znaków (głównie alfabet angielski). UTF-8 to nowoczesny format kodowania Unicode, który używa zmiennej liczby bajtów i obsługuje wszystkie znaki świata, w tym emoji.

Bibliografia

1. Konsorcjum Unicode – https://home.unicode.org
2. World Wide Web Consortium (W3C) – https://www.w3.org
3. Microsoft Learn – https://learn.microsoft.com
4. Mozilla Developer Network – https://developer.mozilla.org
5. Wikipedia Polska – https://pl.wikipedia.org