feat(utf8): KOI8-R→UTF-8 migration groundwork (#3681)

.github/workflows/_linux.yml

@@ -90,6 +90,39 @@ jobs:
       - name: Run tests
         run: meson test -C build
 
+  utf8-flip:
+    name: GCC / UTF-8 flip rehearsal
+    runs-on: ubuntu-latest
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Install base dependencies
+        uses: ./.github/actions/install-linux-deps
+        with:
+          add-universe: 'true'
+
+      # Репетиция флипа кодировки (issue #3681). Исходники и рантайм переключаются ВМЕСТЕ:
+      # блобы в git и так лежат в UTF-8, поэтому снятие working-tree-encoding + повторный
+      # checkout даёт UTF-8-исходники, а -Dinternal_encoding=utf8 переводит на символьную
+      # семантику рантайм. Задача держит UTF-8-ветку компилируемой и протестированной до
+      # самого флипа -- иначе она не собирается вообще ничем.
+      - name: Check out sources as UTF-8
+        run: |
+          sed -i -E 's|^(/(src\|tests)/\*\* +)working-tree-encoding=KOI8-R |\1|' .gitattributes
+          rm -rf src tests
+          git checkout -- src tests
+          file src/utils/utils.cpp | grep -q UTF-8 || { echo "sources did not become UTF-8"; exit 1; }
+
+      - name: Configure meson
+        run: meson setup build --wipe -Dbuild_profile=release -Dinternal_encoding=utf8 -Dunity_size=45
+
+      - name: Build
+        run: meson compile -C build tests
+
+      - name: Run tests
+        run: meson test -C build
+
   gcc15:
     name: GCC 15 / Base
     runs-on: ubuntu-latest

CONTRIBUTING.md

@@ -7,7 +7,7 @@
 При написании кода вы должны следовать правилу "одна команда - одна строка".
 Желательно это же правило распространять и на объявления переменных.
 
-Былины используют стандарт C++17.
+Былины используют стандарт C++20 (задан в meson.build: cpp_std=c++20).
 
 Тела конструкций if, if ... else for, while, do ... while всегда должны быть
 заключены в символы '{', '}'.

VERSION.txt

@@ -1 +1 @@
-0.1.31
+0.1.32

meson.build

@@ -120,6 +120,11 @@ if host_system == 'windows'
     endif
 endif
 
+# Native runtime string encoding (issue #3681). Default koi8r keeps byte semantics unchanged.
+if get_option('internal_encoding') == 'utf8'
+    project_args += '-DINTERNAL_ENCODING_UTF8'
+endif
+
 linker_choice = get_option('linker')
 if linker_choice != ''
     add_project_link_arguments('-fuse-ld=' + linker_choice, language: 'cpp')
@@ -640,6 +645,8 @@ main_sources = files(
   'src/gameplay/mechanics/title.cpp',
   'src/gameplay/statistics/top.cpp',
   'src/utils/utils.cpp',
+  'src/utils/utf8.cpp',
+  'src/utils/native_text.cpp',
   'src/utils/utils_encoding.cpp',
   'src/gameplay/mechanics/weather.cpp',
   'src/engine/olc/zedit.cpp',

meson_options.txt

@@ -10,6 +10,10 @@ option('lua_formatter', type: 'boolean', value: true, description: 'Build the em
 option('with_asan', type: 'boolean', value: false, description: 'Build with Address Sanitizer')
 option('use_pch', type: 'boolean', value: true, description: 'Use precompiled headers for circle.library')
 
+# KOI8-R -> UTF-8 migration (issue #3681). Selects the engine's native runtime string encoding.
+# koi8r = current byte semantics (default); utf8 = character semantics via the utf8:: helpers.
+option('internal_encoding', type: 'combo', choices: ['koi8r', 'utf8'], value: 'koi8r', description: 'Engine-native runtime string encoding: koi8r (byte semantics, current) or utf8 (character semantics)')
+
 # Options for Admin API and Web features
 option('admin_api', type: 'boolean', value: false, description: 'Enable Admin API and JSON-related features')
 

src/administration/accounts.cpp

@@ -3,6 +3,7 @@
 * 2018 (c) bodrich
 */
 #include "accounts.h"
+#include "utils/native_text.h"
 #include "password.h"
 #include "engine/entities/zone.h"
 #include <sstream>
@@ -85,7 +86,7 @@ void Account::show_players(CharData *ch) {
 	ss << "Данные аккаунта: " << this->email << "\r\n";
 	for (auto &x : this->players_list) {
 		std::string name = GetNameByUnique(x);
-		name[0] = UPPER(name[0]);
+		native_text::capitalize_first(name);
 		ss << count << ") " << name << "\r\n";
 		count++;
 	}
@@ -101,7 +102,7 @@ void Account::list_players(DescriptorData *d) {
 	for (auto &x : this->players_list) {
 		std::string name = GetNameByUnique(x);
 		iosystem::write_to_output((std::to_string(count) + ") ").c_str(), d);
-		name[0] = UPPER(name[0]);
+		native_text::capitalize_first(name);
 		iosystem::write_to_output(name.c_str(), d);
 		iosystem::write_to_output("\r\n", d);
 		count++;

src/engine/boot/boot_data_files.cpp

@@ -1,4 +1,5 @@
 #include "boot_data_files.h"
+#include "utils/native_text.h"
 
 #include "engine/db/obj_prototypes.h"
 #include "engine/scripting/dg_olc.h"
@@ -397,7 +398,7 @@ void WorldFile::parse_room(int virtual_nr) {
 	world[room_realnum]->zone_rn = zone;
 	world[room_realnum]->vnum = virtual_nr;
 	std::string tmpstr = fread_string();
-	tmpstr[0] = UPPER(tmpstr[0]);
+	native_text::capitalize_first(tmpstr);
 	world[room_realnum]->set_name(tmpstr);
 //	if (zone_table[zone].RnumRoomsLocation.first == -1) {
 //		zone_table[zone].RnumRoomsLocation.first = room_realnum;

src/engine/core/iosystem.cpp

@@ -7,6 +7,8 @@
 */
 
 #include "engine/core/iosystem.h"
+#include <cstring>
+#include <string_view>
 #include "gameplay/core/experience.h"
 #include "administration/privilege.h"
 #include "utils/utils_encoding.h"
@@ -426,8 +428,16 @@ int process_input(DescriptorData *t) {
 			// Увы, это кое-что ломает, напр. wizhelp, или "г я использую zMUD"
 			if  (t->state == EConState::kPlaying ||  (t->state == EConState::kExdesc)) {
 				if (t->keytable == kCodePageWinzZ || t->keytable == kCodePageWinzOld) {
-					if (*(write_point - 1) == 'z') {
-						*(write_point - 1) = 'я';
+					// Буква задана СТРОКОВЫМ литералом: он байт-прозрачен, поэтому один и тот
+					// же код верен и для KOI8-R (1 байт), и для UTF-8 (2 байта) -- в отличие от
+					// символьного литерала, который под UTF-8 не помещается в char (issue #3681).
+					static const std::string_view kYaLetter = "я";
+					if (*(write_point - 1) == 'z' && space_left + 1 >= kYaLetter.size()) {
+						--write_point;
+						++space_left;
+						std::memcpy(write_point, kYaLetter.data(), kYaLetter.size());
+						write_point += kYaLetter.size();
+						space_left -= kYaLetter.size();
 					}
 				}
 			}

src/engine/db/db.cpp

@@ -1,4 +1,5 @@
 #include <filesystem>
+#include "utils/native_text.h"
 #include "gameplay/affects/affect_messages.h"
 #include "gameplay/abilities/feats.h"   // issue.perk-action-patching: BuildTalentPatchIndex
 #include "utils/utils_encoding.h"
@@ -3595,7 +3596,7 @@ Rooms::~Rooms() {
 
 int get_filename(const char *orig_name, char *filename, int mode) {
 	const char *prefix, *middle, *suffix;
-	char name[64], *ptr;
+	char name[64];
 
 	if (orig_name == nullptr || *orig_name == '\0' || filename == nullptr) {
 		log("SYSERR: NULL pointer or empty string passed to get_filename(), %p or %p.", orig_name, filename);
@@ -3630,13 +3631,9 @@ int get_filename(const char *orig_name, char *filename, int mode) {
 		default: return (0);
 	}
 
-	strcpy(name, orig_name);
-	for (ptr = name; *ptr; ptr++) {
-		if (*ptr == 'Ё' || *ptr == 'ё')
-			*ptr = '9';
-		else
-			*ptr = LOWER(codepages::AtoL(*ptr));
-	}
+	// Транслитерация вынесена в native_text: имя файла игрока обязано совпадать до и после
+	// смены кодировки, иначе сохранёнки перестанут находиться (issue #3681).
+	strcpy(name, native_text::translit_to_filename(orig_name).c_str());
 
 	switch (LOWER(*name)) {
 		case 'a':

src/engine/db/obj_save.cpp

@@ -10,6 +10,7 @@
 // * AutoEQ by Burkhard Knopf <burkhard.knopf@informatik.tu-clausthal.de>
 
 #include "engine/core/char_handler.h"
+#include "utils/native_text.h"
 #include "gameplay/mechanics/equipment.h"
 #include "obj_save.h"
 #include "gameplay/mechanics/groups.h"
@@ -1628,7 +1629,7 @@ int Crash_load(CharData *ch) {
 		}
 
 		std::string cap = obj->get_PName(grammar::ECase::kNom);
-		cap[0] = UPPER(cap[0]);
+		native_text::capitalize_first(cap);
 
 		// Предмет разваливается от старости
 		if (obj->get_timer() <= 0) {

src/engine/db/sqlite_world_data_source.cpp

@@ -4,6 +4,7 @@
 #ifdef HAVE_SQLITE
 
 #include "sqlite_world_data_source.h"
+#include "utils/native_text.h"
 #include "utils/utils_encoding.h"
 #include "db.h"
 #include "obj_prototypes.h"
@@ -1256,7 +1257,7 @@ std::vector<LoadedRoom> SqliteWorldDataSource::LoadRooms(const std::vector<int>
 		auto room = new RoomData;
 		room->vnum = vnum;
 		// Apply UPPER to first character (same as Legacy loader)
-		if (!name.empty()) { name[0] = UPPER(name[0]); }
+		if (!name.empty()) { native_text::capitalize_first(name); }
 		room->set_name(name);
 
 		if (!description.empty())

src/engine/db/yaml_world_data_source.cpp

@@ -4,6 +4,7 @@
 #ifdef HAVE_YAML
 
 #include "yaml_world_data_source.h"
+#include "utils/native_text.h"
 #include "utils/utils_encoding.h"
 #include "dictionary_loader.h"
 #include "db.h"
@@ -700,8 +701,9 @@ std::string YamlWorldDataSource::GetText(const YAML::Node &node, const std::stri
 {
 	if (node[key])
 	{
-		// YAML files are already in KOI8-R, no conversion needed
-		std::string text = node[key].as<std::string>();
+		// Файлы мира лежат на диске в KOI8-R; переводим в нативную кодировку движка
+		// (под KOI8-R это тождество, под UTF-8 - перекодировка). Issue #3681.
+		std::string text = native_text::from_koi8(node[key].as<std::string>());
 
 		// Convert line endings if configured for DOS format
 		if (m_convert_lf_to_crlf) {
@@ -1425,7 +1427,7 @@ RoomData* YamlWorldDataSource::ParseRoomNode(const YAML::Node &root, int vnum, i
 	room->zone_rn = zone_rnum;
 
 	std::string name = GetText(root, "name", "Untitled Room");
-	if (!name.empty()) { name[0] = UPPER(name[0]); }
+	if (!name.empty()) { native_text::capitalize_first(name); }
 	room->set_name(name);
 
 	std::string description = GetText(root, "description", "");