Make it a function
[xonotic/gmqcc.git] / utf8.c
1 /*
2  * Copyright (C) 2012, 2013, 2014
3  *     Dale Weiler
4  *
5  * Permission is hereby granted, free of charge, to any person obtaining a copy of
6  * this software and associated documentation files (the "Software"), to deal in
7  * the Software without restriction, including without limitation the rights to
8  * use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies
9  * of the Software, and to permit persons to whom the Software is furnished to do
10  * so, subject to the following conditions:
11  *
12  * The above copyright notice and this permission notice shall be included in all
13  * copies or substantial portions of the Software.
14  *
15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
20  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
21  * SOFTWARE.
22  */
23 #include "gmqcc.h"
24
25 /*
26  * Based on the flexible and economical utf8 decoder:
27  * http://bjoern.hoehrmann.de/utf-8/decoder/dfa/
28  *
29  * This is slightly more economical, the fastest way to decode utf8 is
30  * with a lookup table as in:
31  *
32  * first 1-byte lookup
33  * if that fails, 2-byte lookup
34  * if that fails, 3-byte lookup
35  * if that fails, 4-byte lookup
36  *
37  * The following table can be generated with some interval trickery.
38  * consider an interval [a, b):
39  *
40  *      a must be 0x80 or b must be 0xc0, lower 3 bits
41  *      are clear, thus:
42  *          interval(a,b) = ((uint32_t)((a==0x80?0x40-b:-a)<<23))
43  *
44  * The failstate can be represented as interval(0x80,0x80), it's
45  * odd to see but this is a full state machine.
46  *
47  * The table than maps the corresponding sections as a serise of
48  * intervals.
49  *
50  * In this table the transition values are pre-multiplied with 16 to
51  * save a shift instruction for every byte, we throw away fillers
52  * which makes the table smaller.
53  *
54  * The first section of the table handles bytes with leading C
55  * The second section of the table handles bytes with leading D
56  * The third section of the table handles bytes with leading E
57  * The last section of the table handles bytes with leading F
58  *
59  * The values themselfs in the table are arranged so that when you
60  * left shift them by 6 to shift continuation characters into place, the
61  * new top bits tell you:
62  *
63  *  1 - if you keep going
64  *  2 - the range of valid values for the next byte
65  */
66 static const uint32_t utf8_tab[] = {
67     0xC0000002, 0xC0000003, 0xC0000004, 0xC0000005, 0xC0000006,
68     0xC0000007, 0xC0000008, 0xC0000009, 0xC000000A, 0xC000000B,
69     0xC000000C, 0xC000000D, 0xC000000E, 0xC000000F, 0xC0000010,
70     0xC0000011, 0xC0000012, 0xC0000013, 0xC0000014, 0xC0000015,
71     0xC0000016, 0xC0000017, 0xC0000018, 0xC0000019, 0xC000001A,
72     0xC000001B, 0xC000001C, 0xC000001D, 0xC000001E, 0xC000001F,
73     0xB3000000, 0xC3000001, 0xC3000002, 0xC3000003, 0xC3000004,
74     0xC3000005, 0xC3000006, 0xC3000007, 0xC3000008, 0xC3000009,
75     0xC300000A, 0xC300000B, 0xC300000C, 0xD300000D, 0xC300000E,
76     0xC300000F, 0xBB0C0000, 0xC30C0001, 0xC30C0002, 0xC30C0003,
77     0xD30C0004
78 };
79
80 int utf8_from(char *s, utf8ch_t ch) {
81     if (!s)
82         return 0;
83
84     if ((unsigned)ch < 0x80) {
85         *s = ch;
86         return 1;
87     } else if ((unsigned)ch < 0x800) {
88         *s++ = 0xC0 | (ch >> 6);
89         *s   = 0x80 | (ch & 0x3F);
90         return 2;
91     } else if ((unsigned)ch < 0xD800 || (unsigned)ch - 0xE000 < 0x2000) {
92         *s++ = 0xE0 | (ch >> 12);
93         *s++ = 0x80 | ((ch >> 6) & 0x3F);
94         *s   = 0x80 | (ch & 0x3F);
95         return 3;
96     } else if ((unsigned)ch - 0x10000 < 0x100000) {
97         *s++ = 0xF0 | (ch >> 18);
98         *s++ = 0x80 | ((ch >> 12) & 0x3F);
99         *s++ = 0x80 | ((ch >> 6) & 0x3F);
100         *s   = 0x80 | (ch & 0x3F);
101         return 4;
102     }
103     return 0;
104 }
105
106 int utf8_to(utf8ch_t *i, const unsigned char *s, size_t n) {
107     unsigned c,j;
108
109     if (!s || !n)
110         return 0;
111
112     /* This is consistent with mbtowc behaviour. */
113     if (!i)
114         i = (utf8ch_t*)(void*)&i;
115
116     if (*s < 0x80)
117         return !!(*i = *s);
118     if (*s-0xC2U > 0x32)
119         return 0;
120
121     c = utf8_tab[*s++-0xC2U];
122
123     /*
124      * Avoid excessive checks against n.
125      *
126      * When shifting state `n-1` times does not clear the high bit,
127      * then the value of `n` won't satisfy the condition to read a
128      * character as it will be insufficent.
129      */
130     if (n < 4 && ((c<<(6*n-6)) & (1U << 31)))
131         return 0;
132
133     /*
134      * The upper 6 state bits are negitive integer offset to a bound-check
135      * next byte equivlant to: ((b-0x80)+(b+offset))&~0x3f
136      */
137     if ((((*s>>3)-0x10)|((*s>>3)+((int32_t)c>>26))) & ~7)
138         return 0;
139
140     for (j=2; j<3; j++) {
141         if (!((c = c<<6 | (*s++-0x80))&(1U<<31))) {
142             *i = c;
143             return j;
144         }
145         if (*s-0x80U >= 0x40)
146             return 0;
147     }
148
149     *i = c<<6 | (*s++-0x80);
150     return 4;
151 }