disabled memory clumping, which surprisingly improves memory use, rather than hinders...
[xonotic/darkplaces.git] / zone.c
1 /*
2 Copyright (C) 1996-1997 Id Software, Inc.
3
4 This program is free software; you can redistribute it and/or
5 modify it under the terms of the GNU General Public License
6 as published by the Free Software Foundation; either version 2
7 of the License, or (at your option) any later version.
8
9 This program is distributed in the hope that it will be useful,
10 but WITHOUT ANY WARRANTY; without even the implied warranty of
11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
12
13 See the GNU General Public License for more details.
14
15 You should have received a copy of the GNU General Public License
16 along with this program; if not, write to the Free Software
17 Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
18
19 */
20 // Z_zone.c
21
22 #include "quakedef.h"
23
24 mempool_t *poolchain = NULL;
25
26 void *_Mem_Alloc(mempool_t *pool, int size, char *filename, int fileline)
27 {
28 #if MEMCLUMPING
29         int i, j, k, needed, endbit, largest;
30         memclump_t *clump, **clumpchainpointer;
31 #endif
32         memheader_t *mem;
33         if (size <= 0)
34                 return NULL;
35         if (pool == NULL)
36                 Sys_Error("Mem_Alloc: pool == NULL (alloc at %s:%i)", filename, fileline);
37         Con_DPrintf("Mem_Alloc: pool %s, file %s:%i, size %i bytes\n", pool->name, filename, fileline, size);
38         pool->totalsize += size;
39 #if MEMCLUMPING
40         if (size < 4096)
41         {
42                 // clumping
43                 needed = (sizeof(memheader_t) + size + sizeof(int) + (MEMUNIT - 1)) / MEMUNIT;
44                 endbit = MEMBITS - needed;
45                 for (clumpchainpointer = &pool->clumpchain;*clumpchainpointer;clumpchainpointer = &(*clumpchainpointer)->chain)
46                 {
47                         clump = *clumpchainpointer;
48                         if (clump->sentinel1 != MEMCLUMP_SENTINEL)
49                                 Sys_Error("Mem_Alloc: trashed clump sentinel 1 (alloc at %s:%d)", filename, fileline);
50                         if (clump->sentinel2 != MEMCLUMP_SENTINEL)
51                                 Sys_Error("Mem_Alloc: trashed clump sentinel 2 (alloc at %s:%d)", filename, fileline);
52                         if (clump->largestavailable >= needed)
53                         {
54                                 largest = 0;
55                                 for (i = 0;i < endbit;i++)
56                                 {
57                                         if (clump->bits[i >> 5] & (1 << (i & 31)))
58                                                 continue;
59                                         k = i + needed;
60                                         for (j = i;i < k;i++)
61                                                 if (clump->bits[i >> 5] & (1 << (i & 31)))
62                                                         goto loopcontinue;
63                                         goto choseclump;
64         loopcontinue:;
65                                         if (largest < j - i)
66                                                 largest = j - i;
67                                 }
68                                 // since clump falsely advertised enough space (nothing wrong
69                                 // with that), update largest count to avoid wasting time in
70                                 // later allocations
71                                 clump->largestavailable = largest;
72                         }
73                 }
74                 pool->realsize += sizeof(memclump_t);
75                 clump = malloc(sizeof(memclump_t));
76                 if (clump == NULL)
77                         Sys_Error("Mem_Alloc: out of memory (alloc at %s:%i)", filename, fileline);
78                 memset(clump, 0, sizeof(memclump_t));
79                 *clumpchainpointer = clump;
80                 clump->sentinel1 = MEMCLUMP_SENTINEL;
81                 clump->sentinel2 = MEMCLUMP_SENTINEL;
82                 clump->chain = NULL;
83                 clump->blocksinuse = 0;
84                 clump->largestavailable = MEMBITS - needed;
85                 j = 0;
86 choseclump:
87                 mem = (memheader_t *)((qbyte *) clump->block + j * MEMUNIT);
88                 mem->clump = clump;
89                 clump->blocksinuse += needed;
90                 for (i = j + needed;j < i;j++)
91                         clump->bits[j >> 5] |= (1 << (j & 31));
92         }
93         else
94         {
95                 // big allocations are not clumped
96 #endif
97                 pool->realsize += sizeof(memheader_t) + size + sizeof(int);
98                 mem = malloc(sizeof(memheader_t) + size + sizeof(int));
99                 if (mem == NULL)
100                         Sys_Error("Mem_Alloc: out of memory (alloc at %s:%i)", filename, fileline);
101 #if MEMCLUMPING
102                 mem->clump = NULL;
103         }
104 #endif
105         mem->filename = filename;
106         mem->fileline = fileline;
107         mem->size = size;
108         mem->pool = pool;
109         mem->sentinel1 = MEMHEADER_SENTINEL1;
110         // we have to use only a single byte for this sentinel, because it may not be aligned, and some platforms can't use unaligned accesses
111         *((qbyte *) mem + sizeof(memheader_t) + mem->size) = MEMHEADER_SENTINEL2;
112         // append to head of list
113         mem->chain = pool->chain;
114         pool->chain = mem;
115         memset((void *)((qbyte *) mem + sizeof(memheader_t)), 0, mem->size);
116         return (void *)((qbyte *) mem + sizeof(memheader_t));
117 }
118
119 void _Mem_Free(void *data, char *filename, int fileline)
120 {
121 #if MEMCLUMPING
122         int i, firstblock, endblock;
123         memclump_t *clump, **clumpchainpointer;
124 #endif
125         memheader_t *mem, **memchainpointer;
126         mempool_t *pool;
127         if (data == NULL)
128                 Sys_Error("Mem_Free: data == NULL (called at %s:%i)", filename, fileline);
129
130
131         mem = (memheader_t *)((qbyte *) data - sizeof(memheader_t));
132         if (mem->sentinel1 != MEMHEADER_SENTINEL1)
133                 Sys_Error("Mem_Free: trashed header sentinel 1 (alloc at %s:%i, free at %s:%i)", mem->filename, mem->fileline, filename, fileline);
134         if (*((qbyte *) mem + sizeof(memheader_t) + mem->size) != MEMHEADER_SENTINEL2)
135                 Sys_Error("Mem_Free: trashed header sentinel 2 (alloc at %s:%i, free at %s:%i)", mem->filename, mem->fileline, filename, fileline);
136         pool = mem->pool;
137         Con_DPrintf("Mem_Free: pool %s, alloc %s:%i, free %s:%i, size %i bytes\n", pool->name, mem->filename, mem->fileline, filename, fileline, mem->size);
138         for (memchainpointer = &pool->chain;*memchainpointer;memchainpointer = &(*memchainpointer)->chain)
139         {
140                 if (*memchainpointer == mem)
141                 {
142                         *memchainpointer = mem->chain;
143                         pool->totalsize -= mem->size;
144 #if MEMCLUMPING
145                         if ((clump = mem->clump))
146                         {
147                                 if (clump->sentinel1 != MEMCLUMP_SENTINEL)
148                                         Sys_Error("Mem_Free: trashed clump sentinel 1 (free at %s:%i)", filename, fileline);
149                                 if (clump->sentinel2 != MEMCLUMP_SENTINEL)
150                                         Sys_Error("Mem_Free: trashed clump sentinel 2 (free at %s:%i)", filename, fileline);
151                                 firstblock = ((qbyte *) mem - (qbyte *) clump->block);
152                                 if (firstblock & (MEMUNIT - 1))
153                                         Sys_Error("Mem_Free: address not valid in clump (free at %s:%i)", filename, fileline);
154                                 firstblock /= MEMUNIT;
155                                 endblock = firstblock + ((sizeof(memheader_t) + mem->size + sizeof(int) + (MEMUNIT - 1)) / MEMUNIT);
156                                 clump->blocksinuse -= endblock - firstblock;
157                                 // could use &, but we know the bit is set
158                                 for (i = firstblock;i < endblock;i++)
159                                         clump->bits[i >> 5] -= (1 << (i & 31));
160                                 if (clump->blocksinuse <= 0)
161                                 {
162                                         // unlink from chain
163                                         for (clumpchainpointer = &pool->clumpchain;*clumpchainpointer;clumpchainpointer = &(*clumpchainpointer)->chain)
164                                         {
165                                                 if (*clumpchainpointer == clump)
166                                                 {
167                                                         *clumpchainpointer = clump->chain;
168                                                         break;
169                                                 }
170                                         }
171                                         pool->realsize -= sizeof(memclump_t);
172                                         memset(clump, 0xBF, sizeof(memclump_t));
173                                         free(clump);
174                                 }
175                                 else
176                                 {
177                                         // clump still has some allocations
178                                         // force re-check of largest available space on next alloc
179                                         clump->largestavailable = MEMBITS - clump->blocksinuse;
180                                 }
181                         }
182                         else
183                         {
184 #endif
185                                 pool->realsize -= sizeof(memheader_t) + mem->size + sizeof(int);
186                                 memset(mem, 0xBF, sizeof(memheader_t) + mem->size + sizeof(int));
187                                 free(mem);
188 #if MEMCLUMPING
189                         }
190 #endif
191                         return;
192                 }
193         }
194         Sys_Error("Mem_Free: not allocated (free at %s:%i)", filename, fileline);
195 }
196
197 mempool_t *_Mem_AllocPool(char *name, char *filename, int fileline)
198 {
199         mempool_t *pool;
200         pool = malloc(sizeof(mempool_t));
201         if (pool == NULL)
202                 Sys_Error("Mem_AllocPool: out of memory (allocpool at %s:%i)", filename, fileline);
203         memset(pool, 0, sizeof(mempool_t));
204         pool->chain = NULL;
205         pool->totalsize = 0;
206         pool->realsize = sizeof(mempool_t);
207         strcpy(pool->name, name);
208         pool->next = poolchain;
209         poolchain = pool;
210         return pool;
211 }
212
213 void _Mem_FreePool(mempool_t **pool, char *filename, int fileline)
214 {
215         mempool_t **chainaddress;
216         if (*pool)
217         {
218                 // unlink pool from chain
219                 for (chainaddress = &poolchain;*chainaddress && *chainaddress != *pool;chainaddress = &((*chainaddress)->next));
220                 if (*chainaddress != *pool)
221                         Sys_Error("Mem_FreePool: pool already free (freepool at %s:%i)", filename, fileline);
222                 *chainaddress = (*pool)->next;
223
224                 // free memory owned by the pool
225                 while ((*pool)->chain)
226                         Mem_Free((void *)((qbyte *) (*pool)->chain + sizeof(memheader_t)));
227
228                 // free the pool itself
229                 memset(*pool, 0xBF, sizeof(mempool_t));
230                 free(*pool);
231                 *pool = NULL;
232         }
233 }
234
235 void _Mem_EmptyPool(mempool_t *pool, char *filename, int fileline)
236 {
237         if (pool == NULL)
238                 Sys_Error("Mem_EmptyPool: pool == NULL (emptypool at %s:%i)", filename, fileline);
239
240         // free memory owned by the pool
241         while (pool->chain)
242                 Mem_Free((void *)((qbyte *) pool->chain + sizeof(memheader_t)));
243 }
244
245 void _Mem_CheckSentinels(void *data, char *filename, int fileline)
246 {
247         memheader_t *mem;
248
249         if (data == NULL)
250                 Sys_Error("Mem_CheckSentinels: data == NULL (sentinel check at %s:%i)", filename, fileline);
251
252         mem = (memheader_t *)((qbyte *) data - sizeof(memheader_t));
253         if (mem->sentinel1 != MEMHEADER_SENTINEL1)
254                 Sys_Error("Mem_CheckSentinels: trashed header sentinel 1 (block allocated at %s:%i, sentinel check at %s:%i)", mem->filename, mem->fileline, filename, fileline);
255         if (*((qbyte *) mem + sizeof(memheader_t) + mem->size) != MEMHEADER_SENTINEL2)
256                 Sys_Error("Mem_CheckSentinels: trashed header sentinel 2 (block allocated at %s:%i, sentinel check at %s:%i)", mem->filename, mem->fileline, filename, fileline);
257 }
258
259 #if MEMCLUMPING
260 static void _Mem_CheckClumpSentinels(memclump_t *clump, char *filename, int fileline)
261 {
262         // this isn't really very useful
263         if (clump->sentinel1 != MEMCLUMP_SENTINEL)
264                 Sys_Error("Mem_CheckClumpSentinels: trashed sentinel 1 (sentinel check at %s:%i)", filename, fileline);
265         if (clump->sentinel2 != MEMCLUMP_SENTINEL)
266                 Sys_Error("Mem_CheckClumpSentinels: trashed sentinel 2 (sentinel check at %s:%i)", filename, fileline);
267 }
268 #endif
269
270 void _Mem_CheckSentinelsGlobal(char *filename, int fileline)
271 {
272         memheader_t *mem;
273 #if MEMCLUMPING
274         memclump_t *clump;
275 #endif
276         mempool_t *pool;
277         for (pool = poolchain;pool;pool = pool->next)
278 #if MEMCLUMPING
279         {
280 #endif
281                 for (mem = pool->chain;mem;mem = mem->chain)
282                         _Mem_CheckSentinels((void *)((qbyte *) mem + sizeof(memheader_t)), filename, fileline);
283 #if MEMCLUMPING
284                 for (clump = pool->clumpchain;clump;clump = clump->chain)
285                         _Mem_CheckClumpSentinels(clump, filename, fileline);
286         }
287 #endif
288 }
289
290 // used for temporary memory allocations around the engine, not for longterm
291 // storage, if anything in this pool stays allocated during gameplay, it is
292 // considered a leak
293 mempool_t *tempmempool;
294 // only for zone
295 mempool_t *zonemempool;
296
297 void Mem_PrintStats(void)
298 {
299         int count = 0, size = 0;
300         mempool_t *pool;
301         memheader_t *mem;
302         Mem_CheckSentinelsGlobal();
303         for (pool = poolchain;pool;pool = pool->next)
304         {
305                 count++;
306                 size += pool->totalsize;
307         }
308         Con_Printf("%i memory pools, totalling %i bytes (%.3fMB)\n", count, size, size / 1048576.0);
309         if (tempmempool == NULL)
310                 Con_Printf("Error: no tempmempool allocated\n");
311         else if (tempmempool->chain)
312         {
313                 Con_Printf("%i bytes (%.3fMB) of temporary memory still allocated (Leak!)\n", tempmempool->totalsize, tempmempool->totalsize / 1048576.0);
314                 Con_Printf("listing temporary memory allocations:\n");
315                 for (mem = tempmempool->chain;mem;mem = mem->chain)
316                         Con_Printf("%10i bytes allocated at %s:%i\n", mem->size, mem->filename, mem->fileline);
317         }
318 }
319
320 void Mem_PrintList(int listallocations)
321 {
322         mempool_t *pool;
323         memheader_t *mem;
324         Mem_CheckSentinelsGlobal();
325         Con_Printf("memory pool list:\n"
326                    "size    name\n");
327         for (pool = poolchain;pool;pool = pool->next)
328         {
329                 if (pool->lastchecksize != 0 && pool->totalsize != pool->lastchecksize)
330                         Con_Printf("%6ik (%6ik actual) %s (%i byte change)\n", (pool->totalsize + 1023) / 1024, (pool->realsize + 1023) / 1024, pool->name, pool->totalsize - pool->lastchecksize);
331                 else
332                         Con_Printf("%6ik (%6ik actual) %s\n", (pool->totalsize + 1023) / 1024, (pool->realsize + 1023) / 1024, pool->name);
333                 pool->lastchecksize = pool->totalsize;
334                 if (listallocations)
335                         for (mem = pool->chain;mem;mem = mem->chain)
336                                 Con_Printf("%10i bytes allocated at %s:%i\n", mem->size, mem->filename, mem->fileline);
337         }
338 }
339
340 void MemList_f(void)
341 {
342         switch(Cmd_Argc())
343         {
344         case 1:
345                 Mem_PrintList(false);
346                 Mem_PrintStats();
347                 break;
348         case 2:
349                 if (!strcmp(Cmd_Argv(1), "all"))
350                 {
351                         Mem_PrintList(true);
352                         Mem_PrintStats();
353                         break;
354                 }
355                 // drop through
356         default:
357                 Con_Printf("MemList_f: unrecognized options\nusage: memlist [all]\n");
358                 break;
359         }
360 }
361
362 extern void R_TextureStats_PrintTotal(void);
363 void MemStats_f(void)
364 {
365         Mem_CheckSentinelsGlobal();
366         R_TextureStats_PrintTotal();
367         Mem_PrintStats();
368 }
369
370
371 /*
372 ========================
373 Memory_Init
374 ========================
375 */
376 void Memory_Init (void)
377 {
378         tempmempool = Mem_AllocPool("Temporary Memory");
379         zonemempool = Mem_AllocPool("Zone");
380 }
381
382 void Memory_Init_Commands (void)
383 {
384         Cmd_AddCommand ("memstats", MemStats_f);
385         Cmd_AddCommand ("memlist", MemList_f);
386 }
387