-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathmain.log
438 lines (408 loc) · 51.5 KB
/
main.log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
[1710367729] Log start
[1710367729] initialize: build = 0 (unknown)
[1710367729] initialize: built with MSVC 19.39.33520.0 for x64
[1710367729] initialize: seed = 12345678
[1710367729] initialize: llama backend init
[1710367729] initialize: load the model and apply lora adapter, if any
[1710367730] llama_model_loader: loaded meta data with 20 key-value pairs and 291 tensors from C:/Users/Quill/Documents/ai/models/mistral-7b-v0.1.Q8_0.gguf (version GGUF V2)
[1710367730] llama_model_loader: Dumping metadata keys/values. Note: KV overrides do not apply in this output.
[1710367730] llama_model_loader: - kv 0: general.architecture str = llama
[1710367730] llama_model_loader: - kv 1: general.name str = mistralai_mistral-7b-v0.1
[1710367730] llama_model_loader: - kv 2: llama.context_length u32 = 32768
[1710367730] llama_model_loader: - kv 3: llama.embedding_length u32 = 4096
[1710367730] llama_model_loader: - kv 4: llama.block_count u32 = 32
[1710367730] llama_model_loader: - kv 5: llama.feed_forward_length u32 = 14336
[1710367730] llama_model_loader: - kv 6: llama.rope.dimension_count u32 = 128
[1710367730] llama_model_loader: - kv 7: llama.attention.head_count u32 = 32
[1710367730] llama_model_loader: - kv 8: llama.attention.head_count_kv u32 = 8
[1710367730] llama_model_loader: - kv 9: llama.attention.layer_norm_rms_epsilon f32 = 0.000010
[1710367730] llama_model_loader: - kv 10: llama.rope.freq_base f32 = 10000.000000
[1710367730] llama_model_loader: - kv 11: general.file_type u32 = 7
[1710367730] llama_model_loader: - kv 12: tokenizer.ggml.model str = llama
[1710367730] llama_model_loader: - kv 13: tokenizer.ggml.tokens arr[str,32000] = ["<unk>", "<s>", "</s>", "<0x00>", "<...
[1710367730] llama_model_loader: - kv 14: tokenizer.ggml.scores arr[f32,32000] = [0.000000, 0.000000, 0.000000, 0.0000...
[1710367730] llama_model_loader: - kv 15: tokenizer.ggml.token_type arr[i32,32000] = [2, 3, 3, 6, 6, 6, 6, 6, 6, 6, 6, 6, ...
[1710367730] llama_model_loader: - kv 16: tokenizer.ggml.bos_token_id u32 = 1
[1710367730] llama_model_loader: - kv 17: tokenizer.ggml.eos_token_id u32 = 2
[1710367730] llama_model_loader: - kv 18: tokenizer.ggml.unknown_token_id u32 = 0
[1710367730] llama_model_loader: - kv 19: general.quantization_version u32 = 2
[1710367730] llama_model_loader: - type f32: 65 tensors
[1710367730] llama_model_loader: - type q8_0: 226 tensors
[1710367730] llm_load_vocab: special tokens definition check successful ( 259/32000 ).
[1710367730] llm_load_print_meta: format = GGUF V2
[1710367730] llm_load_print_meta: arch = llama
[1710367730] llm_load_print_meta: vocab type = SPM
[1710367730] llm_load_print_meta: n_vocab = 32000
[1710367730] llm_load_print_meta: n_merges = 0
[1710367730] llm_load_print_meta: n_ctx_train = 32768
[1710367730] llm_load_print_meta: n_embd = 4096
[1710367730] llm_load_print_meta: n_head = 32
[1710367730] llm_load_print_meta: n_head_kv = 8
[1710367730] llm_load_print_meta: n_layer = 32
[1710367730] llm_load_print_meta: n_rot = 128
[1710367730] llm_load_print_meta: n_embd_head_k = 128
[1710367730] llm_load_print_meta: n_embd_head_v = 128
[1710367730] llm_load_print_meta: n_gqa = 4
[1710367730] llm_load_print_meta: n_embd_k_gqa = 1024
[1710367730] llm_load_print_meta: n_embd_v_gqa = 1024
[1710367730] llm_load_print_meta: f_norm_eps = 0.0e+00
[1710367730] llm_load_print_meta: f_norm_rms_eps = 1.0e-05
[1710367730] llm_load_print_meta: f_clamp_kqv = 0.0e+00
[1710367730] llm_load_print_meta: f_max_alibi_bias = 0.0e+00
[1710367730] llm_load_print_meta: n_ff = 14336
[1710367730] llm_load_print_meta: n_expert = 0
[1710367730] llm_load_print_meta: n_expert_used = 0
[1710367730] llm_load_print_meta: pooling type = 0
[1710367730] llm_load_print_meta: rope type = 0
[1710367730] llm_load_print_meta: rope scaling = linear
[1710367730] llm_load_print_meta: freq_base_train = 10000.0
[1710367730] llm_load_print_meta: freq_scale_train = 1
[1710367730] llm_load_print_meta: n_yarn_orig_ctx = 32768
[1710367730] llm_load_print_meta: rope_finetuned = unknown
[1710367730] llm_load_print_meta: model type = 7B
[1710367730] llm_load_print_meta: model ftype = Q8_0
[1710367730] llm_load_print_meta: model params = 7.24 B
[1710367730] llm_load_print_meta: model size = 7.17 GiB (8.50 BPW)
[1710367730] llm_load_print_meta: general.name = mistralai_mistral-7b-v0.1
[1710367730] llm_load_print_meta: BOS token = 1 '<s>'
[1710367730] llm_load_print_meta: EOS token = 2 '</s>'
[1710367730] llm_load_print_meta: UNK token = 0 '<unk>'
[1710367730] llm_load_print_meta: LF token = 13 '<0x0A>'
[1710367730] llm_load_tensors: ggml ctx size = 0.22 MiB
[1710367730] llm_load_tensors: offloading 32 repeating layers to GPU
[1710367730] llm_load_tensors: offloading non-repeating layers to GPU
[1710367730] llm_load_tensors: offloaded 33/33 layers to GPU
[1710367730] llm_load_tensors: CPU buffer size = 132.81 MiB
[1710367730] llm_load_tensors: Vulkan0 buffer size = 7205.83 MiB
[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367730] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367731] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732] .[1710367732]
[1710367732] llama_new_context_with_model: n_ctx = 512
[1710367732] llama_new_context_with_model: freq_base = 10000.0
[1710367732] llama_new_context_with_model: freq_scale = 1
[1710367732] llama_kv_cache_init: Vulkan0 KV buffer size = 64.00 MiB
[1710367732] llama_new_context_with_model: KV self size = 64.00 MiB, K (f16): 32.00 MiB, V (f16): 32.00 MiB
[1710367732] llama_new_context_with_model: Vulkan_Host input buffer size = 10.01 MiB
[1710367732] llama_new_context_with_model: Vulkan0 compute buffer size = 73.00 MiB
[1710367732] llama_new_context_with_model: Vulkan_Host compute buffer size = 8.00 MiB
[1710367732] llama_new_context_with_model: graph splits (measure): 2
[1710367732] warming up the model with an empty run
[1710367733] n_ctx: 512
[1710367733]
[1710367733] system_info: n_threads = 12 / 24 | AVX = 0 | AVX_VNNI = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 0 | ARM_FMA = 0 | F16C = 0 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 0 | SSSE3 = 0 | VSX = 0 | MATMUL_INT8 = 0 |
[1710367733] add_bos: 1
[1710367733] tokenize the prompt
[1710367733] prompt: ""
[1710367733] tokens: [ '':1 ]
[1710367733] recalculate the cached logits (check): embd_inp.empty() false, n_matching_session_tokens 0, embd_inp.size() 1, session_tokens.size() 0, embd_inp.size() 1
[1710367733] inp_pfx: [ '':1, ' ':28705, '':13, '':13, '###':27332, ' Inst':3133, 'ruction':3112, ':':28747, '':13, '':13 ]
[1710367733] inp_sfx: [ ' ':28705, '':13, '':13, '###':27332, ' Response':12107, ':':28747, '':13, '':13 ]
[1710367733] cml_pfx: [ '':1, ' ':28705, '':13, '<':28789, '|':28766, 'im':321, '_':28730, 'start':2521, '|':28766, '>':28767, 'user':1838, '':13 ]
[1710367733] cml_sfx: [ ' <':523, '|':28766, 'im':321, '_':28730, 'end':416, '|':28766, '>':28767, '':13, '<':28789, '|':28766, 'im':321, '_':28730, 'start':2521, '|':28766, '>':28767, 'ass':489, 'istant':11143, '':13 ]
[1710367733] initialize: interactive mode on.
[1710367733] Reverse prompt: 'User:'
[1710367733] sampling:
repeat_last_n = 64, repeat_penalty = 1.100, frequency_penalty = 0.000, presence_penalty = 0.000
top_k = 40, tfs_z = 1.000, top_p = 0.950, min_p = 0.050, typical_p = 1.000, temp = 0.800
mirostat = 0, mirostat_lr = 0.100, mirostat_ent = 5.000
[1710367733] sampling order:
CFG -> Penalties -> top_k -> tfs_z -> typical_p -> top_p -> min_p -> temperature
[1710367733] generate: n_ctx = 512, n_batch = 512, n_predict = -1, n_keep = 1
[1710367733]
[1710367733] == Running in interactive mode. ==
[1710367733] - Press Ctrl+C to interject at any time.
[1710367733] - Press Return to return control to LLaMa.
- To return control without starting a new line, end your input with '/'.
- If you want to submit another line, end your input with '\'.
[1710367733]
[1710367733] embd_inp.size(): 1, n_consumed: 0
[1710367733] waiting for user input
[1710367733] buffer: 'User: Hello, can you tell me the capital of France?
Assistant:'
[1710367733] input tokens: [ ' User':1247, ':':28747, ' Hello':22557, ',':28725, ' can':541, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367733] n_remain: -18
[1710367733] eval: [ '':1 ]
[1710367733] n_past = 1
[1710367733] embd_inp.size(): 18, n_consumed: 1
[1710367733] eval: [ ' User':1247, ':':28747, ' Hello':22557, ',':28725, ' can':541, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367733] n_past = 18
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415 ]
[1710367733] n_remain: -19
[1710367733] eval: [ ' The':415 ]
[1710367733] n_past = 19
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565 ]
[1710367733] n_remain: -20
[1710367733] eval: [ ' capital':5565 ]
[1710367733] n_past = 20
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302 ]
[1710367733] n_remain: -21
[1710367733] eval: [ ' of':302 ]
[1710367733] n_past = 21
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843 ]
[1710367733] n_remain: -22
[1710367733] eval: [ ' France':4843 ]
[1710367733] n_past = 22
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843, ' is':349 ]
[1710367733] n_remain: -23
[1710367733] eval: [ ' is':349 ]
[1710367733] n_past = 23
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843, ' is':349, ' Paris':5465 ]
[1710367733] n_remain: -24
[1710367733] eval: [ ' Paris':5465 ]
[1710367733] n_past = 24
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843, ' is':349, ' Paris':5465, '.':28723 ]
[1710367733] n_remain: -25
[1710367733] eval: [ '.':28723 ]
[1710367733] n_past = 25
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843, ' is':349, ' Paris':5465, '.':28723, '':13 ]
[1710367733] n_remain: -26
[1710367733] eval: [ '':13 ]
[1710367733] n_past = 26
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843, ' is':349, ' Paris':5465, '.':28723, '':13, 'User':730 ]
[1710367733] n_remain: -27
[1710367733] eval: [ 'User':730 ]
[1710367733] n_past = 27
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ' The':415, ' capital':5565, ' of':302, ' France':4843, ' is':349, ' Paris':5465, '.':28723, '':13, 'User':730, ':':28747 ]
[1710367733] n_remain: -28
[1710367733] found antiprompt: ▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅ The capital of France is Paris.
User:
[1710367733]
end antiprompt
[1710367733]
[1710367733] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747 ]
[1710367733] n_remain: -2
[1710367733] waiting for user input
[1710367733] buffer: 'Can you tell me the capital of Germany?
Assistant:'
[1710367733] input tokens: [ ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367733] n_remain: -15
[1710367733] eval: [ ':':28747 ]
[1710367733] n_past = 28
[1710367733] embd_inp.size(): 31, n_consumed: 18
[1710367733] eval: [ ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367734] n_past = 41
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415 ]
[1710367734] n_remain: -16
[1710367734] eval: [ ' The':415 ]
[1710367734] n_past = 42
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565 ]
[1710367734] n_remain: -17
[1710367734] eval: [ ' capital':5565 ]
[1710367734] n_past = 43
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302 ]
[1710367734] n_remain: -18
[1710367734] eval: [ ' of':302 ]
[1710367734] n_past = 44
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293 ]
[1710367734] n_remain: -19
[1710367734] eval: [ ' Germany':7293 ]
[1710367734] n_past = 45
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293, ' is':349 ]
[1710367734] n_remain: -20
[1710367734] eval: [ ' is':349 ]
[1710367734] n_past = 46
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293, ' is':349, ' Berlin':8430 ]
[1710367734] n_remain: -21
[1710367734] eval: [ ' Berlin':8430 ]
[1710367734] n_past = 47
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293, ' is':349, ' Berlin':8430, '.':28723 ]
[1710367734] n_remain: -22
[1710367734] eval: [ '.':28723 ]
[1710367734] n_past = 48
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293, ' is':349, ' Berlin':8430, '.':28723, '':13 ]
[1710367734] n_remain: -23
[1710367734] eval: [ '':13 ]
[1710367734] n_past = 49
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293, ' is':349, ' Berlin':8430, '.':28723, '':13, 'User':730 ]
[1710367734] n_remain: -24
[1710367734] eval: [ 'User':730 ]
[1710367734] n_past = 50
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' Germany':7293, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' capital':5565, ' of':302, ' Germany':7293, ' is':349, ' Berlin':8430, '.':28723, '':13, 'User':730, ':':28747 ]
[1710367734] n_remain: -25
[1710367734] found antiprompt: ▅▅▅▅▅▅▅▅: Can you tell me the capital of Germany?
Assistant: The capital of Germany is Berlin.
User:
[1710367734]
end antiprompt
[1710367734]
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747 ]
[1710367734] n_remain: -2
[1710367734] waiting for user input
[1710367734] buffer: 'Can you tell me the first question I asked?
Assistant:'
[1710367734] input tokens: [ ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367734] n_remain: -16
[1710367734] eval: [ ':':28747 ]
[1710367734] n_past = 51
[1710367734] embd_inp.size(): 45, n_consumed: 31
[1710367734] eval: [ ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367734] n_past = 65
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415 ]
[1710367734] n_remain: -17
[1710367734] eval: [ ' The':415 ]
[1710367734] n_past = 66
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907 ]
[1710367734] n_remain: -18
[1710367734] eval: [ ' first':907 ]
[1710367734] n_past = 67
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996 ]
[1710367734] n_remain: -19
[1710367734] eval: [ ' question':2996 ]
[1710367734] n_past = 68
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368 ]
[1710367734] n_remain: -20
[1710367734] eval: [ ' you':368 ]
[1710367734] n_past = 69
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261 ]
[1710367734] n_remain: -21
[1710367734] eval: [ ' asked':2261 ]
[1710367734] n_past = 70
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403 ]
[1710367734] n_remain: -22
[1710367734] eval: [ ' was':403 ]
[1710367734] n_past = 71
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345 ]
[1710367734] n_remain: -23
[1710367734] eval: [ ' "':345 ]
[1710367734] n_past = 72
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325 ]
[1710367734] n_remain: -24
[1710367734] eval: [ 'Can':6325 ]
[1710367734] n_past = 73
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368 ]
[1710367734] n_remain: -25
[1710367734] eval: [ ' you':368 ]
[1710367734] n_past = 74
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912 ]
[1710367734] n_remain: -26
[1710367734] eval: [ ' tell':1912 ]
[1710367734] n_past = 75
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528 ]
[1710367734] n_remain: -27
[1710367734] eval: [ ' me':528 ]
[1710367734] n_past = 76
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272 ]
[1710367734] n_remain: -28
[1710367734] eval: [ ' the':272 ]
[1710367734] n_past = 77
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565 ]
[1710367734] n_remain: -29
[1710367734] eval: [ ' capital':5565 ]
[1710367734] n_past = 78
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302 ]
[1710367734] n_remain: -30
[1710367734] eval: [ ' of':302 ]
[1710367734] n_past = 79
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843 ]
[1710367734] n_remain: -31
[1710367734] eval: [ ' France':4843 ]
[1710367734] n_past = 80
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?"':1110 ]
[1710367734] n_remain: -32
[1710367734] eval: [ '?"':1110 ]
[1710367734] n_past = 81
[1710367734] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?"':1110, '.':28723 ]
[1710367734] n_remain: -33
[1710367734] eval: [ '.':28723 ]
[1710367735] n_past = 82
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?"':1110, '.':28723, '':13 ]
[1710367735] n_remain: -34
[1710367735] eval: [ '':13 ]
[1710367735] n_past = 83
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?"':1110, '.':28723, '':13, 'User':730 ]
[1710367735] n_remain: -35
[1710367735] eval: [ 'User':730 ]
[1710367735] n_past = 84
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Can':2418, ' you':368, ' tell':1912, ' me':528, ' the':272, ' first':907, ' question':2996, ' I':315, ' asked':2261, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' The':415, ' first':907, ' question':2996, ' you':368, ' asked':2261, ' was':403, ' "':345, 'Can':6325, ' you':368, ' tell':1912, ' me':528, ' the':272, ' capital':5565, ' of':302, ' France':4843, '?"':1110, '.':28723, '':13, 'User':730, ':':28747 ]
[1710367735] n_remain: -36
[1710367735] found antiprompt: tell me the first question I asked?
Assistant: The first question you asked was "Can you tell me the capital of France?".
User:
[1710367735]
end antiprompt
[1710367735]
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747 ]
[1710367735] n_remain: -2
[1710367735] waiting for user input
[1710367735] buffer: 'Are there any noticeable issues with the input text you are receiving?
Assistant:'
[1710367735] input tokens: [ ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367735] n_remain: -20
[1710367735] eval: [ ':':28747 ]
[1710367735] n_past = 85
[1710367735] embd_inp.size(): 63, n_consumed: 45
[1710367735] eval: [ ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747 ]
[1710367735] n_past = 103
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770 ]
[1710367735] n_remain: -21
[1710367735] eval: [ ' No':1770 ]
[1710367735] n_past = 104
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725 ]
[1710367735] n_remain: -22
[1710367735] eval: [ ',':28725 ]
[1710367735] n_past = 105
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315 ]
[1710367735] n_remain: -23
[1710367735] eval: [ ' I':315 ]
[1710367735] n_past = 106
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837 ]
[1710367735] n_remain: -24
[1710367735] eval: [ ' am':837 ]
[1710367735] n_past = 107
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864 ]
[1710367735] n_remain: -25
[1710367735] eval: [ ' receiving':11864 ]
[1710367735] n_past = 108
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574 ]
[1710367735] n_remain: -26
[1710367735] eval: [ ' your':574 ]
[1710367735] n_past = 109
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787 ]
[1710367735] n_remain: -27
[1710367735] eval: [ ' input':2787 ]
[1710367735] n_past = 110
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245 ]
[1710367735] n_remain: -28
[1710367735] eval: [ ' text':2245 ]
[1710367735] n_past = 111
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742 ]
[1710367735] n_remain: -29
[1710367735] eval: [ ' correctly':12742 ]
[1710367735] n_past = 112
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304 ]
[1710367735] n_remain: -30
[1710367735] eval: [ ' and':304 ]
[1710367735] n_past = 113
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457 ]
[1710367735] n_remain: -31
[1710367735] eval: [ ' processing':9457 ]
[1710367735] n_past = 114
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378 ]
[1710367735] n_remain: -32
[1710367735] eval: [ ' it':378 ]
[1710367735] n_past = 115
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378, ' as':390 ]
[1710367735] n_remain: -33
[1710367735] eval: [ ' as':390 ]
[1710367735] n_past = 116
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378, ' as':390, ' expected':3349 ]
[1710367735] n_remain: -34
[1710367735] eval: [ ' expected':3349 ]
[1710367735] n_past = 117
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378, ' as':390, ' expected':3349, '.':28723 ]
[1710367735] n_remain: -35
[1710367735] eval: [ '.':28723 ]
[1710367735] n_past = 118
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378, ' as':390, ' expected':3349, '.':28723, '':13 ]
[1710367735] n_remain: -36
[1710367735] eval: [ '':13 ]
[1710367735] n_past = 119
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378, ' as':390, ' expected':3349, '.':28723, '':13, 'User':730 ]
[1710367735] n_remain: -37
[1710367735] eval: [ 'User':730 ]
[1710367735] n_past = 120
[1710367735] last: [ '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, '':0, ':':28747, ' Are':4867, ' there':736, ' any':707, ' notice':5640, 'able':522, ' issues':4382, ' with':395, ' the':272, ' input':2787, ' text':2245, ' you':368, ' are':460, ' receiving':11864, '?':28804, '':13, 'Ass':7226, 'istant':11143, ':':28747, ' No':1770, ',':28725, ' I':315, ' am':837, ' receiving':11864, ' your':574, ' input':2787, ' text':2245, ' correctly':12742, ' and':304, ' processing':9457, ' it':378, ' as':390, ' expected':3349, '.':28723, '':13, 'User':730, ':':28747 ]
[1710367735] n_remain: -38
[1710367735] found antiprompt: able issues with the input text you are receiving?
Assistant: No, I am receiving your input text correctly and processing it as expected.
User:
[1710367735]
end antiprompt