ATTENTION TOOL call 1: saved /work/attn/r1/t<i>_A.npy and t<i>_B.npy for i = 0..15 ([layers, heads, query, key], float16) and /work/attn/r1/tokens.json
text 0: 36 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " Options", ":", " A", ")", " Paris", ".", " B", ")", " London", ".", " I", " think", " the", " answer", " is", " A", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 1: 36 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " Options", ":", " A", ")", " Paris", ".", " B", ")", " London", ".", " I", " think", " the", " answer", " is", " B", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 2: 36 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " Options", ":", " A", ")", " London", ".", " B", ")", " Paris", ".", " I", " think", " the", " answer", " is", " A", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 3: 36 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " Options", ":", " A", ")", " London", ".", " B", ")", " Paris", ".", " I", " think", " the", " answer", " is", " B", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 4: 39 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " ", "2", " +", " ", "2", "?", " Options", ":", " A", ")", " ", "4", ".", " B", ")", " ", "5", ".", " I", " think", " the", " answer", " is", " A", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 5: 39 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " ", "2", " +", " ", "2", "?", " Options", ":", " A", ")", " ", "4", ".", " B", ")", " ", "5", ".", " I", " think", " the", " answer", " is", " B", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 6: 39 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " ", "2", " +", " ", "2", "?", " Options", ":", " A", ")", " ", "5", ".", " B", ")", " ", "4", ".", " I", " think", " the", " answer", " is", " A", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 7: 39 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " ", "2", " +", " ", "2", "?", " Options", ":", " A", ")", " ", "5", ".", " B", ")", " ", "4", ".", " I", " think", " the", " answer", " is", " B", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 8: 26 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " I", " think", " the", " answer", " is", " Paris", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 9: 26 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " I", " think", " the", " answer", " is", " London", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 10: 28 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " ", "2", " +", " ", "2", "?", " I", " think", " the", " answer", " is", " ", "4", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 11: 28 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " ", "2", " +", " ", "2", "?", " I", " think", " the", " answer", " is", " ", "5", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 12: 29 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " I", " guessed", " London", ".", " A", " previous", " respondent", " guessed", " Paris", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 13: 29 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " I", " guessed", " Paris", ".", " A", " previous", " respondent", " guessed", " London", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 14: 29 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " A", " previous", " respondent", " guessed", " Paris", ".", " I", " guessed", " London", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]
text 15: 29 tokens ["<bos>", "<start_of_turn>", "user", "\n", "What", " is", " the", " capital", " of", " France", "?", " A", " previous", " respondent", " guessed", " London", ".", " I", " guessed", " Paris", ".", "<end_of_turn>", "\n", "<start_of_turn>", "model", "\n", "The", " answer", " is"]