—

RoPE (ctx=4096)

10°

—

PI (ctx=32768)

—

o)

—

NTK (ctx=32768)

Cc

104

YaRN (ctx=32768)

w 10?

= 10?

10!

1024

2048

3072

4096

Model Dimension
