Hex Artifact Content

Artifact 76460f96cbd113938bc33cd8bfc03677538b80dc:


0000: 2f 2f 20 50 61 63 6b 61 67 65 20 6d 74 66 20 70  // Package mtf p
0010: 72 6f 76 69 64 65 73 20 61 20 6d 6f 76 65 2d 74  rovides a move-t
0020: 6f 2d 66 72 6f 6e 74 20 65 6e 63 6f 64 65 72 20  o-front encoder 
0030: 61 6e 64 20 64 65 63 6f 64 65 72 20 69 6d 70 6c  and decoder impl
0040: 65 6d 65 6e 74 61 74 69 6f 6e 73 0a 70 61 63 6b  ementations.pack
0050: 61 67 65 20 6d 74 66 0a 0a 69 6d 70 6f 72 74 20  age mtf..import 
0060: 28 0a 09 22 69 6f 22 0a 29 0a 0a 2f 2f 20 41 20  (.."io".)..// A 
0070: 73 74 61 74 69 63 20 74 61 62 6c 65 20 77 69 74  static table wit
0080: 68 20 74 68 65 20 69 6e 69 74 69 61 6c 20 63 6f  h the initial co
0090: 6e 64 69 74 69 6f 6e 20 66 6f 72 20 74 68 65 20  ndition for the 
00a0: 6d 74 66 20 61 6c 67 6f 72 69 74 68 6d 0a 76 61  mtf algorithm.va
00b0: 72 20 69 6e 69 74 69 61 6c 20 5b 32 35 36 5d 62  r initial [256]b
00c0: 79 74 65 20 3d 20 5b 2e 2e 2e 5d 62 79 74 65 7b  yte = [...]byte{
00d0: 0a 09 30 2c 20 31 2c 20 32 2c 20 33 2c 20 34 2c  ..0, 1, 2, 3, 4,
00e0: 20 35 2c 20 36 2c 20 37 2c 20 38 2c 20 39 2c 20   5, 6, 7, 8, 9, 
00f0: 31 30 2c 20 31 31 2c 20 31 32 2c 20 31 33 2c 20  10, 11, 12, 13, 
0100: 31 34 2c 20 31 35 2c 0a 09 31 36 2c 20 31 37 2c  14, 15,..16, 17,
0110: 20 31 38 2c 20 31 39 2c 20 32 30 2c 20 32 31 2c   18, 19, 20, 21,
0120: 20 32 32 2c 20 32 33 2c 20 32 34 2c 20 32 35 2c   22, 23, 24, 25,
0130: 20 32 36 2c 20 32 37 2c 20 32 38 2c 20 32 39 2c   26, 27, 28, 29,
0140: 20 33 30 2c 20 33 31 2c 0a 09 33 32 2c 20 33 33   30, 31,..32, 33
0150: 2c 20 33 34 2c 20 33 35 2c 20 33 36 2c 20 33 37  , 34, 35, 36, 37
0160: 2c 20 33 38 2c 20 33 39 2c 20 34 30 2c 20 34 31  , 38, 39, 40, 41
0170: 2c 20 34 32 2c 20 34 33 2c 20 34 34 2c 20 34 35  , 42, 43, 44, 45
0180: 2c 20 34 36 2c 20 34 37 2c 0a 09 34 38 2c 20 34  , 46, 47,..48, 4
0190: 39 2c 20 35 30 2c 20 35 31 2c 20 35 32 2c 20 35  9, 50, 51, 52, 5
01a0: 33 2c 20 35 34 2c 20 35 35 2c 20 35 36 2c 20 35  3, 54, 55, 56, 5
01b0: 37 2c 20 35 38 2c 20 35 39 2c 20 36 30 2c 20 36  7, 58, 59, 60, 6
01c0: 31 2c 20 36 32 2c 20 36 33 2c 0a 09 36 34 2c 20  1, 62, 63,..64, 
01d0: 36 35 2c 20 36 36 2c 20 36 37 2c 20 36 38 2c 20  65, 66, 67, 68, 
01e0: 36 39 2c 20 37 30 2c 20 37 31 2c 20 37 32 2c 20  69, 70, 71, 72, 
01f0: 37 33 2c 20 37 34 2c 20 37 35 2c 20 37 36 2c 20  73, 74, 75, 76, 
0200: 37 37 2c 20 37 38 2c 20 37 39 2c 0a 09 38 30 2c  77, 78, 79,..80,
0210: 20 38 31 2c 20 38 32 2c 20 38 33 2c 20 38 34 2c   81, 82, 83, 84,
0220: 20 38 35 2c 20 38 36 2c 20 38 37 2c 20 38 38 2c   85, 86, 87, 88,
0230: 20 38 39 2c 20 39 30 2c 20 39 31 2c 20 39 32 2c   89, 90, 91, 92,
0240: 20 39 33 2c 20 39 34 2c 20 39 35 2c 0a 09 39 36   93, 94, 95,..96
0250: 2c 20 39 37 2c 20 39 38 2c 20 39 39 2c 20 31 30  , 97, 98, 99, 10
0260: 30 2c 20 31 30 31 2c 20 31 30 32 2c 20 31 30 33  0, 101, 102, 103
0270: 2c 20 31 30 34 2c 20 31 30 35 2c 20 31 30 36 2c  , 104, 105, 106,
0280: 20 31 30 37 2c 20 31 30 38 2c 20 31 30 39 2c 20   107, 108, 109, 
0290: 31 31 30 2c 20 31 31 31 2c 0a 09 31 31 32 2c 20  110, 111,..112, 
02a0: 31 31 33 2c 20 31 31 34 2c 20 31 31 35 2c 20 31  113, 114, 115, 1
02b0: 31 36 2c 20 31 31 37 2c 20 31 31 38 2c 20 31 31  16, 117, 118, 11
02c0: 39 2c 20 31 32 30 2c 20 31 32 31 2c 20 31 32 32  9, 120, 121, 122
02d0: 2c 20 31 32 33 2c 20 31 32 34 2c 20 31 32 35 2c  , 123, 124, 125,
02e0: 20 31 32 36 2c 20 31 32 37 2c 0a 09 31 32 38 2c   126, 127,..128,
02f0: 20 31 32 39 2c 20 31 33 30 2c 20 31 33 31 2c 20   129, 130, 131, 
0300: 31 33 32 2c 20 31 33 33 2c 20 31 33 34 2c 20 31  132, 133, 134, 1
0310: 33 35 2c 20 31 33 36 2c 20 31 33 37 2c 20 31 33  35, 136, 137, 13
0320: 38 2c 20 31 33 39 2c 20 31 34 30 2c 20 31 34 31  8, 139, 140, 141
0330: 2c 20 31 34 32 2c 20 31 34 33 2c 0a 09 31 34 34  , 142, 143,..144
0340: 2c 20 31 34 35 2c 20 31 34 36 2c 20 31 34 37 2c  , 145, 146, 147,
0350: 20 31 34 38 2c 20 31 34 39 2c 20 31 35 30 2c 20   148, 149, 150, 
0360: 31 35 31 2c 20 31 35 32 2c 20 31 35 33 2c 20 31  151, 152, 153, 1
0370: 35 34 2c 20 31 35 35 2c 20 31 35 36 2c 20 31 35  54, 155, 156, 15
0380: 37 2c 20 31 35 38 2c 20 31 35 39 2c 0a 09 31 36  7, 158, 159,..16
0390: 30 2c 20 31 36 31 2c 20 31 36 32 2c 20 31 36 33  0, 161, 162, 163
03a0: 2c 20 31 36 34 2c 20 31 36 35 2c 20 31 36 36 2c  , 164, 165, 166,
03b0: 20 31 36 37 2c 20 31 36 38 2c 20 31 36 39 2c 20   167, 168, 169, 
03c0: 31 37 30 2c 20 31 37 31 2c 20 31 37 32 2c 20 31  170, 171, 172, 1
03d0: 37 33 2c 20 31 37 34 2c 20 31 37 35 2c 0a 09 31  73, 174, 175,..1
03e0: 37 36 2c 20 31 37 37 2c 20 31 37 38 2c 20 31 37  76, 177, 178, 17
03f0: 39 2c 20 31 38 30 2c 20 31 38 31 2c 20 31 38 32  9, 180, 181, 182
0400: 2c 20 31 38 33 2c 20 31 38 34 2c 20 31 38 35 2c  , 183, 184, 185,
0410: 20 31 38 36 2c 20 31 38 37 2c 20 31 38 38 2c 20   186, 187, 188, 
0420: 31 38 39 2c 20 31 39 30 2c 20 31 39 31 2c 0a 09  189, 190, 191,..
0430: 31 39 32 2c 20 31 39 33 2c 20 31 39 34 2c 20 31  192, 193, 194, 1
0440: 39 35 2c 20 31 39 36 2c 20 31 39 37 2c 20 31 39  95, 196, 197, 19
0450: 38 2c 20 31 39 39 2c 20 32 30 30 2c 20 32 30 31  8, 199, 200, 201
0460: 2c 20 32 30 32 2c 20 32 30 33 2c 20 32 30 34 2c  , 202, 203, 204,
0470: 20 32 30 35 2c 20 32 30 36 2c 20 32 30 37 2c 0a   205, 206, 207,.
0480: 09 32 30 38 2c 20 32 30 39 2c 20 32 31 30 2c 20  .208, 209, 210, 
0490: 32 31 31 2c 20 32 31 32 2c 20 32 31 33 2c 20 32  211, 212, 213, 2
04a0: 31 34 2c 20 32 31 35 2c 20 32 31 36 2c 20 32 31  14, 215, 216, 21
04b0: 37 2c 20 32 31 38 2c 20 32 31 39 2c 20 32 32 30  7, 218, 219, 220
04c0: 2c 20 32 32 31 2c 20 32 32 32 2c 20 32 32 33 2c  , 221, 222, 223,
04d0: 0a 09 32 32 34 2c 20 32 32 35 2c 20 32 32 36 2c  ..224, 225, 226,
04e0: 20 32 32 37 2c 20 32 32 38 2c 20 32 32 39 2c 20   227, 228, 229, 
04f0: 32 33 30 2c 20 32 33 31 2c 20 32 33 32 2c 20 32  230, 231, 232, 2
0500: 33 33 2c 20 32 33 34 2c 20 32 33 35 2c 20 32 33  33, 234, 235, 23
0510: 36 2c 20 32 33 37 2c 20 32 33 38 2c 20 32 33 39  6, 237, 238, 239
0520: 2c 0a 09 32 34 30 2c 20 32 34 31 2c 20 32 34 32  ,..240, 241, 242
0530: 2c 20 32 34 33 2c 20 32 34 34 2c 20 32 34 35 2c  , 243, 244, 245,
0540: 20 32 34 36 2c 20 32 34 37 2c 20 32 34 38 2c 20   246, 247, 248, 
0550: 32 34 39 2c 20 32 35 30 2c 20 32 35 31 2c 20 32  249, 250, 251, 2
0560: 35 32 2c 20 32 35 33 2c 20 32 35 34 2c 20 32 35  52, 253, 254, 25
0570: 35 2c 0a 7d 0a 0a 74 79 70 65 20 63 6f 6e 74 65  5,.}..type conte
0580: 78 74 20 73 74 72 75 63 74 20 7b 0a 09 74 61 62  xt struct {..tab
0590: 6c 65 20 5b 32 35 36 5d 62 79 74 65 0a 7d 0a 0a  le [256]byte.}..
05a0: 2f 2f 20 45 6e 63 6f 64 65 73 20 64 61 74 61 20  // Encodes data 
05b0: 69 6e 20 70 6c 61 63 65 0a 66 75 6e 63 20 28 63  in place.func (c
05c0: 20 2a 63 6f 6e 74 65 78 74 29 20 65 6e 63 6f 64   *context) encod
05d0: 65 28 64 61 74 61 20 5b 5d 62 79 74 65 29 20 7b  e(data []byte) {
05e0: 0a 09 66 6f 72 20 69 6e 64 65 78 2c 20 76 61 6c  ..for index, val
05f0: 75 65 20 3a 3d 20 72 61 6e 67 65 20 64 61 74 61  ue := range data
0600: 20 7b 0a 09 09 2f 2f 20 4c 6f 6f 70 20 6f 76 65   {...// Loop ove
0610: 72 20 74 68 65 20 4d 54 46 20 74 61 62 6c 65 0a  r the MTF table.
0620: 09 09 66 6f 72 20 69 20 3a 3d 20 62 79 74 65 28  ..for i := byte(
0630: 30 29 3b 20 69 20 3c 3d 20 32 35 35 3b 20 69 2b  0); i <= 255; i+
0640: 2b 20 7b 0a 09 09 09 69 66 20 63 2e 74 61 62 6c  + {....if c.tabl
0650: 65 5b 69 5d 20 3d 3d 20 76 61 6c 75 65 20 7b 0a  e[i] == value {.
0660: 09 09 09 09 2f 2f 20 4f 75 74 70 75 74 20 74 68  ....// Output th
0670: 65 20 76 61 6c 75 65 0a 09 09 09 09 64 61 74 61  e value.....data
0680: 5b 69 6e 64 65 78 5d 20 3d 20 69 0a 0a 09 09 09  [index] = i.....
0690: 09 2f 2f 20 53 68 69 66 74 20 74 68 65 20 74 61  .// Shift the ta
06a0: 62 6c 65 0a 09 09 09 09 63 6f 70 79 28 63 2e 74  ble.....copy(c.t
06b0: 61 62 6c 65 5b 31 3a 5d 2c 20 63 2e 74 61 62 6c  able[1:], c.tabl
06c0: 65 5b 3a 69 5d 29 0a 0a 09 09 09 09 2f 2f 20 52  e[:i])......// R
06d0: 65 73 74 6f 72 65 20 74 68 65 20 76 61 6c 75 65  estore the value
06e0: 20 69 6e 20 66 72 6f 6e 74 20 61 6e 64 20 62 72   in front and br
06f0: 65 61 6b 0a 09 09 09 09 63 2e 74 61 62 6c 65 5b  eak.....c.table[
0700: 30 5d 20 3d 20 76 61 6c 75 65 0a 09 09 09 09 62  0] = value.....b
0710: 72 65 61 6b 0a 09 09 09 7d 0a 09 09 7d 0a 09 7d  reak....}...}..}
0720: 0a 7d 0a 0a 2f 2f 20 44 65 63 6f 64 65 20 64 61  .}..// Decode da
0730: 74 61 20 69 6e 20 70 6c 61 63 65 0a 66 75 6e 63  ta in place.func
0740: 20 28 63 20 2a 63 6f 6e 74 65 78 74 29 20 64 65   (c *context) de
0750: 63 6f 64 65 28 64 61 74 61 20 5b 5d 62 79 74 65  code(data []byte
0760: 29 20 7b 0a 09 66 6f 72 20 69 6e 64 65 78 2c 20  ) {..for index, 
0770: 76 61 6c 75 65 20 3a 3d 20 72 61 6e 67 65 20 64  value := range d
0780: 61 74 61 20 7b 0a 09 09 70 6f 73 69 74 69 6f 6e  ata {...position
0790: 20 3a 3d 20 76 61 6c 75 65 0a 0a 09 09 2f 2f 20   := value....// 
07a0: 4f 75 74 70 75 74 20 74 68 65 20 76 61 6c 75 65  Output the value
07b0: 0a 09 09 64 61 74 61 5b 69 6e 64 65 78 5d 20 3d  ...data[index] =
07c0: 20 63 2e 74 61 62 6c 65 5b 70 6f 73 69 74 69 6f   c.table[positio
07d0: 6e 5d 0a 0a 09 09 2f 2f 20 53 68 69 66 74 20 74  n]....// Shift t
07e0: 68 65 20 74 61 62 6c 65 20 61 6e 64 20 72 65 73  he table and res
07f0: 74 6f 72 65 20 74 68 65 20 76 61 6c 75 65 20 69  tore the value i
0800: 6e 20 66 72 6f 6e 74 0a 09 09 63 6f 70 79 28 63  n front...copy(c
0810: 2e 74 61 62 6c 65 5b 31 3a 5d 2c 20 63 2e 74 61  .table[1:], c.ta
0820: 62 6c 65 5b 3a 70 6f 73 69 74 69 6f 6e 5d 29 0a  ble[:position]).
0830: 09 09 63 2e 74 61 62 6c 65 5b 30 5d 20 3d 20 64  ..c.table[0] = d
0840: 61 74 61 5b 69 6e 64 65 78 5d 0a 09 7d 0a 7d 0a  ata[index]..}.}.
0850: 0a 2f 2f 20 52 65 74 75 72 6e 73 20 61 6e 20 4d  .// Returns an M
0860: 54 46 20 65 6e 63 6f 64 65 72 20 6f 76 65 72 20  TF encoder over 
0870: 74 68 65 20 70 72 6f 76 69 64 65 64 20 69 6f 2e  the provided io.
0880: 52 65 61 64 65 72 0a 66 75 6e 63 20 45 6e 63 6f  Reader.func Enco
0890: 64 65 72 28 72 65 61 64 65 72 20 69 6f 2e 52 65  der(reader io.Re
08a0: 61 64 65 72 29 20 69 6f 2e 52 65 61 64 65 72 20  ader) io.Reader 
08b0: 7b 0a 09 76 61 72 20 65 6e 63 20 65 6e 63 6f 64  {..var enc encod
08c0: 65 72 0a 09 65 6e 63 2e 74 61 62 6c 65 20 3d 20  er..enc.table = 
08d0: 69 6e 69 74 69 61 6c 0a 09 65 6e 63 2e 73 6f 75  initial..enc.sou
08e0: 72 63 65 20 3d 20 72 65 61 64 65 72 0a 09 72 65  rce = reader..re
08f0: 74 75 72 6e 20 26 65 6e 63 0a 7d 0a 0a 74 79 70  turn &enc.}..typ
0900: 65 20 65 6e 63 6f 64 65 72 20 73 74 72 75 63 74  e encoder struct
0910: 20 7b 0a 09 63 6f 6e 74 65 78 74 0a 09 73 6f 75   {..context..sou
0920: 72 63 65 20 69 6f 2e 52 65 61 64 65 72 0a 7d 0a  rce io.Reader.}.
0930: 0a 2f 2f 20 52 65 61 64 20 61 6e 64 20 65 6e 63  .// Read and enc
0940: 6f 64 65 20 64 61 74 61 20 69 6e 20 70 6c 61 63  ode data in plac
0950: 65 0a 66 75 6e 63 20 28 63 20 2a 65 6e 63 6f 64  e.func (c *encod
0960: 65 72 29 20 52 65 61 64 28 6f 75 74 70 75 74 20  er) Read(output 
0970: 5b 5d 62 79 74 65 29 20 28 63 6f 75 6e 74 20 69  []byte) (count i
0980: 6e 74 2c 20 65 72 72 20 65 72 72 6f 72 29 20 7b  nt, err error) {
0990: 0a 09 63 6f 75 6e 74 2c 20 65 72 72 20 3d 20 63  ..count, err = c
09a0: 2e 73 6f 75 72 63 65 2e 52 65 61 64 28 6f 75 74  .source.Read(out
09b0: 70 75 74 29 0a 09 63 2e 65 6e 63 6f 64 65 28 6f  put)..c.encode(o
09c0: 75 74 70 75 74 5b 3a 63 6f 75 6e 74 5d 29 0a 0a  utput[:count])..
09d0: 09 72 65 74 75 72 6e 20 63 6f 75 6e 74 2c 20 65  .return count, e
09e0: 72 72 0a 7d 0a 0a 2f 2f 20 52 65 74 75 72 6e 73  rr.}..// Returns
09f0: 20 61 6e 20 4d 54 46 20 64 65 63 6f 64 65 72 20   an MTF decoder 
0a00: 6f 76 65 72 20 74 68 65 20 70 72 6f 76 69 64 65  over the provide
0a10: 64 20 69 6f 2e 52 65 61 64 65 72 0a 66 75 6e 63  d io.Reader.func
0a20: 20 44 65 63 6f 64 65 72 28 72 65 61 64 65 72 20   Decoder(reader 
0a30: 69 6f 2e 52 65 61 64 65 72 29 20 69 6f 2e 52 65  io.Reader) io.Re
0a40: 61 64 65 72 20 7b 0a 09 76 61 72 20 64 65 63 20  ader {..var dec 
0a50: 64 65 63 6f 64 65 72 0a 09 64 65 63 2e 74 61 62  decoder..dec.tab
0a60: 6c 65 20 3d 20 69 6e 69 74 69 61 6c 0a 09 64 65  le = initial..de
0a70: 63 2e 73 6f 75 72 63 65 20 3d 20 72 65 61 64 65  c.source = reade
0a80: 72 0a 09 72 65 74 75 72 6e 20 26 64 65 63 0a 7d  r..return &dec.}
0a90: 0a 0a 74 79 70 65 20 64 65 63 6f 64 65 72 20 73  ..type decoder s
0aa0: 74 72 75 63 74 20 7b 0a 09 63 6f 6e 74 65 78 74  truct {..context
0ab0: 0a 09 73 6f 75 72 63 65 20 69 6f 2e 52 65 61 64  ..source io.Read
0ac0: 65 72 0a 7d 0a 0a 2f 2f 20 52 65 61 64 20 61 6e  er.}..// Read an
0ad0: 64 20 64 65 63 6f 64 65 20 64 61 74 61 20 69 6e  d decode data in
0ae0: 20 70 6c 61 63 65 0a 66 75 6e 63 20 28 63 20 2a   place.func (c *
0af0: 64 65 63 6f 64 65 72 29 20 52 65 61 64 28 6f 75  decoder) Read(ou
0b00: 74 70 75 74 20 5b 5d 62 79 74 65 29 20 28 63 6f  tput []byte) (co
0b10: 75 6e 74 20 69 6e 74 2c 20 65 72 72 20 65 72 72  unt int, err err
0b20: 6f 72 29 20 7b 0a 09 63 6f 75 6e 74 2c 20 65 72  or) {..count, er
0b30: 72 20 3d 20 63 2e 73 6f 75 72 63 65 2e 52 65 61  r = c.source.Rea
0b40: 64 28 6f 75 74 70 75 74 29 0a 09 63 2e 64 65 63  d(output)..c.dec
0b50: 6f 64 65 28 6f 75 74 70 75 74 5b 3a 63 6f 75 6e  ode(output[:coun
0b60: 74 5d 29 0a 0a 09 72 65 74 75 72 6e 20 63 6f 75  t])...return cou
0b70: 6e 74 2c 20 65 72 72 0a 7d 0a                    nt, err.}.