Struct of Arrays approach #443

Joannis · 2024-05-08T15:59:27Z

RouterTrie:LongPaths
╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                    │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Malloc (total) *          │      16 │      16 │      16 │      16 │      16 │      16 │      16 │     314 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K)    │     322 │     321 │     320 │     314 │     311 │     303 │     294 │     314 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) *   │    3128 │    3138 │    3146 │    3203 │    3234 │    3318 │    3375 │     314 │
╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

RouterTrieRouter
╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                    │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Malloc (total) *          │      24 │      24 │      24 │      24 │      24 │      24 │      24 │     281 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K)    │     297 │     296 │     290 │     282 │     277 │     165 │     109 │     281 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) *   │    3387 │    3404 │    3467 │    3557 │    3635 │    3711 │    3762 │     281 │
╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

RouterTrieRouterParameters
╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                    │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Malloc (total) *          │      28 │      28 │      28 │      28 │      28 │      28 │      28 │     227 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K)    │     236 │     235 │     231 │     226 │     220 │     211 │     164 │     227 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) *   │    4259 │    4284 │    4354 │    4440 │    4567 │    4624 │    4693 │     227 │
╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

Joannis · 2024-05-08T16:00:14Z

Fastest (most insecure) previous Binary implementation for comparison:

BinaryTrie:LongPaths
╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                    │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Malloc (total) *          │      16 │      16 │      16 │      16 │      16 │      16 │      16 │     222 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K)    │     226 │     225 │     224 │     223 │     221 │     218 │     211 │     222 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) *   │    4446 │    4465 │    4473 │    4485 │    4510 │    4559 │    4765 │     222 │
╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

BinaryTrieRouter
╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                    │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Malloc (total) *          │      24 │      24 │      24 │      24 │      24 │      24 │      24 │     208 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K)    │     213 │     211 │     210 │     208 │     207 │     200 │     197 │     208 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) *   │    4725 │    4747 │    4760 │    4772 │    4792 │    4981 │    5050 │     208 │
╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

BinaryTrieRouterParameters
╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                    │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Malloc (total) *          │      28 │      28 │      28 │      28 │      28 │      28 │      28 │     162 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K)    │     165 │     163 │     163 │     162 │     161 │     155 │     152 │     162 │
├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) *   │    6097 │    6124 │    6144 │    6156 │    6189 │    6353 │    6544 │     162 │
╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

adam-fowler

Some initial comments

adam-fowler · 2024-05-09T10:29:41Z

Sources/Hummingbird/Router/Trie/RouterTrie.swift

+@usableFromInline
+enum TrieToken: Equatable, Sendable {
+    case null
+    case path(constantIndex: UInt16)


Is referencing these from an array of SubStrings really faster than just adding. aSubString here?

RouterTrie:LongPaths ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 16 │ 16 │ 16 │ 16 │ 16 │ 16 │ 16 │ 291 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 298 │ 296 │ 294 │ 292 │ 288 │ 282 │ 273 │ 291 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 3381 │ 3400 │ 3412 │ 3434 │ 3478 │ 3555 │ 3642 │ 291 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛ RouterTrieRouter ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 24 │ 24 │ 24 │ 24 │ 24 │ 24 │ 24 │ 264 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 272 │ 269 │ 268 │ 265 │ 261 │ 254 │ 250 │ 264 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 3696 │ 3731 │ 3750 │ 3791 │ 3840 │ 3942 │ 3990 │ 264 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛ RouterTrieRouterParameters ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 28 │ 28 │ 28 │ 28 │ 28 │ 28 │ 28 │ 205 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 210 │ 208 │ 207 │ 205 │ 204 │ 198 │ 194 │ 205 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 4791 │ 4829 │ 4854 │ 4882 │ 4911 │ 5026 │ 5122 │ 205 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

This is when using substring inside the enum cases

adam-fowler · 2024-05-09T10:32:04Z

Sources/Hummingbird/Router/Trie/Trie+serialize.swift

+        }
+
+        func setParameter(_ parameter: Substring) -> UInt16 {
+            if let index = trie.parameters.firstIndex(of: parameter) {


You could copy the parameter and constant strings into one big string. You are already using Substrings to store them (to ensure they are next to each other in memory)

That's clever! That would allow the CPU caches to work a bit more.

That works wonders:

RouterTrie:LongPaths ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 16 │ 16 │ 16 │ 16 │ 16 │ 16 │ 16 │ 314 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 322 │ 321 │ 320 │ 314 │ 311 │ 303 │ 294 │ 314 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 3128 │ 3138 │ 3146 │ 3203 │ 3234 │ 3318 │ 3375 │ 314 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛ RouterTrieRouter ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 24 │ 24 │ 24 │ 24 │ 24 │ 24 │ 24 │ 281 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 297 │ 296 │ 290 │ 282 │ 277 │ 165 │ 109 │ 281 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 3387 │ 3404 │ 3467 │ 3557 │ 3635 │ 3711 │ 3762 │ 281 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛ RouterTrieRouterParameters ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 28 │ 28 │ 28 │ 28 │ 28 │ 28 │ 28 │ 227 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 236 │ 235 │ 231 │ 226 │ 220 │ 211 │ 164 │ 227 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 4259 │ 4284 │ 4354 │ 4440 │ 4567 │ 4624 │ 4693 │ 227 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

Before:

RouterTrie:LongPaths ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 16 │ 16 │ 16 │ 16 │ 16 │ 16 │ 16 │ 314 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 322 │ 320 │ 318 │ 315 │ 313 │ 299 │ 272 │ 314 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 3125 │ 3140 │ 3150 │ 3162 │ 3193 │ 3355 │ 3432 │ 314 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛ RouterTrieRouter ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 24 │ 24 │ 24 │ 24 │ 24 │ 24 │ 24 │ 284 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 291 │ 288 │ 287 │ 286 │ 283 │ 278 │ 260 │ 284 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 3460 │ 3484 │ 3492 │ 3502 │ 3529 │ 3629 │ 3810 │ 284 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛ RouterTrieRouterParameters ╒═══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕ │ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │ ╞═══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡ │ Malloc (total) * │ 28 │ 28 │ 28 │ 28 │ 28 │ 28 │ 28 │ 214 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Throughput (# / s) (K) │ 220 │ 218 │ 216 │ 213 │ 211 │ 204 │ 194 │ 214 │ ├───────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤ │ Time (total CPU) (ns) * │ 4554 │ 4600 │ 4624 │ 4665 │ 4719 │ 4833 │ 4932 │ 214 │ ╘═══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

The RouterTrieRouter has gotten worse in P90 and higher.

… caches to hit

adam-fowler

See my comment about merging the two string arrays otherwise we're good
I tried moving the Substrings back into the enum just to see how it affected performance and yeah for some odd reason having a separate array of Substrings is faster by about 3-5%. I don't get it

Benchmarks/Benchmarks/Router/Benchmarks.swift

Benchmarks/Benchmarks/Router/BinaryTrieRouterBenchmarks.swift

Sources/Hummingbird/Router/Trie/RouterTrie.swift

adam-fowler

Just need a swift format and its good to go

Struct of Arrays approach

93746a3

Joannis added 2 commits May 8, 2024 18:03

Rename trie

a3ff4ec

Even faster!

1f6d21b

Joannis force-pushed the jo/struct-of-arrays branch from 12dc8e3 to 1f6d21b Compare May 9, 2024 06:34

adam-fowler reviewed May 9, 2024

View reviewed changes

Apply Adam's suggestion of concatenating the strings. This allows CPU…

6d56cad

… caches to hit

Joannis force-pushed the jo/struct-of-arrays branch from 855e416 to 6d56cad Compare May 10, 2024 15:02

adam-fowler requested changes May 11, 2024

View reviewed changes

Benchmarks/Benchmarks/Router/Benchmarks.swift Outdated Show resolved Hide resolved

Benchmarks/Benchmarks/Router/BinaryTrieRouterBenchmarks.swift Outdated Show resolved Hide resolved

Sources/Hummingbird/Router/Trie/RouterTrie.swift Outdated Show resolved Hide resolved

Joannis added 2 commits May 11, 2024 19:19

Merge parameter and constant values

ce72147

Rename benchmarks

a9cdf34

Joannis requested a review from adam-fowler May 11, 2024 17:21

adam-fowler approved these changes May 13, 2024

View reviewed changes

Remove allStringValues merging of strings

7c9cb0c

adam-fowler merged commit 5328c83 into main May 13, 2024
4 of 5 checks passed

Joannis deleted the jo/struct-of-arrays branch May 13, 2024 11:49

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Struct of Arrays approach #443

Struct of Arrays approach #443

Joannis commented May 8, 2024 •

edited

Loading

Joannis commented May 8, 2024

adam-fowler left a comment

adam-fowler May 9, 2024

Joannis May 9, 2024

Joannis May 10, 2024

adam-fowler May 9, 2024

Joannis May 9, 2024

Joannis May 10, 2024 •

edited

Loading

fabianfett May 10, 2024

adam-fowler left a comment •

edited

Loading

adam-fowler left a comment

Struct of Arrays approach #443

Struct of Arrays approach #443

Conversation

Joannis commented May 8, 2024 • edited Loading

Joannis commented May 8, 2024

adam-fowler left a comment

Choose a reason for hiding this comment

adam-fowler May 9, 2024

Choose a reason for hiding this comment

Joannis May 9, 2024

Choose a reason for hiding this comment

Joannis May 10, 2024

Choose a reason for hiding this comment

adam-fowler May 9, 2024

Choose a reason for hiding this comment

Joannis May 9, 2024

Choose a reason for hiding this comment

Joannis May 10, 2024 • edited Loading

Choose a reason for hiding this comment

fabianfett May 10, 2024

Choose a reason for hiding this comment

adam-fowler left a comment • edited Loading

Choose a reason for hiding this comment

adam-fowler left a comment

Choose a reason for hiding this comment

Joannis commented May 8, 2024 •

edited

Loading

Joannis May 10, 2024 •

edited

Loading

adam-fowler left a comment •

edited

Loading