added ROCm/Triton attention comparison
Este commit está contenido en:
+7
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"elapsed_time": 1237.550695703001,
|
||||
"num_requests": 200,
|
||||
"total_num_tokens": 146805,
|
||||
"requests_per_second": 0.16160954108339642,
|
||||
"tokens_per_second": 118.62544339374007
|
||||
}
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"elapsed_time": 540.6128817510034,
|
||||
"num_requests": 200,
|
||||
"total_num_tokens": 148857,
|
||||
"requests_per_second": 0.36995048906754757,
|
||||
"tokens_per_second": 275.34859975563967
|
||||
}
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"elapsed_time": 455.23138687500614,
|
||||
"num_requests": 200,
|
||||
"total_num_tokens": 145877,
|
||||
"requests_per_second": 0.43933701797875907,
|
||||
"tokens_per_second": 320.4458308584372
|
||||
}
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"elapsed_time": 1279.5375675789983,
|
||||
"num_requests": 200,
|
||||
"total_num_tokens": 147036,
|
||||
"requests_per_second": 0.15630646967124087,
|
||||
"tokens_per_second": 114.91339037290285
|
||||
}
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"elapsed_time": 460.97370730798866,
|
||||
"num_requests": 200,
|
||||
"total_num_tokens": 147036,
|
||||
"requests_per_second": 0.43386422442175154,
|
||||
"tokens_per_second": 318.9683005103833
|
||||
}
|
||||
Referencia en una nueva incidencia
Block a user