依存サブセットからのビッグデータフレームの各行の複数の新しい集計

Rに大きなデータフレームがあり、既存の列に基づいていくつかの新しい列を作成したいと思います。ただし、各行について、新しい値は他のいくつかの行にも依存します。

ここにいくつかのダミーデータがあります

colnames <- c('date', 'docnr', 'clientid', 'values')
docnr <- c(1,2,3,4,5,6)
dates <- c('2017-01-01', '2017-02-01', '2017-03-01', '2017-04-01','2017-01-05', '2017-02-05')
clients <- c(1,1,1,1,2,2)
values <- c(10,14,4,7,9,19)
df <- data.frame(cbind(dates, docnr, clients, values))
names(df) <- colnames
df$date <- as.Date(df$date, format = "%Y-%m-%d")

df
        date docnr clientid values
1 2017-01-01     1        1     10
2 2017-02-01     2        1     14
3 2017-03-01     3        1      4
4 2017-04-01     4        1      7
5 2017-01-05     5        2      9
6 2017-02-05     6        2     19

私がやりたいのは、すべての行（docnrによって一意に識別される）が日付とクライアントIDを取得し、同じクライアントIDと以前の日付を持つ他のすべての行を見つけることです。

次に、このサブセットからいくつかのことを計算したいと思います。たとえば、このサブセットの行の総数と、このサブセットのすべての値の合計が必要です。

したがって、このサンプルデータの場合、次のことを期待します。

        date docnr clientid values counts totals
1 2017-01-01     1        1     10      0      0
2 2017-02-01     2        1     14      1     10
3 2017-03-01     3        1      4      2     24
4 2017-04-01     4        1      7      3     28
5 2017-01-05     5        2      9      0      0
6 2017-02-05     6        2     19      1      9

現時点では、forループを使用しています。

counts <- numeric(0)
totals <- numeric(0)
for (i in 1:nrow(df)) {
  tmp <- df[df$date< df$date[i] & df$clientid== df$clientid[i],
               c( "date", "docnr","value")]
  cnt <- nrow(tmp)
  tot <- sum(tmp$value)
  counts[i] <- res
  totals[i] <- tot
}
df$counts <- counts
df$totals <- totals

このループは、700k行のデータフレームでは明らかに非常に低速です（まだ完了まで実行されていません）。を使用した並列実装doSNOWは、拡張性がそれほど高くないようです。

でSQLクエリを使用しようとしましたsqldfが、サブクエリは一度に1つの値しか返すことができません。つまり、定義する新しい列ごとにクエリを実行します（後でさらに多くの派生列を追加したい）。

SQLオブジェクトを使用したソリューションに出くわしました（サブクエリから複数の値を取得することは可能ですか？）が、オブジェクトはRのsqldfで機能しませんでした。2番目のクエリには最初のクエリの情報が必要なため、結合の使用は機能しません。

私はRを始めたばかりなので（SQLにもあまり詳しくないので）、誰かがこれを行うためのより効率的な方法を知っていれば、私は大いに義務付けられます。