it-roy-ru.com

GROUP BY/SUM из оболочки

У меня есть большой файл, содержащий такие данные:

a 23
b 8
a 22
b 1

Я хочу быть в состоянии получить это:

a 45
b 9

Я могу сначала отсортировать этот файл, а затем сделать это в Python, отсканировав файл один раз. Каков хороший прямой способ командной строки сделать это?

30
Legend

Правка: современное (GNU/Linux) решение, как упоминалось в комментариях много лет назад ;-).

awk '{
    arr[$1]+=$2
   }
   END {
     for (key in arr) printf("%s\t%s\n", key, arr[key])
   }' file \
   | sort -k1,1

Первоначально опубликованное решение, основанное на старых параметрах Unix sort:

awk '{
    arr[$1]+=$2
   }
   END {
     for (key in arr) printf("%s\t%s\n", key, arr[key])
   }' file \
   | sort +0n -1

Надеюсь, это поможет.

31
shellter

Этот Perl-однострочник, кажется, делает эту работу:

Perl -nle '($k, $v) = split; $s{$k} += $v; END {$, = " "; foreach $k (sort keys %s) {print $k, $s{$k}}}' inputfile
8
Dennis Williamson

Здесь нет необходимости в awk или даже в сортировке - если у вас Bash 4.0, вы можете использовать ассоциативные массивы:

#!/bin/bash
declare -A values
while read key value; do
  values["$key"]=$(( $value + ${values[$key]:-0} ))
done
for key in "${!values[@]}"; do
  printf "%s %s\n" "$key" "${values[$key]}"
done

... или, если вы сначала отсортируете файл (что будет более эффективным с точки зрения памяти; сортировка GNU способна выполнять трюки для сортировки файлов больше памяти, чем наивный скрипт - будь то в awk, python или Оболочка - как правило, не будет), вы можете сделать это таким образом, который будет работать в старых версиях (я ожидаю, что через bash 2.0 будет работать следующее):

#!/bin/bash
read cur_key cur_value
while read key value; do
  if [[ $key = "$cur_key" ]] ; then
    cur_value=$(( cur_value + value ))
  else
    printf "%s %s\n" "$cur_key" "$cur_value"
    cur_key="$key"
    cur_value="$value"
  fi
done
printf "%s %s\n" "$cur_key" "$cur_value"
8
Charles Duffy

Один из способов использования Perl:

Perl -ane '
    next unless @F == 2; 
    $h{ $F[0] } += $F[1]; 
    END { 
        printf qq[%s %d\n], $_, $h{ $_ } for sort keys %h;
    }
' infile

Содержание infile:

a 23
b 8
a 22
b 1

Результат:

a 45
b 9
2
Birei

С GNU awk (версии меньше 4):

WHINY_USERS= awk 'END {
  for (E in a)
    print E, a[E]
    }
{ a[$1] += $2 }' infile

С GNU awk > = 4:

awk 'END {
  PROCINFO["sorted_in"] = "@ind_str_asc"
  for (E in a)
    print E, a[E]
    }
{ a[$1] += $2 }' infile
2
Dimitre Radoulov

Это может быть легко достигнуто с помощью следующего однострочного:

cat /path/to/file | termsql "SELECT col0, SUM(col1) FROM tbl GROUP BY col0"

Или же.

termsql -i /path/to/file "SELECT col0, SUM(col1) FROM tbl GROUP BY col0"

Здесь используется пакет Python, Termsql , который является оберткой вокруг SQLite. Обратите внимание, что в настоящее время он не загружается в PyPI , а также может быть установлен только для всей системы (setup.py немного сломан), например:

Sudo pip install https://github.com/tobimensch/termsql/archive/master.Zip
0
saaj