Kleine Linux / Unix Kommandos

Logeinträge auf der Konsole verhindern

dmesg -n level

Eigenen Xserver starten

startx fvwm2 -- :2 -depth 16

xlock als Bildschirmschoner

xautolock -exit 2>/dev/null; xautolock -corners "+---" -time 10 -notify 30 -locker "xlock -mode random"

Interaktive Dienste automatisiert nutzen mit expect

#!/usr/bin/expect
set myserver "10.0.0.1"
set myport   "21"
send "Try to connect to server $myserver port $myport\n"
spawn telnet $myserver $myport
expect   "220 " { send "USER ftp\n" }
expect   "331 " { send "PASS foo\n" }
expect   "230 " { send "PASV\n" }
expect   "227 " { send "HELP\n" }
expect   "214 " { interact }

Eine Datei beim herunterladen on-the-fly in kleine Teile zerteilen

wget ftp://... -nv -O - | split ....

Mit rsync (über ssh) zwei Dateien (Ordner) synchronisieren

/usr/bin/rsync --rsync-path=/usr/local/bin/rsync -rlpe ssh QUELLE ZIEL
rsync --compress --progress --no-whole-file -rlpe ssh remote:/path/file file

Dateien sortiert nach Groesse ausgeben

ls -lS

Informationen über eine Datei

stat myfile.txt

Von ALPHA bis OMEGA zählen

seq ALPHA OMEGA

Text ausfiltern

Die /var/log/syslog von heute

cat /var/log/syslog | grep ^"`date +%b\ %d`"

Formatiere date Ausgabe

# date +'%Y%m%d_%H%M%S'
20081103_1759026

Leere Zeilen und Kommentare weglassen

grep -ve ^\ *\#'\|'^$ /etc/*.conf

Hervorheben was gemacht hat

echo "ABC123DEF456GHI" | grep --color [0-9H]
ABC123DEF456GHI

Jeden Treffer einzeln ausgeben

echo "ABC123DEF456GHI" | grep -E --only-matching [0-9H]+
123
456
H

Nur Dateinamen der Dateien auflisten die Treffer enthalten

grep --files-with-match foo *

Auf das in sed zugreifen, was auf den regulären Ausdruck gepasst hat

echo "ABC123DEF456GHI" | sed 's/[0-9H]\+/_&_/g'

ABC_123_DEF_456_G_H_I

echo "ABC223DEF456GHI" | sed s/"\([0-9]\+\)"/"_\1_"/

ABC_223_DEF456GHI

Mehrere Strings mit sed ersetzen

echo foo bar | sed s/foo/Hello/ | sed s/bar/world/

echo foo bar | sed -e s/foo/Hello/ -e s/bar/world/

awk kann auch grep

grep error /var/log/syslog | awk '{ print $3 }'

awk '/error/ { print $3 }' /var/log/syslog

Regular Expression Lookahead

EXAMMLE

Positiv Lookahead

M(?=L)

ML

Negativ Lookahead

M(?!M)

^(?!CA)

awk

Anderen Spaltentrenner für awk definieren

awk 'BEGIN {FS=" - "} {print $1 $2 $3}'
awk 'BEGIN {FS="\t"}  {print $3}

Mit awk einen String an festgelegtem Trennzeichen aufteilen

echo foo,bar,test | awk 'BEGIN {FS=","} {split($0,a,","); for (i=1; i<=NF; i++) print a[i]; }'

Mit awk rechnen

echo 42 11 | awk '{print $1*1000, $2}'

cat foo | awk '{mycol2 += $2; mycol3 += $3}; END {print mycol2":"mycol3}'

Bedingungen an zu bearbeitende Zeilen stellen

cat foo | awk '$1>45 {print $0}'

cat foo | awk 'NR>11 { print $0 }'

cat foo | awk '$2~/FooBar/ {print $0}'

awk Ausgabe formatieren

echo 1 2 | awk '{ printf("%.3d %s\n", $1, $2)  }'

Inhalte verfolgen

Datei ohne Zeilenumbruch ansehen

less -S

Einen Prozess immer wieder starten und Ausgabe betrachten

watch -n3 cat /proc/mdstat

Auf der Konsole rechnen

echo "1 + 2" | bc
echo "1 / 3" | bc -l

Unterschiede zwischen zwei Dateien

diff -ubB FOO BAR

Einen String gegen einen regulären Ausdruck abgleichen

expr FooBar-5.2 : ".*-5.2"

Mit mmv Dateien umbenennen

mmv "*a*" "#1b#2"

Samba / Windows Freigabe mounten

mount -t smbfs -o username=uname,password=passwd //smbserv/share /destination

fat32 vfat Dateisystem mit einem Namen / Label versehen

mlabel -i /dev/sdc1 ::FOOBAR

Kernel

Kernel bauen (traditionell)

nice --5 make dep clean bzImage modules bzlilo modules_install

Kernel Bootparameter

/usr/src/linux/Documentation/kernel-parameters.txt

xface erstellen

48x48 ppm -> pgm -> pbm -> xbm
cat file.xbm | xbm2ikon > file.48
compface file.48 file.face

pdf2ps (mit Passwort)

gs -sPDFPassword=password -sDEVICE=pswrite -dNOPAUSE -sOutputFile=out.ps in.pdf

Dateien in eine optisch ansprechende und zum Drucken geeignete Postscript Datei umwandeln

a2ps --medium A4dj -E -o /tmp/pretty.ps A B C D ...
Unicode / utf-8: u2ps ...(gnome-u2ps)

Ein Postscript Buch erstellen

psbook normal.ps | psnup -2 -m25 > book.ps

Multimedia

vob2avi

transcode -i myVobFolder -o movie.avi -y xvid -x vob

-B 4

-a1

-w 1800

-j 16,0

-I1

avisplit -c -i movie.avi -t 00:00:00.00-00:05:10.00,00:11:59.00-00:22:41.00

-y xvid,tcaud

-y ffmpeg -F mpeg4

cat *.vob | mencoder -oac mp3lame -ovc xvid -xvidencopts pass=1             - -o movie.avi;
cat *.vob | mencoder -oac mp3lame -ovc xvid -xvidencopts pass=2:bitrate=700 - -o movie.avi;

mkv2avi

mencoder -oac pcm -ovc copy  -ofps 30000/1001 -o Movi.avi Movi.mkv

Ton aus Video extrahieren

nice transcode -i vts_01_6.vob -o soundtrack.wav -y null,wav -x vob -e 44000
mplayer -ao pcm:fast:file=audio.wav -vo null -vc null video.avi

jpg2avi

Mplayer

mencoder 'mf://*.jpg' -mf type=jpg:fps=10 -xvidencopts bitrate=1600 -ovc xvid -oac copy -o output.avi

ImageMagick

animate -delay 10 *.jpg
animate -help

convert -delay 10 *.jpg out.gif

Bilder automatisiert bearbeiten

convert large.jpg -resize 120x120 small.jpg
convert large.jpg -resize 50% small.jpg

for i in *.jpg; do d=`exif -t 0x9003 $i | grep Value | sed s/^"  Value: "// | sed s/\ /_/g | sed s/:/-/g`; mv "$i" "$d""_""$i"; done

for i in *;
 do
  n=`exif            -t 0x9004                    "$i"  | grep ^"  Value: " | sed s/^"  Value: "// | sed s/2005/2006/`;
  x="exif --ifd=EXIF -t 0x9004 --set-value=\"$n\" $i";
  eval "$x";
done

unix2dos, dos2unix

alias unix2dos='recode lat1..ibmpc'
alias dos2unix='recode ibmpc..lat1'

Datei von ISO Kodierung nach Unicode umwandeln

iconv --from-code=ISO-8859-1 --to-code=UTF-8 ./oldfile.htm > ./newfile.html

ACL

setfacl -m u:foo:r-- DEST
setfacl -x u:foo DEST
setfacl -m g:bar:r-- DEST
setfacl -x g:bar DEST
setfacl -m d:u:foo:r-- DIR
setfacl -m d:g:bar:r-- DIR
setfacl -m m:r-- DEST
setfacl -m d:m:r-- DIR

Mozilla mehrmals starten können

alias my_mozilla='mozilla -remote "ping()" && mozilla -remote "openURL (,new-window)" || mozilla -splash'

Spamassassin

Bayes: Wieviel E-Mails wurden bereits erlernt

sa-learn --dump | grep non-token\ data: | grep nspam$'\|'nham$

Bayes: Liste alle Wörter mit Ihrer Spamwahrscheinlichkeit

sa-learn --dump | grep -v non-token\ data: | sort -n

Mails von der Kommandozeile versenden

(echo "Hello world"; uuencode file1.txt ReadThis.txt; uuencode file2.txt AndThis.txt) | mailx -s subject foo@example.com

         
echo "Hello world" | mutt -a file1.txt foo@example.com

Mit sftp Dateien hochladen

sftp -o "batchmode no"  -b meinebefehle.sftp user@computer

lcd /home/foo/4upload/
cd  /tmp/uploaded/
put Backup1.img
put Backpu2.img
quit

Archivierung / Backup

Entfernten Rechner mit tar sichern

ssh root@otherhost -c blowfish 'cd /YOURPATH; tar -f - -p -P -c --exclude=/YOURPATH/tmp --exclude=/YOURPATH/var/cache /' | dd of=/daten/backup.tar

tar multi volume

tar --multi-volume --tape-length=1024 -cf archive.tar foo // n archive.001.tar n ...
tar --multi-volume --tape-length=1024 -c -f archive.tar -f archive001.tar -f archive002.tar -f ... foo
tar --multi-volume --tape-length=1024 --new-volume-script=/usr/local/bin/tar_changer.sh -cf archive.tar foo
tar --multi-volume                    -t -f archive.tar -f archive001.tar -f archive002.tar -f ...

#!/bin/sh

new_vol=`echo $TAR_VOLUME | awk '{printf "%04d\n", $1;}'`

new_name="$TAR_ARCHIVE"
new_name="`echo "$new_name" | sed s/"\."tar$//`"
new_name="`echo "$new_name" | sed s/"\."[0-9][0-9]*$//`"
new_name="$new_name"".""$new_vol"".tar"

echo "For volume $TAR_VOLUME of $TAR_ARCHIVE the next file name will be: $new_name"

if [ -e "$new_name" ]; then
 echo "Error: file already exists!"
 exit 1
else
 echo "$new_name" >&$TAR_FD
fi

Redundanz für Dateien erzeugen

par2 create myparfiles foo*

DVD Image größer 2GB erzeugen

mkisofs -udf -allow-limited-size -o foo.img foo

Komplettes Partitions Backup (Image)

mount /dev/hda1 / -o remount,rw;
dd if=/dev/zero of=/delme1 bs=4048; rm /delme1;
mount /dev/hda1 / -o remount,ro;

Lokal

dd if=/dev/hda1 bs=4048 | bzip2 > /mountpoint/image_hda1.bz;

Netzwerk

ssh host -c blowfish 'dd if=/dev/hda1 bs=4048 | bzip2' | dd of=/image_hda1.bz

Software Raid

Beep z.B. bei Autovervollständigung abschalten

xterm: xset b off
setterm -blength
echo 'set bell-style visible' >> ~/.inputrc

$TERM

vt100
xterm
linux

chmod

chmod ABCD FILE

4=user ID, 2=group ID, 1=sticky

4=r, 2=w, 1=x

Bootmanager wiederherstellen

Vorhandenen Bootsektor sichern

if=/dev/hda of=/tmp/mbrbackupwithouttable.img bs=446 count=1

         if=/dev/hda of=/tmp/mbrbackupwithtable.img    bs=512 count=1

Lilo

Grub

• Die Grub Shell starten
• Klar werden auf welcher Partition die Linux Installation liegt (z.B. mit find nach einer Datei suchen) und mit dem root Befehl entsprechend setzten.
  

  grub> find /boot/grub/stage1
  grub> root (hd0,3)

• Grub entweder in den Masterbootsektor schreiben oder in eine der Partitionen
  

  grub> setup (hd0)
  grub> setup (hd0,3)

yaboot

Groß- Kleinschreibung

less

export LESS="-i"

sed

echo Cool | sed s/c/T/i

Groß- Kleinschreibung umwandeln

echo fOo | tr "[:lower:]" "[:upper:]" # FOO
echo fOo | tr "[:upper:]" "[:lower:]" # foo

Subversion

Nach bestimmten Spalten sortieren

sort -k 3,3 -k 2,2 -k 6,6n

# echo "1:1:1
1:1:0" | sort -t : -k 3

1:1:0
1:1:1

Bash

Bash Array

# fruits=(apple banana strawberry)

# echo ${fruits}
apple

# echo ${fruits[1]}
banana

# echo ${fruits[*]}
apple banana strawberry

# echo ${#fruits[*]}
3

# echo ${fruits[*]}
apple banana strawberry

# for ((idx=(${#fruits[*]}-1); idx>=0; idx--)); do echo ${fruits[$idx]}; done
strawberry
banana
apple

Bash history

Shortcuts

find

find / -printf "%CY%Cm%Cd%CI%CM | %d | %i | %s | %h | %f\n"

find / -exec echo  '{}' +
find / -exec echo  '{}' ';'

Alte Dateien finden

find /foo -type f -ctime +165
find /foo -type f -ctime  165
find /foo -type f -ctime -165

Große Dateien finden

find /foo -size +3000000c
find /foo -size +3M

find /tmp/tg1/ -type l | while read link
do
 if [ -h "$link" -a ! -e "$link" ];
  then echo "$link";
 fi;
done

find /tmp/tg1/ -printf '%Y %p \n' | grep ^N\  | sed s/^N\ //

find /mnt/mnt/ -L -samefile /mnt/mnt/bin/foo

OSX

Routen unter OSX anzeigen und setzen

netstat -rn
route delete default
route add default 1.2.3.4

Batterie Status

ioreg -l | grep IOBa

Interaktive Shell erkennen

if shopt -q login_shell ; then
 ...
else
 ...
fi

Zu bereits besuchten Verzeichnissen zurückspringen

# pwd
/tmp

# pushd /etc/network/

# pushd /var/log/
/var/log /etc/network /tmp

# pushd /usr/sbin/
/usr/sbin /var/log /etc/network /tmp

# dirs
/usr/sbin /var/log /etc/network /tmp

# pushd
/var/log /usr/sbin /etc/network /tmp

# pwd
/var/log

# pushd
/usr/sbin /var/log /etc/network /tmp

# pwd
/usr/sbin

# pushd +2
/etc/network /tmp /usr/sbin /var/log

/# pwd
/etc/network

# dirs
/etc/network /usr/sbin /var/log

# popd
/usr/sbin /var/log

# pwd
/usr/sbin

# popd
/var/log

# pwd
/var/log

echo "$OLDPWD"

Befehlswiederholung

Das letzte Token des letzten Befehls wiederholen

# echo /etc/group /etc/passwd >/dev/null
# echo !$
echo /dev/null

ESC .

Das letzte Argument des letzten Befehls wiederholen

# cp backup2008a.tar /mnt/streamer/backup2008a.tar 2>/dev/null
# echo $_
/mnt/streamer/backup2008a.tar

Letzten Befehl mit einer Ersetzung wiederholen

# cp backup2008.tar /mnt/streamer/
# ^2008^2009^
cp backup2009.tar /mnt/streamer/

# cp backup2008a.tar backup2008b.tar /mnt/streamer/
# !!:s/2008/2009/
cp backup2009a.tar backup2008b.tar /mnt/streamer/

# cp -v backup2008a.tar backup2008b.tar /mnt/streamer/
# !!:gs/2008/2009/

Ausgabe innerhalb von Shellscript umleiten und später wiederherstellen

exec 3>&1
exec 1>>/var/log/mylogfile.txt
...
exec 1>&3
exec 3>&-

Mit sponge Änderungen an Dateiinhalt ohne temporäre Dateien vornehmen

cat foo.txt | sed s/t/T/ | sponge foo.txt

cygwin angeblich zu lockere Rechte

$ ssh foo@bar.example.com
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@         WARNING: UNPROTECTED PRIVATE KEY FILE!          @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Permissions 0644 for '/cygdrive/p/.ssh/id_dsa' are too open.
It is recommended that your private key files are NOT accessible by others.
This private key will be ignored.
bad permissions: ignore key: /cygdrive/p/.ssh/id_dsa
Permission denied (publickey).

$ CYGWIN=nontsec ssh foo@bar.example.com

System Infos

# free -m
# df -ah
# top -n1
htop
# vmstat 5 3
smartctl --all /dev/sda
memstat -w

Wer blockiert ein gemountetes Laufwerk

lsof +D /mnt/foo
fuser /mnt/foo

Anzahl der CPU Kerne ermitteln

# nproc
6

# make -j $(nproc)

Benchmarks

zcav /dev/sdb > zcav.txt
gnuplot
 set yrange [0:*]
 set format y '%g Blocks/s'
 set format x '%g MB'
 plot "zcav.txt" using 1:2 title "Foo"

bonnie++ -u root -d /mnt/mnt/

Solaris

Ausführliches ps unter Solaris

ps -ef
prstat -a
truss -f /bin/date
truss -fp PID

/usr/ucb/ps -auxww

Solaris 10 md5sum

digest -v -a md5 foo

Perl

Perl Modul nachinstallieren

# perl -MCPAN -e 'install HTML::CalendarMonthSimple'

# cpan
cpan> install HTML::CalendarMonthSimple

require HTML::CalendarMonthSimple;

Perl Debugger

perl -d myPerlScript.pl

Mit xargs parallele Prozesse starten

ls *.txt | xargs gzip

ls *.txt | xargs -n1 gzip

ls *.txt | xargs -n1 gzip &

ls *.txt | xargs -n1 -P5 gzip