скрипты на все случаи жизни

mysqldump в несколько гигабайт

Sat, 09 Jul 2011 00:22:47 GMT

Недавно мне пришлось восстанавливать из бекапа дамп mysql-базы размером в пару гигов. Оставив mysql -p --database xxx < dump.sql на ночь я был чертовски огорчен на следующий день, поскольку
1) восстановление из дампа не было закончено;
2) не было понятно в каком именно месте оно затупило.
Было решено разбить дамп на кучу файлов по одной таблице на файл, а их в свою очередь (если они всё равно получаются слишком большие) разбить на кучу файлов по одному insert на файл (mysqldump, которым делался бекап, пишет ограниченное количество данных на один инсерт).
Погуглив и успешно выполнив эту задачу, на всякий случай опишу используемые инструменты под катом.

Для разбивки одного дампа базы на дампы таблиц можно использовать вот такой скрипт:

cat dump.sql | awk 'BEGIN {
output = "comments"; } $data ~ /^CREATE TABLE/ {
close(output);
output = substr($3,2,length($3)-2); }
{ print $data >> output }'

На выходе получим по одному файлу на каждую таблицу. Для разбивки такого файла по инсертам можно использовать вот такой скрипт:
awk '/INSERT/{if (n) close(output); output= f n++} n {print >> output }' f=prefix tbl.dump.sql

Затем я запустил for i in prefix*; do mysql --password=****** --database=mydb < $i; echo "$i done"; done

Может быть я слишком плохо знаком с консольными утилитами для работы с mysql, может быть есть какой-то более простой способ следить за заливкой дампа в базу?

bash скрипты для ftp

Fri, 11 Mar 2011 22:57:00 GMT

Встала передо мной задача - нужно было собранные бэкапы заливать на удаленный сервер, попутно удаляя с него лишние бэкапы.

Возможно кому-нибудь ещё пригодятся эти скрипты, так что далее с небольшими комментариями:

Первый скрипт находит список подпапок в директории (в моём случае /backup), и из каждой из них копирует последний бєкап на удаленный сервер. При этом на удаленном сервере всё складывается в одну директорию.
#!/bin/sh
for user in `/bin/ls /backup/`
do
/usr/bin/ftp -u ftp://login:password@backup.example.com/last/`/bin/date +%Y-%m-%d`-$user.tar.gz /backup/$user/*-`/bin/date +%Y-%m-%d`.tar.gz
done

Второй - удаляет файлы с фтп. Нет погодите, так было бы слишком просто, второй скрипт будет только листинг директории фтп брать. Кстати, его автор - не я. Он был найден в уже готовом виде:
# cat /root/ftplist.sh
#!/bin/sh
hostname="ftp://$1:$2@$3/"
ftp $hostname << EOF
cd last
ls -1R
EOF

Третий - запускает второй скрипт с нужными параметрами, и фильтрует вывод. В результате остаётся только список файлов подлежащих удалению (т.е. все файлы, кроме содержащих сегодняшнюю дату):
# cat /root/ftplistold.sh
#!/bin/sh
/root/ftplist.sh login password backup.example.com | /usr/bin/grep '^-' | /usr/bin/awk '{print $9}' | /usr/bin/grep -v `/bin/date +%Y-%m-%d`

Ну и наконец четвертый скрипт - будет у третьего получать список файлов для удаления, и непосредственно удалять на фтп-сервере:
#!/bin/sh
echo open backup.example.com > /tmp/ftpbackuplist
echo user login password >> /tmp/ftpbackuplist
echo cd last >> /tmp/ftpbackuplist
for a in `/root/ftplistold.sh`
do
echo "delete /last/"$a >> /tmp/ftpbackuplist
done
FTPCMDS=`/bin/cat /tmp/ftpbackuplist`
/bin/rm /tmp/ftpbackuplist
/usr/bin/ftp -inv << EOF
$FTPCMDS
EOF

Вот собственно и всё. Если запускать чистилку до полуночи - а копировалку после, то на резервном сервере будет лежать 2 комплекта бэкапов. Если оба скрипта запускать после полуночи - то только один комплект.

обработчик кнопки вкл/выкл wifi

Fri, 10 Dec 2010 11:53:32 GMT

столкнулся с задачей подвязать на имеющемся asus eeepc s101h кнопку включения выключения wifi. в первую очередь была цель эргономики - приходя домой с работы и из дома на работу, каждый раз не рестартить wlan0 дабы изменить точку доступа. найденные примеры в интернете мне не особо понравились а некоторые попросту отказывались рабоать, и поэтому вчера вечером решил все-таки сам написать простенький скрипт. он вызывается acpid при появлении события на указанного в default.sh. скрипт полностью логирует все действия. для своей работы использует дополнительный файл, местом хранения которого было выбрано /var/run/
скрипт полностью комментирован, по сему под себя переделать будет элементарно. так же желающие смог легко выкинуть ненужные логи.

#!/bin/sh
#скрипт выполняет действия по нажатию кнопки вкл/выкл wifi адаптера, а так же ведет логи в /var/log/wifi.log.
#скрипт использует файл /var/run/wifi.pid
#в /etc/acpi/default.sh нужно указать, что по событию выполняем /etc/init.d/wifi toggle. тоесть данный скрипт, который в /etc/init.d/ и положите, назвав его wifi.
wifi_on() {
/etc/init.d/net.wlan0 start
}
wifi_off() {
/etc/init.d/net.wlan0 stop
}
case $1 in
start)
wifi_on
;;
stop)
wifi_off
;;
toggle)
sleep 2;
echo `date +%d/%m/%Y" "%H:%M:%S`" status pid: "`cat /var/run/wifi.pid`";">> /var/log/wifi.log;
STAT=`cat /var/run/wifi.pid`
#проверяем статус wifi
if [ "$STAT" = "1" ];
#если wifi включен. выключаем его. все сопровождаем логами.
then
{
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi switching_off (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
wifi_off;
echo "0" > /var/run/wifi.pid
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi is off (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
}
#если выключен. проверяем состояние адаптера. если он выключен(состояние не равно 1), говорим что делать так не хорошо. изменений не производим.
else
{
sleep 3;
if [ `cat /sys/class/rfkill/rfkill0/state` != "1" ];
then
{
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi hardware is down - wifi is not swinching_on (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi is off (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
}
#а коли адаптер включен, включаем wifi в системе.
else
{
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi switching_on (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
wifi_on;
echo "1" > /var/run/wifi.pid
sleep 3;
#проверяем, если при включении wifi в системе, произошел сбой - ругаемся об этом в лог, и пишем в pid что все-таки wifi is off =) если без сбоев - говорим, что все хорошо.
if [ `cat /sys/class/rfkill/rfkill0/state` != "1" ];
then
{
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi switching_on ERROR! please look other logs! (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
echo "0" > /var/run/wifi.pid;
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi is off (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
}
else
echo `date +%d/%m/%Y" "%H:%M:%S`" wifi is on (status pid: "`cat /var/run/wifi.pid`");">> /var/log/wifi.log;
fi
}
fi
}
fi
;;
esac
#сразу оговорюсь - в скрипте допущена возможность такой ситуации, что вы включили адаптер, wifi, но точку он не нашел, и через некоторое время статус адаптера вывалится в "0", или если адаптер включен, а wifi оказался выключен, и скрипт при последующем запуске будет думать что у нас все плохо, адаптер выключен, а мы нагло пытаемся включить wifi(ибо статус у адаптера будет значится "0"). все не так :) поскольку сей скрипт завязан на кнопку вкл/выкл адаптера, статусы вместе с этим будут меняться на нужные нам, и вышеописанной ситуации у вас не возникнет :) ну или по крайней мере не должно возникнуть :D

с радостью приму интересные мысли для поправки/доработки сего мелкого но полезного изделия =)

Домашняя система наблюдения

Tue, 23 Nov 2010 01:49:18 GMT

Через некоторое время я собираюсь уехать из города на несколько дней. Поскольку в моей квартире никого не останется, я решил оставить работающим что-нибудь, что высылало бы мне письма в случае, если в квартиру кто-то зашел. Причем с фотографией того, кто зашел ко мне в дом. Заморачиваться с motion нехотелось, да и освещение у меня тут все в течение дня меняется, так что я написал небольшой bash-скрипт, который решил всю проблему сразу. Итак, нам потребуются: веб-камера, беспроводная мышка и bash.

Беспроводную мышку я привязал нитками к входной двери. Как только дверь откроется, мышка двинется, о чем тут же узнает скрипт и сделает несколько снимков камерой, которые сразу же отправит мне на email.

#!/bin/bash
pwd=`pwd`
cur=$pwd/cur
mailto="mymail@domain.tld"
mouse="/dev/input/mouse1"
camera="/dev/video0"
cd $pwd
if [ -n $cur ]; then
     touch $cur
fi;
echo 0 > $cur

getPhoto(){
     # пишем с $cur что заняты съемкой
     echo 1 > $cur
     moment=`date +%d-%m-%Y-%H.%M`
     mkdir -p $pwd/$moment
     # сделаем 10 кадров
     for i in `seq 10`; do
         mplayer tv:// -tv driver=v4l2:width=640:height=480:device=$camera -frames 1 -vo png -msglevel all=-1 -quiet
      mv $pwd/00000001.png $pwd/$moment/$i.png
# подождем 10 секунд до следующего кадра
      sleep 10
     done;

    for i in $pwd/$moment/*png; do
         uuencode $i $i >> $pwd/photos.uuc;
     done
     mail -s "VERY DANGER ALERT" $mailto < photos.uuc
     rm photos.uuc
     # съемка закончена, пишем в $cur ноль
     echo 0 > $cur
}

while true;do hexdump -n 1 $mouse >/dev/null 2>&1 && if [ "`cat $cur`" != "1" ];then getPhoto; fi; done
#EOF

Вроде бы работает. Очень надеюсь, что это никогда не пригодится.

P.S.Перед вызовом цикла с запуском mplayer наверное неплохо бы запускать какой-нибудь звук из колонок. Какой-нибудь адский крик. Если у вас есть в mp3 что-нибудь подходящее, поделитесь пожалуйста.

Fri, 15 Oct 2010 08:04:07 GMT

Нашел свой старый скрипт для поиска больших директорий. Принцип действия предельно прост - есть файл /root/list.txt, в котором находится список директорий, которые скрипт ещё не проанализировал. Каждый раз скрипт читает последнюю строчку файла, получает список вложенных директорий для этого каталога, определяет, не превышает ли самый большой из них предельное значение ALERTSIZE, и в одном случае - дописывает вложенные директории в конец списка /root/list.txt, в другом - отписывается о найденной "REALY BIG DIR" (на экран+пауза 5 сек, и в файл BIGDIRLOG). При этом размер директории определяется не заходя в неё - как обычного файла.

Почему не использовать стандартный find для поиска директории?
find / -type d -size +50k

Ответ прост - мы ищем "REALY BIG DIR", и если find войдет в неё - сервер может банально подвиснуть, либо же очень сильно нагрузить дисковую систему. Кроме этого данный скрипт при перезапуске продолжает свою работу, а не начинает с нуля как find. Ну и конечно-же он в отличии от файнда рисует очень красивый бегущий вверх текст, с директориями в которых только что побывал. Для любителей собирать программы из консоли думаю будет приятно :)

#!/bin/sh
LIST=/root/list.txt
LIST2=/root/list2.txt
BIGDIRLOG=/root/bigdir.txt
ALERTSIZE=40000
if [ -z $1 ]
then
else
echo $1 >> $LIST;
fi
while [ `wc -l $LIST | awk '{print $1}'` != 0 ]
do
CUR=`tail -n 1 list.txt`
# список поддиректорий
PODDIR=`ls -lF $CUR | grep "^d" | awk '{print $9}'`
# количество поддиректорий
CPODDIR=`echo $PODDIR | wc -w | awk '{print $1}'`
# удаляем последнюю строку
cat $LIST | sed '$d' >> $LIST2 ; mv $LIST2 $LIST
if [ $CPODDIR -ne 0 ]
then
for i in $PODDIR
do
echo $CUR$i >> list.txt
done
# размер самой большой диры в каталоге
MOST=`ls -l $CUR | grep "^d" | awk '{print $5 " " $9}' | sort -rn | head -n 1`
MOSTNAME=`echo $MOST | awk '{print $2}'`
MOSTSIZE=`echo $MOST | awk '{print $1}'`
if [ $MOSTSIZE -gt $ALERTSIZE ]
then
echo " * * * REALLY BIG DIR * * *" $CUR$MOSTNAME $MOSTSIZE
echo $CUR$MOSTNAME $MOSTSIZE >> $BIGDIRLOG
# удаляем большую диру из списка
cat $LIST | grep -v $CUR$MOSTNAME >> $LIST2 ; mv $LIST2 $LIST
sleep 5
else
echo $CUR $CPODDIR
fi
else
echo $CUR "<-zero"
fi
# задержка для снижения загрузки на сервер
# 1 секунда - слишком долго, а меньше пока не получается :(
# sleep 1
done

Запускается скрипт тривиально - создаём файл со списком (по умолчанию указан /root/list.txt), и добавляем в него одну или несколько директорий, которые нужно рекурсивно обойти при поиске. После этого скрипт можно запускать без каких-либо параметров :)

Mon, 07 Jun 2010 20:46:43 GMT

Есть конфиг
DIR="/home/user\
/home/user/.AAA BBB"
как обработать это в цикле чтобы путь не разваливался по пробелам?

Рекурсивный diff

Fri, 22 Jan 2010 01:00:19 GMT

Чтобы не забыть :)
diff -u -r -B -N -s FOLDER1 FOLDER2

Посчитать самые частые слова

Fri, 18 Dec 2009 11:05:49 GMT

Возникла задача посчитать слова в большом текстовом файле и сделать по ним топ-листинг. Сами слова разделены пробелами и знаками препинания - короче говоря, обычный текст.
Вывод топ-20 самых популярных русских и английских слов в файле words.txt длинной более 4 символов делается командой

cat words.txt| sed s/" "/"\n"/g|sort|sed 's/[[:upper:]]/\l&/g'|sed s/[^a-zа-я-]//g|uniq -c -d| sort -n| awk 'length($2) > 4'|tail -n 20| sort -n -r

Либо, если у вас проблемы между локалью и кодировкой символов, можно сделать вот так:
cat words.txt| sed s/" "/"\n"/g|sort| sed s/"[\,\?\!\.\"\'\:\;]"//g|uniq -c -d| sort -n| awk 'length($2) > 4'|tail -n 20| sort -n -r
В этом случае будут исключаться знаки препинания, а не все кроме букв и символа -

Конечно, можно вместо cat words.txt делать cat folder/*.txt

Парсинг веб-страницы

Fri, 11 Dec 2009 16:45:39 GMT

Мне понадобилось слить к себе в оффлайн сайт, чтобы в этом самом жутком оффлайне я мог бы его читать. А поскольку читать я люблю со смартфона, нужно было почистить скачанные файлы от всяких html и прочих штуковин. За основу я взял парсер с php.net, немного подправленный за некоторое время использования.

#!/usr/bin/php
<?

$filename=$argv[1];

$search = array ("'<script[^>]*?>.*?</script>'si",
"'<[\/\!]*?[^<>]*?>'si",
"'([\r\n])[\s]+'",
"'&(quot|#34);'i",
"'&(amp|#38);'i",
"'&(lt|#60);'i",
"'&(gt|#62);'i",
"'&(nbsp|#160);'i",
"'&(iexcl|#161);'i",
"'&(cent|#162);'i",
"'&(pound|#163);'i",
"'&(copy|#169);'i",
"'«'i",
"'»'i",
"'—'i",
"'–'i",
"'…'i",
"'ü'i",
"'“'i",
"'”'i",
"'À'i",
"'à'i",
"'ä'i",
"'ó'i"

);

$replace = array ("",
"",
"\\1",
"\"",
"&",
"<",
">",
" ",
chr(161),
chr(162),
chr(163),
chr(169),
"\"",
"\"",
"-",
"-",
"...",
"u",
"\"",
"\"",
"A",
"a",
"a",
"о"
);

$handle = fopen($filename, "r");
$contents = fread($handle, filesize($filename));
echo preg_replace($search, $replace, $contents);
fclose($handle);

?>

Этот код можно сохранить в файле /usr/sbin/htmlparse.php. Не забудьте сделать ему chmod +x

Теперь как этим пользоваться.
Предположим, скачали сайт командой wget -r http://domain.ru
После скачивания всех файлов делаем следующее:
find domain.ru/ -type d -exec sh -c "mkdir -p parsed/'{}'" \;
find domain.ru/ -type f -exec sh -c "htmlparse.php '{}'> parsed/'{}'" \;

Ну вот, все лежит в директории parsed и теперь это можно читать без всякой лишней фигни. Пока все, может еще чего допишу позже.

Рекурсивная смена кодировки

Fri, 11 Dec 2009 15:56:37 GMT

Пишу сюда просто примера ради.
find . -type f -exec sh -c "cat '{}' | iconv -f cp1251 -t utf8 -o '{}'" \;

Эта строка рекурсивно сменит кодировку во всех файлах в текущей директории с виндовой на utf8.

Мониторинг hdd

Sat, 31 Oct 2009 18:49:22 GMT

Захотелось красивого мониторинга за температурой и нагрузкой hdd на домашнем хосте. Короче говоря, кое-как получилось. Для работы нам потребуются

hddtemp, iotop, libnotify

Вот сам bash-скрипт:

#!/bin/bash

panic=false;

# Здесь пишем максимальную температуру.

term=64;

# Подключим виртульную ФС, заняв немного ram. Туда будут складываться логи.

tmpfs=/var/log/tmpfs;
tmpfsize=512;

mkdir -p ${tmpfs};

if [ "`mount|grep ${tmpfs}`" = '' ]; then

mount none ${tmpfs} -t tmpfs -o nr_inodes=2,size=${tmpfsize}K

touch ${tmpfs}/hdd.log;

#Здесь мы определяем кто последний залогинился в иксы, ему скрипт и будет высылать уведомления.

#display=`w|grep xdm| awk {'print $2'}|tail -n 1`;

#user=`w|grep xdm|awk {'print $1'}|tail -n 1`;

display=:`ls -1 /tmp/.X11-unix/| sed s/X//| tail -n 1`;

user=`w| grep "${display} "|awk {'print $1'}`;

export DISPLAY=${display};

#Если никто не залогинен, выходим. Вообще, можно и не выходить, а высылать алерты на емейл. Но зачем повторять функционал nagios :)

if [ $user = '' ]; then exit 0; fi

# если в ${tmpfs} кончилось место, делаем все что можем чтобы донести это до тебя

if [ "`du ${tmpfs}/hdd.log|awk {'print $1'}`" = ${tmpfsize} ]; then

nospace=true;

in=0;

while [ ${in} != "10" ]; do

su ${user} -c "notify-send -u critical 'В ${tmpfs} кончилось место. Возможно, это случилось по причине сильного перегрева одного из дисков. Пора что-то делать!!! Можешь почистить логи, но разобраться с хардом придется!'";

in=`expr ${in} + 1`;

sleep 10;

done

else

nospace=false;

# три моих диска - sda, sdb и sdc

for drive in sda sdb sdc; do

# temp=`hddtemp /dev/sd${drive}| awk {'print $3'}| sed s/"°C"//`;

temp=`hddtemp -n /dev/${drive}`;
if [ ${temp} -ge ${term} ]; then

su ${user} -c "notify-send -u critical 'ВНИМАНИЕ! Температура жесткого диска /dev/${drive} поднялась до $temp°C'";

if [ "${nospace}" = 'false' ]; then

echo "$temp°C on /dev/$drive at `date +%d.%m.%Y-%H:%M`" >> ${tmpfs}/hdd.log

panic=true;

done

if [ "${panic}" = 'true' ]; then

# su ${user} -c "notify-send -u critical 'Вот три топовых процесса: `iotop -b -n 1 > /tmp/iotop && echo && head -n 5 /tmp/iotop| tail -n 3| awk {'print $11" (pid:"$1")"'} && rm -f /tmp/iotop`'";
su ${user} -c "notify-send -u critical 'Вот три топовых процесса: `iotop -b -n 1 2>/dev/null|head -n 5| tail -n 3| awk {'print $11" (pid:"$1")"'}`'";

Поставил выполняться кроном от имени root раз в пять минут. Результат можете увидеть на скриншоте.

Кончено, вместо libnotify можно использовать mail, это всё довольно просто. Однако,

мне не очень понятно как бы выдергивать строки из iotop без использования файлов. Пробовал по-всякому, фигня получается. Помогите, пожалуйста, с ним разобраться.
update: вроде все сделано :) Спасибо 1_ananas_1 за участие.
update1: теперь захотелось вести логи. Но поскольку писать логи про хдд на хдд мне показалось не очень уместным, я решил писать их в оперативную память. А точнее, в tmpfs. Храниться они там будут, само собой, только до размонтирования ${tmpfs}.

Поиск совпадений в тексте

Wed, 09 Sep 2009 11:37:51 GMT

Есть текстовый файл - электронная книга.
Есть желание по ключевым словам найти в ней соответствующий параграф, а, найдя, ознакомиться по-подробней с контекстом.

=======script.sh========================

#!/bin/bash
#
## usage: script.sh book_file key_word1 [key_word2 key_word3 ...]

awk '/'$2'/&&/'$3'/&&/'$4'/&&/'$5'/&&/'$6'/&&/'$7'/ {print NR "|" $0}' $1 | pager

#
# Найденные параграфы, содержащие искомые слова пронумерованы.
# Когда мы нашли что-то заинтересовавшее нас, мы можем, выйдя из pager'а
# ввести номер этой строки, на что получим фрагмент из исходной книги,
# начинающийся пятью строками раньше найденной строки, а заканчивающийся
# пятью строками после найденной строки
#

echo -----------------------
echo Какой вариант раскрыть подробней?; read NUM
cat $1 | sed -n ''$(($NUM-5))','$(($NUM+5))'p' | pager

==============================================

а какие еще есть способы сделать то же самое?

Сверяем хостнеймы с днс-записями

Mon, 23 Mar 2009 11:36:02 GMT

В моей сети все получают ip по dhcp, а виндовые хостнеймы должны соответствовать записям в dns (в моем случае это фамилия юзера транслитом). К несчастью, иногда не все хосты соответствую этому стандарту. Для нахождения таких хостов я использую вот этот скрипт, запуская кроном раз в пять минут.

#!/bin/bash
letter="/tmp/ns-mismatch.txt";
admin="admin@domain.tld";
copy="-c anykey@domain.tld";
exclude="grep -v 192.168.4.10"

sendto="${admin} ${copy}";

touch ${letter};

for ip in `tail -n 30 /var/log/dhcpd.log | grep -i dhcpack| ${exclude}| awk {'print $8'}`; do
        dns=`nslookup ${ip}| awk {'print $4'}| sed /^$/d| awk -F. {'print $1'}`;
       hostname=`nmblookup -A ${ip}| grep 00|awk {'print $1'}| head -n 1| tr [:upper:] [:lower:]`;

        if [ "${dns}" != "${hostname}" ]; then
        emailtext="Hostname ${hostname} does not match dns-record ${dns}.domain.tld for ${ip}";
        echo ${emailtext} >> ${letter};
        fi

done

if [ "`cat ${letter}`" != "" ]; then
        mail -s "Hostname mismatch" ${sendto} < ${letter};
fi

rm -f ${letter};

At

Wed, 25 Feb 2009 11:08:23 GMT

Кто-нибудь знает, очереди в аргументе команды at являются независимыми?

То есть реально ли добавить в очередь K пять команд, чтобы они выполнялись последовательно, и в очередь N так же 5 команд, чтобы две очереди работали независимо друг от друга?

передергиваем клиент DHCP, если нет пинга

Sat, 08 Nov 2008 12:54:42 GMT

Привет.
Есть такой полезняк:

/sbin/ping -q -c4 -i0.01 -W1 | /usr/bin/grep "100.0%"|| echo "inet down "`date +%Y-%m-%d-%H-%M-%S` >>/var/log/inetdown.log

(пингует днс провайдера и если нет коннекта, то выводит ругню в лог)

Нужно развить мысль, а именно - чтобы кроме писАния в лог еще выполнялось

# killall dhcpcd
и
# dhcpcd eth1
но! только если нет пинга.

Подскажите, а то я новичок и пока что совсем не чувствую вопроса.
Спасибо.

Passing arguments by pipe

Mon, 01 Sep 2008 14:24:44 GMT

Извините, пожалуйста.

Похоже я рискую прославится тем что задаю тут какие-то странно-глупые вопросы.
Но... в общем у меня опять странно глупый вопрос, на который я не найду ответа.

Пишем меленький скрипт, который просто печатает количество переданных ему аргументов

temp.ksh:

#!/bin/ksh

echo "$#"

exit

Смотрим
]$ ./temp.ksh
0
]$ ./temp.ksh 3
1
]$ ./temp.ksh 3 | ./temp.ksh
0

Хм...
И даже если вот так:

]$ echo 3
3
]$ echo 3 | ./temp.ksh
0

Хм....
После некоторых размышлений появилась мысль, что может быть даже это и логично (типа каждый скрипт запускает свой новый шелл и т.п.).
Но все равно остались вопросы:
А логично ли все-таки?
Все-таки как же это сделать-то тогда?

//В последним вопросе под "это" имелось в виду, конечно не вариант в примере, а нечто более общее. Есть некий скрипт, который производит некий оутпут, и хотелось этот оутпут через пайп переправить второму скрипту.
Оно конечно можно было бы это все сделать и по-другому, ну, к примеру, через какой-нибудь темпорари файл... но а вот через пайп, что? Никак нельзя?

Заранее спасибо, и извините если вопрос, как всегда, слишком ламерский.

MyICQbot

Tue, 26 Aug 2008 22:12:41 GMT

У всех ли есть внешний ip-адрес? Все ли могут, сидя на работе/в университете/где угодно скачивать на свой домашний ПК какие-либо файлы? Предположим, вам известен url фильма который вы хотели бы вечером посмотреть у себя дома. Но кому бы захотелось придя домой его скачивать, а не сразу смотреть? :)
Подобных примеров можно придумать очень много. Особенно, если нету внешнего ip-адреса (привет пользователям стрима;-) ).
Дабы решить эту вселенскую несправедливость, было решено написать icq-бота, который мог бы скачивать файлы на тот хост, на котором запущен. В качестве языка написания был выбран perl, потому как 1) для него уже существует Net::OSCAR.
2) За основу нашего бота был взят бот drmist'а написанный на perl %)

Прежде всего нужен работающий Net::OSCAR, которого у вас скорее всего нет. Ставится просто, через cpan.
# cpan
cpan > install Net::OSCAR

Бот понимает команды
!get url
!status filename

url может быть http или ftp. Или ещё что угодно, с чем умеет работать wget.
Ну и ещё, конечно, нужно зарегистрировать уин для бота на icq.com %)
Очень интересные вещи описаны в man Net::OSCAR

#!/usr/bin/perl
$mypath = "~/MyICQDownloads";

use IO::Socket::INET;
use Net::OSCAR;
use Net::DNS;
use Text::Iconv;

%functions = ("get" => \&icq_bot_get,
"status" => \&icq_bot_status);

$conv = Text::Iconv->new('utf-8','windows-1251');
$resolver = Net::DNS::Resolver->new();
$oscar = Net::OSCAR->new();
$oscar->set_callback_im_in(\&message_callback);
$oscar->signon(999999999, "MyPass1") or die("Login failed\n");
$quit = 0;
while(!$quit) { $oscar->do_one_loop(); }
sub message_callback {
local($cmd, $params, $result);
local $result = "";
local($client, $uin, $msg) = @_;
if(($cmd, $params) = $msg =~ /^\!([^\ ]+) (.+)$/)
{
$result = exists($functions{$cmd}) ? $functions{$cmd}($params) : "";
$client->send_im($uin, $result) if $result;
}
}

sub icq_bot_get {
$url = $_[0];
local $get = "/usr/bin/wget -b -P $mypath $url";
@url=split /(.*\/)/, $url;
local $prog = system "$get -o $mypath/@url[2].log 1>&2 > /dev/null";
return "$url >>> downloading to $mypath\n Use \"!status @url[2]\" without quotes for last logs";
}

sub icq_bot_status {
local $file = $_[0];
$log = `tail -n 2 $mypath/$file.log`;
return $log;
}

Очевидно, что возможностей модернизации здесь крайне много.
Но всех мыслей в голове не удержишь (ну да, я тоже подумал об icq2ssh, наверное было бы забавно), хочется узнать ваше мнение и предложения по улучшению бота. Предложения с примерами кода категорически приветствуются.

splitfd - автоматическая раскидка большого количества фаилов по каталогам

Tue, 26 Aug 2008 20:52:22 GMT

у вас было когда ни будь желание разделить несколько тысяч разно-именованых фаилов, в директории. скажем по 100 или 200 фаилов в каждой?

Так вот:

$ splitfd -s /home/user/10000_files -t /home/user/temp -p new_ -n 200

сделает примерно 50 директорий (new_01, new_02, ...) в /home/user/temp, в которых будут лежать те 10000 фаилов из каталога /home/user/10000_files

splitfd

PS: как обычно, я не проверил если уже есть утилита которая именно это может делать ;)

apt_search

Wed, 20 Aug 2008 19:35:51 GMT

Мой скрипт для поиска Debian пакетов. Быстрый, верный, и удобный ;)
Что бы заработал, сначало запустите apt_search_update.

http://www.freewebs.com/rozouvan/scripts/apt%5Fsearch
http://www.freewebs.com/rozouvan/scripts/apt%5Fsearch%5Fupdate

Отсюда:
http://v-rozouvan.livejournal.com/2008/08/19/

Подскажите кто знает

Wed, 30 Jul 2008 22:11:59 GMT

Может быть задаю странный вопрос но всё же, можно ли в Xcode 3.1 писать bash скрипты и прикручивать к ним gui и потом собирать это дело как standalone приложение?

Fri, 25 Jul 2008 05:35:35 GMT

Написал простенький скрипт для завершения программы через определенное количество минут.
Написан на perl'e

Пример использования: killprg.sh +10 xmms
т.е. через десять минут этот скрипт завершит xmms. Кстати регистронезависимый скрипт.
Пы. сы. в программировании не очень силен, так что сильно не пинайте :-)

#!/usr/bin/perl
# powered by mentax
$|=1;

sub usage{
print "\nUsage: killprg [program]\n";
print " killprg +[minutes to kill] [program]\n\n";
exit;
}

$time=@ARGV[0];
if($time=~s/\+//){
$time+=0;
$prg=@ARGV[1];
}else{
$prg=@ARGV[0];
$time=0;
}
$seconds=$time*60;

usage if($prg eq "");
print"Start at: ".localtime(time)."\n";
print"kill after $time minuts. Search: \"$prg\"\n";
$started=time;

for(;;){
if($started+$seconds

[Error: Irreparable invalid markup ('<time){>') in entry. Owner must fix manually. Raw contents below.]

Написал простенький скрипт для завершения программы через определенное количество минут.
Написан на perl'e
<lj-cut text="Читать дальше">
Пример использования: killprg.sh +10 xmms
т.е. через десять минут этот скрипт завершит xmms. Кстати регистронезависимый скрипт.
Пы. сы. в программировании не очень силен, так что сильно не пинайте :-)

#!/usr/bin/perl
# powered by mentax
$|=1;

sub usage{
print "\nUsage: killprg [program]\n";
print " killprg +[minutes to kill] [program]\n\n";
exit;
}

$time=@ARGV[0];
if($time=~s/\+//){
$time+=0;
$prg=@ARGV[1];
}else{
$prg=@ARGV[0];
$time=0;
}
$seconds=$time*60;

usage if($prg eq "");
print"Start at: ".localtime(time)."\n";
print"kill after $time minuts. Search: \"$prg\"\n";
$started=time;

for(;;){
if($started+$seconds<time){
@lines=split(/\n/,`ps aux`);
shift @lines;
for$line(@lines){
@columns=split(/[\t\s]+/,$line);
unless($line=~/killprg/){
if($line=~/$prg/i){
$cmd=join(" ",@columns[10..50]);
print "Found and kill process: @columns[1] -> $cmd\n";
`kill @columns[1]`;
exit;
}
}
}
print "+";
}else{
print ".";
}
sleep 1;
}
</lj-cut>

SSH

Tue, 22 Jul 2008 12:59:01 GMT

Друзья подскажите как можно по ssh соединиться с удалённым сервером, так чтобы в одной команде был и логин и пароль. Если просто логин то надо так ssh username@ip.add.re.ss? А как пароль добавить. Спасибо.

Проблема с cut в ksh

Thu, 17 Jul 2008 14:26:09 GMT

Извините, пожалуйста, может и глупость спрашиваю, но что-то я в такой растерянности прибываю.

Система Fedora:
$more /etc/redhat-release
Fedora release 7 (Moonshine)

Есть два скриптика, test_ksh.ksh и test_csh.csh.
Разница только в первой линии (естественно), соответственно: #!/bin/ksh и #!/bin/csh

Дальше все одинаково:

head -1 res_121_1_bl.txt | cut -d";" -f10-14
head -1 res_121_1_bl.txt | cut -d";" -f10,14

res_121_1_bl.txt - просто некий текстовый файлик, в котором через точку с запятой в колонках находятся всякие цифирки. Хочу посмотреть названия колонок. В первой линии названия колонок с 10 по 14. Во второй только 10 и 14.

Вот результаты:
$./test_csh.csh
ns_lixiv;ns_no3_sol_fin;ns_nh4_sol_fin;ns_volat_engr;ns_denit
ns_lixiv;ns_denit

$./test_ksh.ksh
ns_no3_sol_fin;ns_nh4_sol_fin;ns_volat_engr;ns_denit
ns_lixiv;ns_nh4_sol_fin

Даже не знаю, что и делать.
Ну.. на всякий случай еще немного информации:

$ /bin/ksh
$ print ${.sh.version}
Version M 1993-12-28 s

Ну и... запустил те же самые скрипты, на Solaris-е, которым рулят умные админы. Там все работает нормально, вторая строка для обоих шеллов выдает 10 и 14 колонки.
Правда не нашел как посмотреть в solaris-овском ksh его версию.

Подскажите в чем может быть дело? Бага ksh? Бага Fedora? Бага Fedora, которая установила кривой ksh?
Или может быть как всегда кривые руки? Но в чем тогда кривизна?

Заранее спасибо.

P.S.: Да, извините, я пробовал добавить тэги к этой запсис, но ЖЖ зачем-то заргулася и отказался это делать.

Новичок и FTP

Thu, 19 Jun 2008 10:24:02 GMT

Простейшая проблема: не могу закачать локальный файл на ftp

если закачивать руками - то все получается, делаю так:
ftp -in ftp://username:pass@servername
put filename.zip
exit

Теперь делаю то же самое но через скрипт:
#!/usr/local/bin/bash
ftp -in ftp://username:pass@servername<<_EOF_
put filename.zip
_EOF_

Появляется ошибка:
...
250 OK. Current Directory is /
remote: filename.zip
: No such file or directory
...

Что я делаю не так???

В интернете все советуют делать примерно так:

>ftp -n << __END_OF_SCRIPT__
>     open my.server.at.my.office
>     binary
>     user userid password
>     get myfile.gif
>     bye
>__END_OF_SCRIPT__

Возникает ошибка:
ftp: hostname nor servername provided, or not known

Help me, мозги уже закипают потихоньку.

Mac OS X 10.5.x и NAT

Thu, 05 Jun 2008 10:44:50 GMT

Вот модифицированный мной скрипт tejinashi, делающий в макоси нат

#/bin/bash
interface="$2"
from_ip="any"
to_ip="any"

if [ "`whoami`" != 'root' ] ; then
echo "Go away, you are not root"
exit 1
fi
case $1 in
start)
if [ "$interface" = "" ] ; then
echo "I need an interface to NAT on"
exit 1
fi
echo "you may need to run 'ipfw flush'"
natd=`ps awux |grep -v grep|grep -v $0|grep natd|awk '{print $2}'`
kill -9 $natd
sleep 1
sysctl -w net.inet.ip.forwarding=1
alias_ip=$(ifconfig $interface | grep inet | grep -v inet6 | \
awk '{print $2}' | head -1)
/usr/sbin/natd -alias_address $alias_ip -interface $interface -use_sockets \
-same_ports -unregistered_only -dynamic -clamp_mss
#ipfw -f flush
ipfw add divert natd ip from "$from_ip" to "$to_ip" via "$interface"
;;
stop)
ipfw -f flush
sysctl -w net.inet.ip.forwarding=0
;;
*)
echo "Usage: $0 start en0 OR $0 stop";
;;
esac