admin

BigData landscape 2016

0

bigdata

Virtualbox usefull commandline commands

0

Resize hdd image

/usr/local/bin/VBoxManage modifyhd /mnt/main/VM/machine-img/win7/win7.vdi --resize 30480

Suspend virtual machine
su vboxuser -c "/usr/local/bin/VBoxManage controlvm w7 savestate"
Resume virtual machine
su vboxuser -c "/usr/local/bin/VBoxManage startvm --type headless w7"

Grab CDP packets with tcpdump

0

tcpdump -nn -v -i eth0 -s 1500 -c 1 'ether[20:2] == 0x2000'

[root@rhel2 postfix]# tcpdump -nn -v -i eth0 -s 1500 -c 1 'ether[20:2] == 0x2000'
tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 1500 bytes
07:12:03.603360 CDPv1, ttl: 180s, checksum: 436 (unverified), length 140
Device-ID (0x01), length: 11 bytes: 'cluster1-01'
Port-ID (0x03), length: 3 bytes: 'e0c'
Version String (0x05), length: 66 bytes:
NetApp Release 8.2.1RC1 Cluster-Mode: Wed Nov 20 15:25:04 PST 2013
Platform (0x06), length: 6 bytes: 'SIMBOX'
Address (0x02), length: 22 bytes: IPv4 (2) 192.168.0.111 IPv4 (1) 192.168.0.101
Capability (0x04), length: 4 bytes: (0x00000010): L3 capable
1 packets captured
6 packets received by filter
0 packets dropped by kernel

networker remove tape indexes and entries

0

cat cartlist.txt | awk '{print "nsrmm -d -y "$2}'

gentoo linux out of inodes

0

1) view inventory:
check free space: df -h
check inode usage: df -i
show partition size: fdisk -s /dev/sda3
2) increase vmdk in vmware
3) reboot
4) check fdisk output:

gentoo01-2 saygak # fdisk /dev/sda

Command (m for help): p

Disk /dev/sda: 7516 MB, 7516192768 bytes
255 heads, 63 sectors/track, 913 cylinders, total 14680064 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x7ff66574

Device Boot Start End Blocks Id System
/dev/sda1 * 2048 107856 52904+ 83 Linux
/dev/sda2 107857 614376 253260 82 Linux swap / Solaris
/dev/sda3 614377 12582911 5984267+ 83 Linux


new size is 7516mb. 3d parttion has 5984267 blocks and we need to extend /dev/sda3.

5) Resize partition (remove old partition and create new).

Command (m for help): d
Partition number (1-4): 3

Command (m for help): n
Partition type:
p primary (2 primary, 0 extended, 2 free)
e extended
Select (default p): p
Partition number (1-4, default 3): 3
First sector (614377-14680063, default 614377): 614377
Last sector, +sectors or +size{K,M,G} (614377-14680063, default 14680063): 14680063

Command (m for help): p

Disk /dev/sda: 7516 MB, 7516192768 bytes
255 heads, 63 sectors/track, 913 cylinders, total 14680064 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x7ff66574

Device Boot Start End Blocks Id System
/dev/sda1 * 2048 107856 52904+ 83 Linux
/dev/sda2 107857 614376 253260 82 Linux swap / Solaris
/dev/sda3 614377 14680063 7032843+ 83 Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.


New partition has 7032843 blocks, but we need to reboot before making changes.

6) Extend filesystem now.

gentoo01-2 saygak # partx -s /dev/sda
NR START END SECTORS SIZE NAME UUID
1 2048 107856 105809 51.7M
2 107857 614376 506520 247.3M
3 614377 14680063 14065687 6.7G

now kernel know about disk partitioning. and we can continue with extending filesystem:

gentoo01-2 saygak # resize2fs /dev/sda3
resize2fs 1.42 (29-Nov-2011)
Filesystem at /dev/sda3 is mounted on /; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 1
Performing an on-line resize of /dev/sda3 to 1758210 (4k) blocks.
The filesystem on /dev/sda3 is now 1758210 blocks long.

7) check new fs size and amount of inodes with df -h and df -i.
that’s all.

Поиск файлов в бэкапах HP DataProtector через CLI

0

Задача 1.
Найти файлы в бэкапах определенного сервера.
omnidb -filesearch -n 100 host-a.domain.com /etc "passwd"

Задача 2.
Посмотреть что забэкапилось в последней сессии.


1) omnidb -filesystem (выдает список объектов по которым можно осуществлять поиск)

2) Смотрим последнюю сессию по объекту "host-a.domain.com:/sas/dwh/data/data4 " и лэйблу " '/sas/dwh/data/data4' "
omnidb -filesystem host-a.domain.com:/sas/dwh/data/data4 '/sas/dwh/data/data4' -latest

3) смотрим что забэкапилось в этой сесси
omnidb -filesystem hpsas-etl.mts.com.ua:/sas/dwh/data/data4 '/sas/dwh/data/data4' -session 2012/06/16-14 -catalog

Java plugin в новой версии ubuntu 11.10

0

Из репозиториев удалили SUN/Oracle Java и теперь автоматически через apt установить родную Java машину нельзя.
Если нужен джава-плагин в FireFox делаем так:
1) Качаем джаву с сайта Oracle: http://www.java.com/ru/download (вариант Linux самораспаковывающийся файл)
2) Делаем сохраненному файлу chmod a+x jre-6u31-linux-i586.bin
3) Заходим в /opt (или другую директорию по выбору) и от рута запускаем файл /tmp/downlods/jre-6u31-linux-i586.bin
4) Джава в системе установлена. Нужно сделать сслку на плагин для Firefox: cd ~/.mozilla/plugins; ln -s /opt/jre1.6.0_31/lib/i386/libnpjp2.so
5) Перезапускаем Firefox и открываем старницу about:plugins
6) Если всё установлено правильно, то видим:
Java(TM) Plug-in 1.6.0_31
Файл: libnpjp2.so
7) Для проверки работоспособности плагина заходим на страницу http://www.java.com/ru/download/installed.jsp и нажимаем кнопку “Проверьте версию Java”.

AUTH_MAXTRIES

0

account locked due to maximum login failures:
if file “/etc/default/security” set attribute “AUTH_MAXTRIES=3”
after login prompt receive message:
“Access is denied by the AUTH_MAXTRIES attribute in security(4).”
to unlock type^
userdbset -d -u username auth_failures

extend fabric with domain conflict

0

- switchdisable
- cfgdisable
- cfgclear
- configure, set/check all fabric parameters this must be the same as all other switch in the Fabric, excepted DID
- defzone --allccess
- switchenable
- portstatsclear
- portlogclear

Reboot the switch.

Ubuntu 11.04/11.10 X server -nolisten_tcp

0

Вариант для версии 11.04:
В этой версии убунты оказалось достаточно сложно разрешить xorg’у слушать сеть.
Это связано с переходом на новую врсию GDM.
Для включения сетевого режима работы X сервера необходимо создать файл /etc/gdm/custom.conf и в него вставить такие строки:

[security]
DisallowTCP=false

Файл нужен для переопределения дефолтных настроек, которые хранятся в /usr/share/gdm/gdm.schemas.

После изменения настроек в custom.conf можно перезапустить gdm командой service gdm restart

Для версии 11.10:
Здесь опять все перепилили. GDMа теперь нет. Есть LightDM. Включить сеть для иксов так:
1) открыть файл /etc/lightdm/lightdm.conf
2)в секцию [SeatDefaults] добавить строку:
xserver-allow-tcp=true
3) создать еще одну секцию:
[XDMCPServer]
enabled=true

Перезапустить менеджер:
sudo restart lightdm

Датапротектор и сеть с файрволом

0


Итак нам дано:
1) host A – клиент, на котором нужно забэкапить файловую систему.
2) host B – медиа агент, который подключен к ленточной библиотеке и находится в другом конце города.
3) host C – Сел мэенеджер датапротектора. Находится в третьем здании.
Все хосты соединены по IP сети, которая защищена файрволами.

Проблема заключается в том, что после успешного бэкапа в датапротекторе сессия закрывается со статусом competed, но на клиенте процесс omnib продолжает висеть, ожидая команд от сел мэнеджера. А команды не приходят, поскольку файрвол оборвал TCP сессию по порту 5555 между сел менеджером и клиентом по таймауту. После установки миллиона патчей решение было найдено буквально под ногами. Нужно было включить KeepAlive!

Что нужно для включения KeepAlive:
1) Tru64 Unix:
sysconfig -r inet tcp_keepalive_default=1
2) HP-UX:
ndd -set /dev/tcp tcp_keepalive_interval 900000
3) DataProtector:
На всех участниках бэкапа в .omnirc добавить строку OB2IPCKEEPALIVE=1

После включения кипэлайвов сессии перестали обрываться и бэкап работает как часы :)

DataProtector reset “Poor” medium

0

Бывает, что DataProtector помечает ленту как “Poor” после неудачного бэкапа. Чтобы вернуть ленте состояние “Good” нужно выполнить команду:
omnimm -reset_poor_medium NW0101L4
Последний параметр — это лэйба ленты.

Сбросить состояние всех “Poor” лент библиотеки:
for f in `omnirpt -report media_list | grep LIBNAME: | grep Poor | awk '{print $2}'`; do omnimm -reset_poor_medium $f; done

Go to Top