تولید فایل های حجیم در لینوکس و ویندوز

در ویندوز (طول بر اساس بایت)

fsutil file createnew <filename> <length>

در لینوکس (دستور زیر یک فایل تقریبا یک گیگابایتی را می سازد)

dd if=/dev/zero of=myfile.txt count=1000000 bs=1024

خواندن فایل pickle شده

در زمان ذخیره نتایج، معمولا اطلاعات را pickle می کنم. اما متاسفانه در حدود یک سال پیش فراموش کرده بودم از مد 'wb' استفاده کنم و فقط از 'w' استفاده کرده بودم! برای رفع مشکل، دستورات زیر به کمکم آمدند

with open('file.pickle', 'rb') as f:
 # tests = pickle.load(input_file)
 u = pickle._Unpickler(f)
 u.encoding = 'latin1'
 p = u.load()

ایجاد یک شبیه‌ساز اندروید در Android Studio در Ubuntu 18.04

مشکل در دسترس نبودن /dev/kvm در قسمت AVD

sudo apt install qemu-kvm
sudo usermod -a -G kvm my_username

نصب سرویس‌های VMWare در ماشین مجازی Ubuntu

# For desktop: apt-get install open-vm-tools open-vm-tools-desktop # For server and headless installations: apt-get install open-vm-tools

انتقال فایل های VM بین ماشین‌های ESXi

ابتدا لازم است تا سرویس های SSH روی هر دو ماشین فعال شده و سپس دستورات زیر به منظور انتقال استفاده شوند. همچنین پس از انجام انتقال، تغییرات به حالت قبل برگردند.

esxcli network firewall ruleset list --ruleset-id sshClient

esxcli network firewall ruleset set --ruleset-id sshClient --enabled=true

scp -r sourceFolder [e-mail]:/vmfs/volumes/destDataStore

تغییر اندازه یک پارتیشن در LVM در Ubuntu 18.04

دستورات زیر را اجرا می کنیم:

$ sudo lvmdiskscan
 /dev/loop0 [ <90.99 MiB]
 /dev/ubuntu-vg/ubuntu-lv [ <49.00 GiB]
 /dev/loop1 [ <211.76 MiB]
 /dev/loop2 [ <88.68 MiB]
 /dev/sda2 [ 1.00 GiB]
 /dev/sda3 [ <49.00 GiB] LVM physical volume
 /dev/sdb [ 1.00 TiB]
 2 disks
 4 partitions
 0 LVM physical volume whole disks
 1 LVM physical volume

$ sudo pvscan
 PV /dev/sda3 VG ubuntu-vg lvm2 [<49.00 GiB / 0 free]
 Total: 1 [<49.00 GiB] / in use: 1 [<49.00 GiB] / in no VG: 0 [0 ]

$ sudo vgscan
 Reading volume groups from cache.
 Found volume group "ubuntu-vg" using metadata type lvm2

$ sudo pvcreate /dev/sdb
 Physical volume "/dev/sdb" successfully created.

$ sudo vgextend ubuntu-vg /dev/sdb
 Volume group "ubuntu-vg" successfully extended

$ sudo lvscan
 ACTIVE '/dev/ubuntu-vg/ubuntu-lv' [<49.00 GiB] inherit

راه‌اندازی سریع و بی دردسر HTTP File Server

برای به روزرسانی VCSA، من از IIS استفاده می‌کردم که دردسر نصب و راه‌اندازی سرور مجزا را داشت. به همین منظور، با جستجو در وب متوجه شدم می‌توان از سرور HFS و Offline Bundle ها استفاده کرد. این وب سرور خیلی ساده روی ویندوز کار می کند! بدون نصب و نیاز به کاری خاص!

https://www.rejetto.com/hfs/

تنظیم زمان سرور با NTP به صورت دستی

 ntpdate -u 192.168.192.254

کامپایل و اجرای برنامه‌های هدوپ

module load hadoop2.6
module load jdk-11.0.2

کامپایل فایل

export CLASSPATH="$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:~/hadoop/MyCodes/*:$HADOOP_HOME/lib/*"
/opt/java/jdk1.8.0_144/bin/javac -d .  *.java

تولید فایل jar با استفاده از Manifest.txt با محتوای

Main-Class: SalesCountry.SalesCountryDriver

/opt/java/jdk1.8.0_144/bin/jar cfm FinalPackageName.jar Manifest.txt PackageName/*.class

اجرای برنامه هدوپ

hadoop jar ProductSalePerCountry.jar /ali.shakiba/data.csv /ali.shakiba/output.log

حل مشکل مجوز در HDFS در Hadoop2.6

دستورات زیر را اجرا می‌کنیم:

# sudo -u hadoop /opt/hadoop-2.6.0/bin/hdfs dfs -mkdir /ali.shakiba
# sudo -u hadoop /opt/hadoop-2.6.0/bin/hdfs dfs -chown ali.shakiba /ali.shakiba

و برای قرار دادن اطلاعات در سیستم فایل:

$ hdfs dfs -mkdir /ali.shakiba/data
$ hdfs dfs -copyFromLocal hello.txt /ali.shakiba/data/