module load hadoop2.6
module load jdk-11.0.2
کامپایل فایل
export CLASSPATH="$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:~/hadoop/MyCodes/*:$HADOOP_HOME/lib/*"
/opt/java/jdk1.8.0_144/bin/javac -d . *.java
تولید فایل jar با استفاده از Manifest.txt با محتوای
Main-Class: SalesCountry.SalesCountryDriver
/opt/java/jdk1.8.0_144/bin/jar cfm FinalPackageName.jar Manifest.txt PackageName/*.class
اجرای برنامه هدوپ
hadoop jar ProductSalePerCountry.jar /ali.shakiba/data.csv /ali.shakiba/output.log
دستورات زیر را اجرا میکنیم:
# sudo -u hadoop /opt/hadoop-2.6.0/bin/hdfs dfs -mkdir /ali.shakiba
# sudo -u hadoop /opt/hadoop-2.6.0/bin/hdfs dfs -chown ali.shakiba /ali.shakiba
و برای قرار دادن اطلاعات در سیستم فایل:
$ hdfs dfs -mkdir /ali.shakiba/data
$ hdfs dfs -copyFromLocal hello.txt /ali.shakiba/data/
from bidi.algorithm import get_display
import arabic_reshaper
def make_farsi_text(x):
reshaped_text = arabic_reshaper.reshape(x)
farsi_text = get_display(reshaped_text)
return farsi_text
def make_farsi_text(x):
reshaped_text = arabic_reshaper.reshape(x)
farsi_text = get_display(reshaped_text)
return farsi_text
font_title = {'family': 'B Farnaz',
'color': 'red',
'weight': 'normal',
'size': 30,
}
font_labels = {'family': 'B Nazanin',
'color': 'black',
'weight': 'normal',
'size': 20,
}
برداشته شده از: http://imuhammad.ir/2017/09/23/farsi-plots-python/
برای افزایش سرعت دانلود بهروزرسانیها در Windows Server Update Services در ویندوز سرور 2019 در PowerShell که به صورت Administrator اجرا شده است، دستورات زیر را اجرا میکنیم:
$conf=(get-wsusserver).GetConfiguration()
$conf.BitsDownloadPriorityForeground=$true
$conf.save()
برای فعالسازی ویندوز
دستورات زیر را در حالت Administrator در CMD اجرا میکنیم:
slmgr /skms kms.esxi.vru.ac.ir
slmgr /ato
برای فعالسازی آفیس
ابتدا به مسیر نصب Office رفته و بعد دستورات زیر را در حالت Administrator در CMD اجرا میکنیم:
cscript ospp.vbs /sethst:kms.esxi.vru.ac.ir
cscript ospp.vbs /act
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install kernel-lt
nano /etc/grub.conf # change default = 1 to default = 0
shutdown -r 0
rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
yum update -y
yum -y install docker-io
docker -d
مرجع: https://medium.com/@NMeyen/installing-docker-on-centos-6-x-811f5ec06652
for /L %G in (1,1,30) do net user user%G 123 /add
for /L %G in (1,1,30) do net localgroup "Remote Desktop Users" user%G /add
for /L %G in (1,1,30) do net user user%G /Passwordchg:no
فقط کافی است کد زیر در ابتدای notebook قرار گیرد:
!pip install fastai
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2
from os import path
from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag
platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())
accelerator = 'cu80' if path.exists('/opt/bin/nvidia-smi') else 'cpu'
!pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.3.0.post4-{platform}-linux_x86_64.whl torchvision
import torch
!pip install Pillow==4.0.0
!pip install image
%matplotlib inline
from fastai.imports import *
به منظور ارسال برنامه به سروری خاص در بستر محاسبات سریع از این فایل استفاده می کنم.
#PBS -S /bin/bash
### General Options ###
#PBS -N Name-of-Regressuin
#PBS -V
### Resource Handling ###
#PBS -l nodes=p4.hpc.vru.ac.ir:ppn=4
#PBS -q test
#PBS -l walltime=10:0:0
### Output Stream Options ###
### Mail Options ###
#PBS -m bea
### Bash script ###
دستورات لازم جهت اجرای برنامه
exit 0