کامپایل و اجرای برنامه‌های هدوپ

module load hadoop2.6
module load jdk-11.0.2

کامپایل فایل

export CLASSPATH="$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:~/hadoop/MyCodes/*:$HADOOP_HOME/lib/*"
/opt/java/jdk1.8.0_144/bin/javac -d .  *.java

تولید فایل jar با استفاده از Manifest.txt با محتوای

Main-Class: SalesCountry.SalesCountryDriver

/opt/java/jdk1.8.0_144/bin/jar cfm FinalPackageName.jar Manifest.txt PackageName/*.class

اجرای برنامه هدوپ

hadoop jar ProductSalePerCountry.jar /ali.shakiba/data.csv /ali.shakiba/output.log

حل مشکل مجوز در HDFS در Hadoop2.6

دستورات زیر را اجرا می‌کنیم:

# sudo -u hadoop /opt/hadoop-2.6.0/bin/hdfs dfs -mkdir /ali.shakiba
# sudo -u hadoop /opt/hadoop-2.6.0/bin/hdfs dfs -chown ali.shakiba /ali.shakiba

و برای قرار دادن اطلاعات در سیستم فایل:

$ hdfs dfs -mkdir /ali.shakiba/data
$ hdfs dfs -copyFromLocal hello.txt /ali.shakiba/data/

نصب بسته‌های پایتون در یک فولدر خاص با استفاده از conda یا pip

با استفاده از conda

conda install -c conda-forge geopy --yes -p /home/ali.shakiba/.conda/packages/
conda install -c conda-forge folium=0.5.0 --yes -p /home/ali.shakiba/.conda/packages/

با استفاده از pip

pip install --user package

PAT به یک سرور راه دور

برای PAT به یک سرور

plink -L localhost:localPort:localhost:remotePort user@remoteHost

نصب docker در Centos 6.x

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install kernel-lt
nano /etc/grub.conf # change default = 1 to default = 0
shutdown -r 0
rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
yum update -y
yum -y install docker-io
docker -d

مرجع: https://medium.com/@NMeyen/installing-docker-on-centos-6-x-811f5ec06652 

ارسال برنامه به سروری خاص در HPC

به منظور ارسال برنامه به سروری خاص در بستر محاسبات سریع از این فایل استفاده می کنم.

#PBS -S /bin/bash
### General Options ###
#PBS -N Name-of-Regressuin
#PBS -V
### Resource Handling ###
#PBS -l nodes=p4.hpc.vru.ac.ir:ppn=4
#PBS -q test
#PBS -l walltime=10:0:0
### Output Stream Options ###
### Mail Options ###
#PBS -m bea

### Bash script ###
دستورات لازم جهت اجرای برنامه

exit 0

کتابخانه mpmath: محاسبات با دقت دلخواه در پایتون

به منظور انجام محاسبات با دقت دلخواه، می توان از کتابخانه های متعددی مانند GNU MP استفاده کرد. یک نمونه ی خوب و سریع در پایتون، کتابخانه mpmath است.

from mpmath import mp 
# mpmath is a free (BSD licensed) Python library for real and complex floating-point arithmetic with arbitrary precision.
mp.dps = 2000
from mpmath import sin, cos, acos, asin, abs

راهنمای این کتابخانه در آدرس http://mpmath.org/doc/current/ در دسترس است.

برای استفاده از آن در کنار numpy می توان از راهکار زیر استفاده نمود:

# providing wrappers for mpmath functions in numpy
from numpy import frompyfunc
sin_v = frompyfunc(sin, 1, 1)
asin_v = frompyfunc(asin, 1, 1)
cos_v = frompyfunc(cos, 1, 1)
acos_v = frompyfunc(acos, 1, 1)

همچنین برای تبدیل آن به float در مواردی که خطای 

TypeError: float() argument must be a string or a number

دریافت شد؛ می تواند به این معنی باشد که حاصل از نوع مختلط بوده و لازم است به صورت زیر مشکل حل شود:

from mpmath import re
x = re(x)

پی نوشت: البته یافتن ریشه مشکل که چرا حاصلی که باید حقیقی باشد، مختلط شده است از بدیهیات است.