<div dir="ltr">Namaste Friends,<br><br>As you might know I have asked in my previous email regarding the technologies which big tech giants are using or may use to spin up their servers and process scores of data.<br><br>So I was doing research on this since long on how do they (Google, Facebook, Instagram, Amazon, Flickr etc.) manage their technologies/servers and process scores of data as I am very much curious to know about how do they do it. This is what I found in my research about their technologies and their platforms.<br><br>All I got to know this from google, wired, and various other tech related blogs.<br><br>OS: Linux (RedHat/Ubuntu/SuSe), FreeBSD<br>EC2 instances for various purposes (Extra-Large machines with SSD and Multi-core CPU's with 100+ RAM)<br>Amazon’s Elastic Load Balancer (EBS is deployed in a software RAID configuration) and Amazon’s Route53 for the DNS<br>Amazon CloudFront as the CDN<br>Amazon S3 (for storage)<br>Webserver: Apache/Ngnix/Lihttpd<br>Memcache: for caching<br>Database: Redis(majority), MySQL, PostgreSQL (master-replica setup) {DB runs on Quadruple Extra-Large Memory instances and entirely on separate instances}<br>ImageMagick, for image processing (Flickr)<br>Ganglia for distributed system monitoring (Flickr)<br>Monitoring: Nagios, Munin, ServerDensity<br>Version Control System: Git (almost used by all), Cvsup (Flickr)<br>Perl & CPAN (Flickr, DuckDuckGo), Python (Youtube, Instagram, Google), Java, C++, jScript, Jboss, Servelts<br>Sentry for Python error reporting<br>Gunicorn as their WSGI server (Instagram)<br>Erlang (Whatsapp) and Custom XMPP and SQLite<br>Fabric is used to execute commands in parallel on all machines (Instagram)<br>Distributed Systems Infrastructure: GFS, MapReduce, BigTable (Google)<br><br>Kindly share your thoughts and views on the same. And, if I have missed something then please add.<br><br>Look forward to hear from you.<br><br>Thank you.<br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><b>Regards,<br>Sahil ModGill</b><br></div></div>
</div><div id="DDB4FAA8-2DD7-40BB-A1B8-4E2AA1F9FDF2"><table style="border-top:1px solid #aaabb6;margin-top:30px">
        <tr>
                <td style="width:105px;padding-top:15px">
                        <a href="https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail" target="_blank"><img src="https://ipmcdn.avast.com/images/logo-avast-v1.png" style="width: 90px; height:33px;"></a>
                </td>
                <td style="width:470px;padding-top:20px;color:#41424e;font-size:13px;font-family:Arial,Helvetica,sans-serif;line-height:18px">This email has been sent from a virus-free computer protected by Avast. <br><a href="https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail" target="_blank" style="color:#4453ea">www.avast.com</a>
                </td>
        </tr>
</table><a href="#DDB4FAA8-2DD7-40BB-A1B8-4E2AA1F9FDF2" width="1" height="1"></a></div>