18. März 2015 von Jeremy Jongsma. Chief Technology Officer Ursprünglich auf dem Built In Chicago Blog veröffentlicht Im Jahr 2007 hörten wir viel über die unvermeidliche Cloud Computing-Revolution. Amazon Web Services war in den Kinderschuhen, mit nur einem Storage-Service (S3) und eine neu veröffentlichte mdash aber sehr begrenzt im Vergleich zu heute mdash virtualisierten Server-Plattform (EC2). Diese waren interessante Dienstleistungen, aber auf der Oberfläche schien es nicht wie eine bedeutende Verschiebung vom Status quo. AWS hatte eine Kombination von drei Sachen, die niemand sonst zu der Zeit tat: Es war on-demand, Self-Service. Und maßstabsgetreu. Diese Kombination aus Flexibilität, Bequemlichkeit und Preis machte uns einen ernsthaften Blick auf, wie wir die Vorteile von echten On-Demand-Computing nutzen konnten. In der Lage, 20 Server zum Laden einer Anwendung für eine Stunde mdash starten und nur zahlen das Äquivalent von einem Server für einen Tag mdash, die revolutionär war. Weniger als ein Jahr später nahmen wir den Sprung. Aus einer Bare-Metal-Server-Infrastruktur in unserem eigenen Rechenzentrum entstanden, hatten wir uns mit Virtualisierung herumgespielt, aber nie vollständig hineingekauft. Wir hatten ein bisschen eine Lernkurve vor uns auf virtualisierte Cloud-Server zu bewegen. Bei Barchart. Annahme der Wolke Denkweise zentriert um ein paar Prinzipien: Server sind Einweg-Anwendungen können jederzeit gestoppt oder ersetzt werden, und in der Regel, dass aus Ihrer Kontrolle. Amazon (und andere Cloud-Anbieter) zögert Instanzen auf einer regelmäßigen Basis und theres nichts, was Sie tun können, um dies zu stoppen. Diese Realität muss sowohl in Ihren Provisioning-Prozess und Anwendungs-Design gebacken werden. Es hat große Auswirkungen auf, wie stateful die lokale Anwendung erlaubt ist, wenn ein Server unerwartet in der Mitte einer Benutzersitzung sinkt, sollte es nicht zu Datenverlust oder großen Service-Unterbrechungen führen. Viele kleine ist besser als wenige große Da Server einwegfähig sind, muss Redundanz auf der Software-Ebene passieren. Anwendungen müssen in der Lage sein, Workloads über viele kleine Instanzen anstatt ein paar (oder nur eine) große Instanzen zu teilen, oder unerwartete Ausfälle und Wartung Auswirkungen auf Verfügbarkeit und Verfügbarkeit. Um diese Arbeit müssen Sie wissen, wo Ihre Software-Engpässe liegen mdash Skalierung horizontal ist ein anderes Tier als Skalierung vertikal. Service Discovery ist eine Notwendigkeit Wenn Sie neue Anwendungsknoten, die regelmäßig erscheinen und verschwinden, haben, müssen Ihre anderen Dienste in der Lage sein, sie zu finden. Statische Hostnamen oder IP-Listen werden nicht mehr funktionieren. Glücklicherweise ist Service-Entdeckung etwas, das kompliziert klingt, kann aber sehr einfach sein. Eines der am weitesten verbreiteten Service-Discovery-Tools ist natürlich DNS. Obwohl es selbst keine ausreichende Fehlererkennung bereitstellt, wenn es mit einem Lastverteiler gekoppelt ist, ist es eine vollkommen adäquate Dienstleistungsentdeckungslösung. Skalierung ist einfach Kapazitätsplanung ist eine große Sache, wenn youre, das Ihre eigene Hardware läuft. Wenn Sie die Nachfrage unterschätzen, wird Ihre Anwendung verkrüppelt, bis Sie neue Hardware online zu bringen, ein Prozess, der Stunden oder sogar Tage dauern kann. Wenn Sie Anwendungen, die parallel auf vielen Servern laufen, kombiniert mit einer Infrastruktur, die eine bedarfsgerechte Kapazitätserweiterung ermöglicht, wird die unterschätzende Nachfrage zu einer kleinen Unannehmlichkeit, die in etwa 10 Minuten behoben werden kann. Die Annahme dieser Grundsätze wird alle Bereiche, wo Sie schneiden Ecken ausgesetzt sind. Schnelle Skalierung und effektive Parallelität erfordert mdash für eine Sache mdash Server mit identischer Konfiguration beim Start ohne manuelle Tweaking erlaubt. Dies wiederum erfordert eine Vorausplanung auf Software - und Provisioning-Seite, da Verknüpfungen wie schlecht mans Lastenausgleich von Datenbanken (über handgestimmte Pro-Server-Konfigurationsdateien) nicht mehr fliegen. Leider waren wir mit mehreren dieser Techniken. Wir dachten, wir hätten einen ziemlich guten Ansatz für Server-Provisioning, aber unsere erste Bereitstellung zu AWS ausgesetzt, wie viel wir fehlten. Wir haben keine echten Lastenausgleich für viele Dinge, wir hatten hartcodierte Hosts Dateien, die auf statische IPs, unsere Provisioning-Prozesse werent vollautomatisch, und wir machten Annahmen über die Server-Statefulness, dass die Anwendungen fehlgeschlagen, wenn wir begonnen Skalierung und begann Unten. So dass alle diese Wolke-Kapazität nicht für freies mdash kamen, das wir gehen mussten, um für sie zu arbeiten. Wir hatten nicht vollständig verstanden, welche Rolle das Anwendungsdesign bei der Migration in die öffentliche Cloud-Infrastruktur spielen würde. Die Erwartung war, dass die Implementierungen eine Menge sein würden, wie wir es in unserem privaten Rechenzentrum gewohnt waren, aber die Realität war, dass es in der Public Cloud sehr unterschiedliche Einschränkungen gibt. Nun, da wir wussten, was zu suchen, wurden die nächsten paar Wochen verbrachte Auditing-Anwendungen, um herauszufinden, wie groß ein Projekt das sein würde. Wie jedes Unternehmen, die Muster, die wir in der ersten Anwendung aufgedeckt wurden in unserer Codebasis verstreut. Die gute Nachricht war, dass es einige schwierige Korrekturen gab, nur einige zeitraubende. Wir mussten zwar viel von unseren Provisionierungs - und Konfigurationsprozessen überdenken. Haben wir keine größeren Engpässe entdeckt, die unsere Fähigkeit beeinflussen könnten, horizontal zu skalieren. Unsere Code-Architektur war gesund. Schritt eins setzte alles mdash und ich bedeute alles mdash hinter einem Ausgleichbalancer. Eine Single-Server-Anwendung ist ein einziger Fehler. Auch wenn es wirklich nur einen Server mdash gibt es hinter einem Balancer. Lastausgleich ist billig, und wenn Sie jemals brauchen, um den Server oder Skala zu ersetzen, werden Sie froh, dass Sie können. Als nächstes nahmen wir unsere Service-Discovery-Probleme. Mit allem belasteten, waren wir der meiste Weg dort mdash, das Gesundheitschecks delegiert, um die balancers entfernten die Notwendigkeit, um um einzelne Serverausfälle in der Software zu führen, also konnten wir zurückgehen, auf gut definierte DNS-Hostnamen für Service-Entdeckung zu vertrauen. Eine Null-Auswirkungänderung. Durch diesen Prozess wurde auch hervorgehoben, wie wichtig es ist, dass alles über den Bereitstellungsprozess vollständig automatisiert wird. Hand-Tuning-Server-Bilder, auch wenn sie wiederverwendbar waren, ermöglicht die Möglichkeit, unforced menschliche Fehler. Um unsere Betriebsprozesse zu optimieren und die Bereitstellung und Bereitstellung deterministischer zu gestalten, haben wir den Weg zur vollständigen Implementierungsautomatisierung gestartet. Wie sich herausstellte, war dies eine sehr allmähliche Migration aufgrund der Anzahl der beteiligten Projekte, und es hat uns bis zu diesem Jahr gebraucht, um endlich alle unsere Automatisierungsziele zu erreichen. Wir verwenden jetzt eine Kombination aus Packer. Marionette. Docker und AWS CloudFormation, um alle neuen Implementierungen zu verwalten. Die Cloud-Mentalität Diese Erfahrungen haben uns gezwungen, anders zu denken über Software-Entwicklung und Bereitstellung, und führte zu einem neuen Satz von Regeln für die Software-Bereitstellung bei Barchart, dass ich die Cloud-Mentalität nennen: 1. Automatisieren alles 2. Alles ist Einweg 3. Alles ist Unveränderlich 4. Die meisten Dinge sind staatenlos 5. Auto-Entdeckung ist kritisch 6. Viele kleine Knoten sind besser als ein paar große Knoten 7. Cluster Gesundheit ist wichtiger als Knoten Gesundheit 8. Build einmal, überall installieren In den nächsten Wochen krank zu erforschen Diese mit konkreten Problemen und konkreten Lösungen, die wir derzeit in der Produktion nutzen, um sie zu lösen, über Bereiche wie Provisioning und Deployment, Cluster-Auto-Discovery, Sicherheitsstrategien und umfangreiche Datenreplikation. Barchart hatte, was ich für eine ziemlich typische Erfahrung Migration in eine öffentliche Wolke. Ich weiß, dass viele, die diesen Prozess durchlaufen haben ähnliche Probleme haben. Am Ende, während es war mehr Arbeit als wir ursprünglich geplant, war es nicht schwer zu adaptieren, sobald wir wussten, welche Fallstricke in unseren Anwendungen zu vermeiden. Die Flexibilität und Skalierbarkeit, die daraus resultiert, war auch die Zeit wert. Wenn Sie bereits die Cloud-Mentalität bekommen, sollte der Übergang zu einer öffentlichen Cloud ein reibungsloser Prozess sein. Aber wenn Sie auf eine Menge von manueller Wartung oder Konfiguration verlassen, bewusst sein, dass öffentliche Cloud-Infrastruktur nicht ein freies Ticket für unendliche Skalierbarkeit ist. New WebSockets APIs Data Feeds Cloud-basierte Lösungen Website-Lösungen Barchart wandelt Marktdaten, Finanzdaten und Nachrichten in Technologie Lösungen für die Finanz-, Medien - und Warenbranche. Unsere Produkte umfassen: Data Feeds Website-Lösungen Ein Futures-Brokerage-Unternehmen auf der Suche nach einer Marktdatenbankplattform INTL FCStone ist ein Fortune 500-Finanzdienstleistungsunternehmen, das sich auf Rohstoffhandel, Devisen - und Treasury-Dienstleistungen, Wertpapierabwicklung und Vermögensverwaltung spezialisiert hat. Der Bereich CommodityNetwork, eine führende Informationsquelle in der Kaffee-, Milch - und Baumwollindustrie, erforderte eine maßgeschneiderte Marktdaten - und Handelsplattform. CommodityNetwork hatte spezifische Anforderungen: Sie benötigten Echtzeit-Rohstoff-Futures-Daten, Charts, News, Analytics und elektronischen Handel eine Lösung, die in ihre eigene proprietäre Plattform eine gehostete mobile Website-Lösung und eine einfache Login-Funktion für ihr internes Verwaltungs-Team integrieren würde Benutzerzugriff zu verwalten. Wir haben CommodityNetwork mit einer schlüsselfertigen Lösung versehen, die vollständig von Barchart gehostet und betreut wird. Der Service nutzt sowohl unsere physische Rechenzentrumsinfrastruktur (Equinix) als auch unsere Cloud-basierte Infrastruktur mit AWS. Die Plattform Barchart Trader dient als Basis für die von uns entwickelte CommodityNetwork-Lösung. Es ist entworfen, um angepasst werden und weiß-etikettiert durch Dritte. Wir konnten CommodityNetworks News-Feeds in unser News-Distribution-System integrieren und maßgeschneiderte Tools in der Plattform erstellen. Die gesamte Plattform ist für CommodityNetwork gebrandmarkt und hat eine eigene Identität. Web Content Finanzinhalte und Werkzeuge für ein Medienunternehmen Die kanadische Presse ist Canadas vertrauenswürdigste multimediale Nachrichtenquelle mit über 200 Journalisten, die rund um die Uhr Nachrichten für Portale, Tageszeitungen und mehr als 500 Radio - und Fernsehsender sowie Abonnenten produzieren Digital Signage Netzwerke, Regierungen, Konzerne, Verleger und Verbände. Viele Medienunternehmen, die mit der kanadischen Presse (Shaw Media, Toronto Star ua) zusammenarbeiten, benötigen finanzielle Inhalte für ihre Websites und Tageszeitungen. Barchart bietet Private-Label-Inhalte, in der Cloud gehostet. Zu den Kunden der kanadischen Presse. Unsere Content-Lösungen sind durch JavaScript und JSON-Technologien nahtlos in diese Websites von Drittanbietern integriert. Der Inhalt repräsentiert Aktien - und Indexpreise aus kanadischen, US - und anderen Börsen, zusätzlich zu: Investmentfonds-, Rohstoff - und Devisenmarktdaten. Barchart bietet auch Leaderboards, Charting, Finanzdaten der Öffentlichkeit, Nachrichten und Tools wie Portfolio-Management, Screener, Warnungen und Watchlisten. Die kanadische Presse und Barchart arbeiten eng zusammen, um kundenspezifische Lösungen für kanadische Medien zu schneidern. App Content Ein Finanzdienstleistungs-Start-up-Sourcing von Finanzinhalten für seine mobilen Apps Founded in 2009, ist San-Francisco-based missingSTEP ein führender Anbieter von Investitionsanalyse-Tools für den mobilen Markt. MissingSTEP erreicht über 100.000 Anwender weltweit durch ihre mobilen Anwendungen und bietet eine Vielzahl von Tools auf einer Vielzahl von Online-Plattformen. MissingSTEP benötigte Echtzeit - und verzögerte Aktien-, Rohstoff - und Forex-Marktdaten zur Stromversorgung seiner mobilen Apps. Sie wollten eine normalisierte Datenzufuhr, um Marktdaten für mehrere Märkte über eine einzige Web-Services-API zu empfangen. Sowie eine Lösung, die END-Benutzergeräte direkt an Barchart-Server anbindet, wobei Barchart für die Marktdatenverteilung verantwortlich ist. Der Barchart OnDemand-Dienst erlaubte missingSTEP, ihre Apps direkt an Barcharts virtualisierte Server bei Amazon AWS anzuschließen. Mobile Apps können über einfache APIs wie getQuote und getHistory direkt mit unseren Servern sprechen und Marktdaten schnell an App-Benutzer liefern. Da missingSTEP zusätzliche Apps entwickelt, können sie die exakt gleichen APIs nutzen und als Barchart-Client Dutzende anderer APIs nutzen, die eine breite Palette an finanziellen Inhalten bereitstellen. Managed Solution Datenmanagement-Distribution für ein Warenhandelsunternehmen Das Comarks-Geschäft umfasst Getreidehandel, Merchandising, Risikomanagement, Logistik und Buchhaltung von Getreideeinkaufsanlagen. Als ein führendes Unternehmen in der Beschaffung und Verwaltung von Getreide, müssen Comark und ihr Mitglied Netzwerk Wettbewerbsfähigkeit Getreide Preise an die Landwirte zu kommunizieren. Sie benötigten eine verwaltete Lösung, um diese Preise zu berechnen und zu verteilen, sowie gehostete Webseiten und Benachrichtigungstools für die Bereitstellung von Warenmarktinformationen für ihre Landwirtkunden. Darüber hinaus brauchte das Unternehmen eine Lösung, um den Fluss von Futures-Preisen in ihr Getreidelagerungssystem zu automatisieren, um teure Fehler und Schlupf zu vermeiden. Die Barchart AgriCharts-Plattform stellte die von Comark benötigte Technologie zur Verfügung. AgriCharts Cash-Korn-Gebotsmanagementsystem, das Bargeld für Websites verwaltet und vertreibt sowie über SMS - und E-Mail-Benachrichtigungsdienste. Barchart integrierte auch unser System mit Comarks Getreidewirtschaft, um einen effizienten Datenfluss zu gewährleisten. Die daraus resultierenden Daten werden gepflegt und an Comarks-Mitglieder-Websites zur Verwendung durch Tausende von Landwirten durch unsere gehosteten Lösungen zurückgegeben. Darüber hinaus nutzt Comark unser AgriCharts Content Management System (CMS), um die Inhalte und Services, die über ihre Webseiten zur Verfügung gestellt werden, zu verwalten. Data Feeds Normalisierte Datenfeeds für einen Anbieter von Marktdaten-Charting und - Analytik TradingView ist eine fortschrittliche Finanzvisualisierungsplattform, die HTML5- und Cloud-Technologie verwendet, um Charts auf Aktien, Indizes, Rohstoffen und Devisen mit Premium-Optionen für Abonnenten bereitzustellen. TradingView benötigte Zugang zu einem breiten Spektrum von Marktdaten, um seine Plattform zu betreiben, in Echtzeit, verzögert und OnDemand Delivery sowie historische Zeitreihendaten. Die Daten mussten auf einer Vielzahl von Geräten zugänglich sein. Barchart stellte TradingView sowohl mit Echtzeit - als auch mit verzögerten Broadcast-Streaming-Daten-Feeds in einem normalisierten Format zur Verfügung. TradingView konnte auch Barcharts. NET API nutzen, um die Investitionen für die Feeds deutlich zu senken. Als TradingView erweitert ihre Austausch-Abdeckung, können sie leicht auf neue Märkte mit weniger Entwicklung zu bringen. TradingView ist auch mit Barcharts OnDemand historischen Daten-Service, so dass sie nicht haben, um historische Daten auf ihre eigene. Ein Finanzdatenanbieter, der eine Cloud-basierte On-Demand-Lösung sucht Exchange Data International (EDI) ist ein führender Anbieter von Daten zur Verwaltung von Wertpapieren und bietet Back-Office-Wertpapierdatendienste für die meisten großen Maklerhäuser, Depotbanken und Datenanbieter in der Welt. EDI brauchte eine Cloud-basierte Enterprise Data Management (EDM) - Infrastruktur, zusammen mit modernen Web-Services-APIs, um schnell ihre Marktdaten an Kunden zu bekommen. Mit Barcharts Cloud-basierten EDM. Barchart OnDemand kann EDI nun auf eine moderne Datenverteilungsplattform zugreifen, ohne selbst etwas aufbauen zu müssen. Aufgrund der frühen Implementierung von Cloud-basierten Computern durch Barcharts können unsere Kunden von dem profitieren, was wir gelernt haben, eine Infrastrukturvirtualisierung durch Amazon Web Services (AWS) zu verwalten. Wir haben früh erkannt, dass Kunden mit dieser Option ihre eigenen Daten mit Datensätzen von Drittanbietern problemlos integrieren konnten. EDI sendet ihre täglichen und historischen Preisdaten an Barchart zur Integration in unsere On-Demand-Infrastruktur. EDI war dann in der Lage, Barcharts gleichen APIs verwenden, um Marktdaten in Formaten wie XML und JSON liefern, und traditionelle FTP-Datei liefern, sowie mit Barcharts analytische Tools und Displays. Clients können nun über eine einzige API auf beide EDI - und Barchart-Daten zugreifen und repräsentieren Hunderte von konsolidierten Aktien - und Futures-Börsen. Marktdaten Eine globale Börse, die auf Anforderung aktuelle und historische Marktdaten erfordern Gate 39 Media hat seit 2001 Webseiten für IBs, FCMs, CTAs und den Börsen in der Finanzbranche geschaffen. Mit umfangreichen Futures-Trading-Branchenerfahrung, jedem Teammitglied bei Gate 39 Media, vom Entwickler bis zum Designer, nutzt ihre Erfahrungen bei der Arbeit an Projekten in dieser Branche. Gate 39 Media arbeitete mit einem globalen Austausch, um seine Co-Marketing-Initiativen mit Brokerfirmen zu erweitern. Die Börse wollte Marktdateninhalte und Tools zur Website-Integration anbieten, um das Engagement ihrer Finanzinstrumente zu erhöhen. Sie brauchten eine benutzerdefinierte Lösung, die leicht in mehrere Brokerage-Unternehmen Websites integrieren könnte, sowie ein Managed Service. Barchart arbeitete mit Gate 39 Media und versorgte sie mit On-Demand-APIs. Einschließlich APIs für verzögerte und historische Börsendaten. Gate 39 Media verwendete diese APIs, um den Marktdateninhalt auf ihre eigene webbasierte Benutzeroberfläche zu liefern. Die Zitat-Tabellen und interaktive Charting enthält. Dieser Service funktioniert innerhalb von AWS und ist leicht repliziert und skalierbar, um eine wachsende Zahl von Brokerage-Websites unterzubringen. Es dient nun als Modell für den Austausch zu erweitern ihr Marketing.
No comments:
Post a Comment